zhenggm
- 浏览: 206488 次
- 性别:
- 来自: 杭州
-
最新评论
-
hus20120405：
很不错，我运行起来了
log4jdbc日志框架介绍 -
Roshomon：
牛叉 找了很多解决方案 你的OK了
plsql ora-12154 TNS 无法处理服务名 -
ackley：
赞！谢谢！
Cannot access NLS data files or invalid ...
文章列表
传统的B/S通讯方式都是基于客户端主动请求，服务端响应结果。有了websocket技术之后，就可以实现服务端主动向客户端推送数据了。因为websocket是html5的技术，需要支持html5的浏览器，以下例子我使用的是ie11和chrome61，均可以测试通过。
以下是集成spring的websocket例子：
1. pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
Git学习笔记【原创】
- 博客分类：
- 开发工具
Git是源码管理工具，与svn比较类似。只是svn一般用于企业内部，管理闭源的项目比较多。Git主要基于互联网的中央库管理，因此使用在开源的场景比较多，当然也可以管理私有的项目。如github，对public的项目代码管理是免费的，也支持private的项目，但是是收费的。oschina也提供了git代码管理，public和private都是免费的。
1. git的客户端安装
1）windows 64bit 下载地址, 下载完成之后，点击运行，一路next即可。
2）Git Bash使用
cd E:/test/testgit 切换到工作目录
git init 用于初始化一个 Git 仓库，完 ...
HttpClient 某些方法的作用梳理。本文的测试基于httpcore-4.3.3.jar,httpclient-4.3.6.jar.
CloseableHttpClient httpClient =HttpClients.createDefault();
创建一个httpClient, 使用默认连接池。当多个线程使用同一个httpClient, 如果不调用httpClient.close(); 则多个线程共享两个连接。通过后台发现，始终有一个连接处于established状态。官网文章中说（默认，每个路由基础上的连接不超过2个，总连接数不能超过20）
httpClient.clos ...
JVM 堆分为 年轻代，年老代，持久代。
年轻代：产生和回收对象的区域，分为1个Eden和2个Survivor(from 和 to)。
年老代：生命周期较长的对象
持久代：类、方法等
JVM GC 机制
1. 对象总是产生于Eden.
2. 当Eden满时触发GC，将存活的对象复制到其中一个Survivor(from).将不存活的对象回收。
3. 当Survivor(from)满时，将survivor（from）中存活的对象复制到survivor(to)中。这时survivor(from)清空，变成survivor（to）。原survivor(to)变survivor（from）。可以看出su ...
前几篇介绍了logstash, elasticsearch相关内容见elasticsearch 学习笔记。本文介绍kibana的使用。
1) 导入索引内容
2）建立查询
3) 保存查询
4）建立柱形图
5）为柱形图选择数据来源
6）为柱形图设置分类
7）根据数字区间分
8）根据字段内容分
9）格式化日期显示字段
经过前面一些配置，目前基本可以用于项目中了。但是在初期推广的时候，如果每个应用都要去装个客户端，工作量比较大，推广工作就比较难做。还有一种简便的方式就是通过log4j远程采集了。（下面这张图是网上抄的）
1. 升级logstash 到 logstash-5.3.1
这里有个坑，原先使用的是5.0.0版本，客户端log4j连不上，会报： socket write error。 升级之后就好了。
2. input配置
input{
log4j {
host => "192.168.3.143"
port =&g ...
logstash 采集日志很方便，还有一个强大的功能，就是能够发送email提醒，这就对我们的日志监控很有帮助。有了它，我们能够实时发现线上系统的运行状态。本文介绍日志插件的安装和使用。
1. 下载插件 logstash-output-email v4.0.3
2. 解压
tar -xvf v4.0.3
3. 修改安装插件脚本 bin/logstash-plugin, 头部添加
export JAVA_HOME=/usr/local/jdk1.8.0_121
export PATH=$JAVA_HOME/bin:$PATH
4. 修改安装插件配置文件 vim Gemf ...
在ELK学习笔记(一)【原创】中，介绍了Logstash的入门，本文再对Logstash进行分析，并将日志导入ES中。
1. input
input 有很多种， 如stdin, file, log4j 等。这里只着重分析file, 下次在分析log4j.
input{
file {
codec => multiline {
pattern => "^\["
negate => true
what => "previous"
charset => "U ...
在启动了hadoop 和 spark之后，就可以运行spark 脚本环境，在其上可以运行scala脚本。
1. cd $SPARK_HOME/bin
2. master=spark://master.hadoop.zjportdns.gov.cn ./spark-shell
然后就可以运行脚本了
scala> val a = sc.parallelize(1 to 9, 3)
a: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:2 ...
1. 打开一个终端， 输入
nc -lk 9999
2. 打开另一个终端，切换到SPARK＿HOME目录，运行
cd /usr/local/spark-2.1.0-bin-hadoop2.7
./bin/run-example org.apache.spark.examples.streaming.NetworkWordCount localhost 9999
3.在控制台输入一串字符
4.spark统计结果
spark 有四种运行模式：
1）local模式(单机模式）
2）standalone模式（伪分布模式）
3）yarn-client模式（driver运行在客户端，可通过4040端口查看客户端运行状态,client全程参与调度）
4）yarn-cluster模式（driver运行在服务端，需通过yarn-cluster的8088端口查看,client在提交完job之后就可以关闭了）
切换到SPARK_HOME目录
cd /usr/local/spark-2.1.0-bin-hadoop2.7
1. local模式
./bin/spark-submit --class org.apach ...
spark有三种部署方式:standalone,spark on mesos 和 spark on yarn. standalone用于开发; spark on mesos官方推荐, mesos调度更强大; 如何同时使用hadoop, 那么spark on yarn兼容更好。本文是在介绍第三种方式，需要先安装hadoop-2.7.3（略）。
一、准备工作（scala & spark）
1.1 centOS6服务器3台
master 192.168.3.140 (master.hadoop.zjportdns.gov.cn)
node1 192 ...
1. 创建两个文本文件，作为测试数据
mkdir -p /home/zhenggm/input
cd /home/zhenggm/input
echo "hello hadoop bye hadoop" > f1
echo "hello hadoop bye hadoop" > f2
2. 创建hdfs目录
hadoop fs -mkdir -p /tmp/input
3. 拷贝文件到hdfs中
hadoop fs -put /home/zhenggm/input/* /tmp/input/
4.运行demo程序
cd /usr/loca ...
Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成。
其中NameNode，secondary NameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上。
一、准备工作
1.1 centOS6服务器3台
master 192.168.3.140 (master.hadoop.zjportdns.gov.cn)
node1 192.168.3.141 ...
新年，公司开始建设大数据中心项目，因此架构组需要对相关技术进行研究。原先对大数据相关技术已有耳闻，但是实际项目没用，很少去深入关注。这里先把一些技术的理解记一下：
1.hadoop 我的理解是一个大数据处理框架，包 ...