读书频道 > 网站 > 网页设计 > 网站运维技术与实践
3.3.1 Flume-ng
14-04-12    奋斗的小年轻
收藏    我要投稿   

本文所属图书 > 网站运维技术与实践

网站运维工作,一向以内容繁杂、覆盖面广著称。《网站运维技术与实践》选取日常工作涉及的监测调优、日志分析、集群规划、自动化部署、存储和数据库等方面,力图深入阐述各项工作的技术要点及协议原理,并介绍相立即去当当网订购

Flume-ng是在原先 Flume的基础上发展而来的。它去除了原先架构中复杂的ZooKeeper高可用等组件,形成了目前这个比较轻量的结构。

Flume-ng主要包括 source,sink和 channel三个部分。当 source来自多个源地址或者服务时,就是通常所说的集中式日志收集;当 source链接的上游是前一个 Flume-ng的 sink时,意味着这是一个数据中继的过程。这样, Flume-ng就可以跨越网络,一级一级地把整个数据流串联起来。其流程图如图 3-5所示。这也是 Flume-ng最常见的用法。


3-5

反过来,如果单一的 source对应的是多个 channel和 sink,如图 3-6所示,就可以把一份数据复制到多个目的地址或者服务上,以完成不同目的的分析处理。


3-6

下面是一份简单的 Flume-ng配置文件示例。

# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1

# Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 agent.sources.r1.interceptors.i1.regex = (\\d):(\\d):(\\d) agent.sources.r1.interceptors.i1.serializers = s1 s2 s3 agent.sources.r1.interceptors.i1.serializers.s1.name = one agent.sources.r1.interceptors.i1.serializers.s2.name = two agent.sources.r1.interceptors.i1.serializers.s3.name = three

# Describe the sink a1.sinks.k1.type = logger

# Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1

以上配置显得比较简洁易懂,相信即便是没有接触过 Flume-ng的读者也可以猜测出这个配置的效果,那就是:

在本机开启一个 44444端口接收数据;当数据中匹配[0-9]:[0-9]:[0-9]时,将捕获的三个数字分别存入结构化的{"one":1,"two":2,"three":3}数据;最后输出到系统日志中。

示例运行如下。

# bin/flume-ng agent --conf conf/ --conf-file conf/example.conf --name a1

-Dflume.root.logger=INFO,console # echo '[9:8:7:6:5:4] 321 flume test' | nc 127.0.0.1 44444 2013-05-09 16:49:45,149 (SinkRunner-PollingRunner-DefaultSinkProcessor)

[INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:70)] Event: { headers:{} body: 5B 39 3A 38 3A 37 3A 36 3A 35 3A 34 5D 20 33 32 [9:8:7:6:5:4] 32 }

点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.3 功能
下一篇:1.5 小结
相关文章
图文推荐
JavaScript网页动画设
1.9 响应式
1.8 登陆页式
1.7 主题式
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站