读书频道 > 网站 > 网页设计 > 网站运维技术与实践
3.3.2.1 快速构建
14-04-12    奋斗的小年轻
收藏    我要投稿   

本文所属图书 > 网站运维技术与实践

网站运维工作,一向以内容繁杂、覆盖面广著称。《网站运维技术与实践》选取日常工作涉及的监测调优、日志分析、集群规划、自动化部署、存储和数据库等方面,力图深入阐述各项工作的技术要点及协议原理,并介绍相立即去当当网订购

Logstash社区非常重视新人的上手难度问题,甚至有一句话叫做“让新手为难的问题那就是个 bug”。所以使用 Logstash非常容易。

a.最简单的使用

我们从标准输入 stdin字符串“testdata”,让 Logstash转换到标准输出。

$ wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar

$ yum install java-1.7.0-openjdk

$ java -jar logstash-1.1.9-monolithic.jar agent -e 'input { stdin { type => "stdin-type"}}output { stdout {}}'

testdata

2013-04-07T13:20:36.806Z stdin://localhost/: testdata

然后我们再给 stdout加上 debug_format => "json"参数,可以看到输出如下。

{ "@source":"stdin://localhost/", "@tags":[], "@fields":{}, "@timestamp":"2013-04-07T13:22:07.460Z", "@source_host":"localhost", "@source_path":"/", "@message":"testdata", "@type":"stdin-type" }

如果我们再给 agent上加上-vv参数,可以看到更多 Logstash内部的流程。可以发现,在 Logstash内部,是以 event的形式在流转的。Logstash中不宜使用“行”这个概念,正是因为它会将数据变成 json,整个 event都是在处理 json。尤其是,有 filter可以把多行合并成一个 json,由一个 event来流转下去。

b.集群中的典型使用

Logstash最典型的使用场景,是通过 Logstash收集应用集群的日志到专用服务器上,并进行过滤和处理。其流程如图 3-7所示。


3-7

只要同时有 input和 output的插件,都可以作为 broker运行,比如 AMQP、Redis、 ZeroMQ、Stomp、TCP等。Logstash早先推荐使用 RabbitMQ,但是因为 RubyGems相关模块的支持不力,在大规模使用时经常成为瓶颈所在。所以从 1.1.5版本往后,官方推荐已经改为 Redis了。

shipper配置如下。

input {

  file {     path => "/var/log/*.log"     type => "clusterlog"

} } output {

  redis {    host => "192.168.0.2"    data_type => "list"    key => "logstash"

} }

indexer配置如下。

input {

  redis {     host => "192.168.0.2"     type => "clusterlog"     data_type => "list"     key => "logstash"     format => "json_event"

} } output {

  elasticsearch {     host => "192.168.0.3"

} }

broker配置如下。

yum install redis-server

storage配置如下。

Logstash默认自带有一个内嵌的 ElasticSearch服务器。在小规模场景下,storage部分完全无须设置。在规模较大的情况下,才需要自行进行分布式 ES集群部署。关于 ES的原理、配置和运维优化,稍后会将有专门的存储章节来讲述。

点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.3 功能
下一篇:1.5 小结
相关文章
图文推荐
JavaScript网页动画设
1.9 响应式
1.8 登陆页式
1.7 主题式
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站