读书频道 > 网站 > 网页设计 > Splunk大数据分析
3.1 了解组合访问日志数据
14-05-29    奋斗的小年轻
收藏    我要投稿   

本文所属图书 > Splunk大数据分析

在大数据和业务智能领域,Splunk是功能强大、简单易学并且能够快速获取直接动力的一个分析工具。你可以利用Splunk实时地监控数据,或者在海量事实中进行数据挖掘。Splunk提供的强有力的可视化工具可以帮助你从海立即去当当网订购

我们在本书中所坚持的一个观点是,必须理解将要处理和分析的数据集。也就是说,首先熟悉我们需要处理的数据。在本章中,我们将会初步了解组合访问日志格式,也就是第2章中用来生成样本数据的格式。

几乎各类应用程序和服务器都会生成日志文件—不管终端用户程序、Web服务器,还是提供给个人或商业用户运行应用程序的复杂中间件平台。操作系统和固件也会产生大量的原始数据并生成日志文件。挑战在于我们需要理解、分析和挖掘这些日志文件中的原始数据,并且真正搞清楚它。

由Web服务器(如Apache或Microsoft IIS)生成的组合访问日志提供大量与活动、性能和产生的问题相关的间断的或连续的数据。这些日志包含服务器处理的所有请求信息。Apache和IIS都可以配置生成组合访问日志的格式,这使得大部分的日志分析程序可以很好地解析和处理这些日志文件。这种组合访问日志格式的日志项通常有如下形式:

 

此例中的各项数据字段的含义如表3-1所示。

表3-1 组合访问日志字段描述
字  段 描  述
127.0.0.1 这是提交HTTP请求访问Web应用程序或单个Web页面的客户端(机器、主机、代理服务器)的IP地址。这个字段的值也可以是主机名
- 这个字段用来标识发出HTTP请求的客户端。因为这个字段的内容通常很不可靠,所以一般使用连字符来表明此信息不可用
JohnDoe 这是对网页或应用程序发起请求的用户标识
10/Jan/2013:10:32:55 -0800 这是服务器处理完成Web请求的时间戳。这个时间戳的格式可通过Web服务器进行设置
“GET /apache_pb.gif HTTP/1.0” 这是从客户端获取的请求命令。它包含了方法信息,GET ;客户端请求的资源,
/apache_pb.gif;以及所使用的协议,HTTP/1.0
200 这是服务器响应客户端请求的状态码。状态码信息是非常有价值的,因为通过状态码可以分辨客户端的请求是成功的还是失败的,以安排接下来的动作。在这个例子中的状态码200表示服务器已成功响应客户端的请求
2326 这个数字表示返回给客户端的数据大小。在这个例子中,返回给客户端2326B大小的数据。假如没有数据返回给客户端,这个值将为连字符“-”
“http://www.google.com” 这是来源地址(referrer),它表明了该请求是从哪个网页提交过来的。来源地址的值可以是类似于http://www.google.com、http://www.yahoo.com、 http://www.bing.com这样的网址。来源地址可以让网站或者在线应用查看用户是通过什么方式进入网站的,并且这个来源信息还有助于确定网络广告的资金该投放到哪里。我们可能注意到了“referrer”多了一个“r”字母。这个是有意为之的,是从原来的HTTP规范方案里沿用下来的。在如Chrome等用户可以使用匿名模式或可以禁用来源信息的浏览器中,这个字段里的值就会不可靠。在HTML5中,可以指示发送这个信息的用户代理不发送来源信息
“Opera/9.20 (Windows NT 6.0;U;en)” 这是用户代理请求头。它是客户端浏览器提供的自身识别信息。“Opera/9.20 (Windows NT 6.0;U;en)”显示了请求是来自运行在Windows NT系统(实际上是Windows Vista或者Windows Server 2008)上的Opera浏览器。用户代理信息可以用于优化网站、网页应用以适用于屏幕更小的设备如iPad和智能手机

现在让我们来看看在第2章中通过MyGizmoStore.com数据生成的一些样本日志数据项。下面这些样本数据项来自/opt/log/BigDBBook-wwwl/access.log文件。我们可以看到不同的状态码、用户代理和浏览器信息。

 

点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.3 功能
下一篇:1.5 小结
相关文章
图文推荐
JavaScript网页动画设
1.9 响应式
1.8 登陆页式
1.7 主题式
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站