[金佳金融]金佳财富怎么样_在运维工程师眼里，真正的大数据时代长这样

　692人浏览　0人评论来源：网络　　发布时间：2015-12-21 9:28:44

互联网金融风生水起五股现绝佳布局良机【中金视听】

精彩内容：

“凡是过去，皆为序曲”，著名诗人莎士比亚的这句话运用在大数据时代最适合不过！

对于运维工程师来说，如果数据不能可视化的话，那么很大程度来说就是在扯淡，当然数据可视化也仅仅是万里长征的第一步。数据就像一堆堆的石子，也许不能就这一篇文章带领大家观其全貌，但至少能管中窥豹，可见一斑。那么数据到底长什么样呢？

它可以是这样

或者这样

如果你Excel足够牛逼，我想你是能够用excel做出足够厉害的图的，但也只是足够而已。（表拍砖，这是实话~）

在运维工程师看来数据至少要长这样

或者这样

注：上面使用的是ELK套件

但这只是冰山一角，还远远不够，工具谁能用，怎么用是一个层次，在这基础上再次利用则是另一个层次，由于文章篇幅有限，本文主要着重于后者并将视线锁定在日志数据，其他数据暂不考虑。

日志的数据至少得有三个作用：

1数据应该能说明问题或者现象

这一点很好理解，那就是数据在可视化的过程能够很直观的说明问题或者现象，即使通过最基本的提取过滤，我们能够知道在一段时间内多大的访问量，客户端的设备是什么，响应时间多少，在往下细化，应该是每个ip的访问次数，并且访问了什么内容，常访问什么内容，在知道响应时间的前提上，了解哪个访问链接耗时最长等等，以及一些可能职责之外的事，具体细节请自行脑补……

下面是简单的全球访问IP热点图：

注：不要问我为什么不用ELK自带的热点图，两个字，任性~

2数据应该能解决问题

既然日志能说明问题当然能解决问题，日志文件除了最基本的info记录，当然还有debug信息，通过debug信息我们知道程序运行到什么地方抛出了这个bug，为什么抛出这个bug，为了第一时间响应，我们还得快速定位到抛出bug的主机。

通过简单的查询我们可以快速定位到404状态发生的主机，及其发生时间，以及客户端的使用设备为什么，以及在访问什么的时候抛出404……

3数据应该能预测与预防问题

从一定程度上来说，问题并不可怕，可怕的是不能及时处理问题以及同样的问题反复出现却束手无策，所以，如何在有效利用数据的基础上再配合可靠并实时监控报警的机制就显得至关重要了。而关于预测，可以通过一定的算法数据来量化，然后评估以及模拟。

谈完了基础，我们着重谈谈日志数据的再次利用，这主要分为三个部分：

一、简单统计

无论是通过rrdtool还是Excel，或者Python，只要有数据，通过预选及数据清洗，就能得到自己想要的数据，在拥有数据的情况下，可视化也就显得自然而然了。

单日的Top IP，Top URL，Top City，乃们感受下~

Top IP