浅谈日志分析
发布时间：2018年09月05日
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及发生错误的原因。经常分析日志可以了解服务器的负荷、性能安全性，从而能够及时采取措施纠正错误。
通常，日志被分散和储存在不同的设备上。如果你管理数十台或上百台服务器，但还在使用依次登录每台机器的传统方法查阅日志，这样程序不仅繁琐，效率还低下。因此，当务之急我们应使用集中化的日志管理，例如：开源的 syslog ，elk，将所有服务器上的日志收集汇总。当然，e日志在针对日志管理这方面更完善高效。
接下来我们来说说日志分析
日志数据可以是有价值的信息宝库，也可以是毫无价值的数据泥潭。要保护和提高你的网络安全，有各种操作系统、应用程序、设备和安全产品的日志数据能够帮助你提前发现和避开灾难，并且找到安全事件的根本原因。
当然，日志数据对于实现网络安全的价值究竟有多大，取决于两个因素:
第一，你的系统和设备必须进行合适的设置以便记录你所需的数据。
第二，你必须要有合适的工具、培训和可用的资源来分析收集到的数据。
一般我们使用 grep 、 awk 和 wc 等 linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析 elk 平台能够完美地解决我们上述的问题， elk 是由 elasticsearch 、 logstash 和 kiabana 三个开源工具组成。
但是，elasticsearch用于日志搜索这种对实时要求比较高的场景时，需要做性能调优，甚至定制化开发，才能较好地满足大数据量、低延时的要求，同时需要做大量的配置，而且开源软件需要花费时间维护，综合成本较高。
e日志在日志分析领域里做了大量的突破与创新，功能相比elk丰富多了。e日志实现了事件计数统计、时间分段统计、数值分段统计、字段值分类统计、字段数值统计、累计百分比统计等功能，快速采集原始日志，统一管理并建立索引，通过灵活的分析手段将资源的运行情况可视化，帮助用户及时发现问题以及定位故障原因，打造以业务为核心的智能日志分析平台，将低价值的数据变成金矿。