操作系统，应用服务和业务逻辑，都在不停的产生日志数据。过去，日志数据基本都存在单机磁盘上，只能用来做临时的事后分析和审计；有 Hadoop 以后，大家渐渐习惯收集日志到 HDFS 中，然后每天运行 MapReduce 任务做统计报表；但是面对诸如"新上线的版本过去几分钟在各地反馈如何"，"昨天 23:40 左右这个投诉用户有没有异常"这种即时的开放性问题，传统的日志处理方案显得非常的笨拙和低效，因为解答没有唯一套路，答案需要尝试下钻挖掘才能得出。复杂多变的实时数据分析需求，需要的是灵活快捷的响应处理。Splunk 公司正是凭借着自己在这个大数据细分领域的一枝独秀，成为百亿美元级的明星公司。但是 Splunk 每 GB 高达 4500 美元的报价，又让人望而却步。直到 ELKstack 的出现，大家终于有了可选择的开源产品。
ELKstack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。
ELKstack 具有如下几个优点：
- 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用；
- 配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计；
- 检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到百亿级数据查询的秒级响应；
- 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的；
- 前端操作炫丽。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。
Read full article from ELKstack 中文指南
No comments:
Post a Comment