使用Elasticsearch + Logstash + Kibana搭建日志集中分析平台实践

在上周的上海Gopher Meetup的聚会上,听了ASTA谢的演讲。然后公司最近也需要实现一个日志集中分析平台。ASTA谢恰好也讲了他使用了Elasticsearch + Logstash + Kibana这个组合进行日志分析。回来之后就买了一本书然后各种google把它配置好了,当然只是把框架搭好了。这三个组建还有很多功能并没有熟悉。本文只是简单的介绍在Centos如果配置ELK(因为公司的服务器是Centos的,个人比较喜欢Ubuntu 哈哈)

什么是ELK:

Elasticsearch + Logstash + Kibana(ELK)是一套开源的日志管理方案,分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计,但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志,而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案,针对分布式集群或者数据量级较大时会显得心有余而力不足,而ELK的出现可以使我们从容面对新的挑战。

  • Logstash:负责日志的收集,处理和储存
  • Elasticsearch:负责日志检索和分析
  • Kibana:负责日志的可视化

官方网站:

JDK – http://www.oracle.com/technetwork/java/javase/downloads/index.html
Elasticsearch – https://www.elastic.co/downloads/elasticsearch
Logstash – https://www.elastic.co/downloads/logstash
Kibana – https://www.elastic.co/downloads/kibana
Nginx-https://www.nginx.com/

服务端配置:

安装Java JDK:

Elasticsearch安装:

我们看到9200端口了说明我们安装成功了,我们可以在终端输入

或者直接浏览器打开我们可以看到

说明我们的程序是运行正常的。

Kibana的安装:

因为刚刚已经执行过

所以显示的效果我这里就不贴了,如果我们能看到5601端口就说明我们安装成功了。

Option 1:Generate SSL Certificates:

生成SSL证书是为了服务端和客户端进行验证:

Find the [ v3_ca ] section in the file, and add this line under it (substituting in the Logstash Server’s private IP address):

Option 2: FQDN (DNS):

Logstash安装:

Logstash Forwarder(客户端):

Logstash Server(服务端):

 

配置Nginx日志:

我们看一下完成配置之后的效果:

kibana

好了,我是折腾了2天才折腾出来的,感觉自己好笨。写篇总结为了下一次能够快速的搭建起来。

我们可以ton

使用Elasticsearch + Logstash + Kibana搭建日志集中分析平台实践

One thought on “使用Elasticsearch + Logstash + Kibana搭建日志集中分析平台实践

发表评论

电子邮件地址不会被公开。 必填项已用*标注