elk日志分析平台以及数据的可视化解析

Elasticsearch是一个高度可伸缩的开源全文搜索和分析引擎。它允许你以近实时的方式快速存储、搜索和分析大量的数据。它通常被用作基础的技术来赋予应用程序复杂的搜索特性和需求。

一、elk日志分析平台的搭建

  [root@server1 ~]# ls  elasticsearch-2.3.3.rpm  [root@server1 ~]#  yum install elasticsearch-2.3.3.rpm  -y  [root@server1 ~]# cd /etc/elasticsearch/  

  [root@server1 elasticsearch]# vim elasticsearch.yml 

ps：bootstrap true这一项在生产环境中需要打开，目前实验环境内存不够，所以不打开

  [root@server1 elasticsearch]# /etc/init.d/elasticsearch  start    ##提示运行该工具需要java环境

  [root@server1 ~]# yum install jdk-8u121-linux-x64.rpm -y    ##安装java环境  [root@server1 ~]# /etc/init.d/elasticsearch  start  

ps： 9200端口已经开启，负责与外界通信，9300负责集群间通信，暂未部署集群，所以忽略

在浏览器访问：

  [root@server1 elasticsearch]# cd /usr/share/elasticsearch/bin/  [root@server1 bin]# ls  

本地安装：

  [root@server1 bin]# ./plugin install file:/root/elk/elasticsearch-head-master.zip 

另一种方式–在线安装（在github上找到相应的安装文件）：

访问：

二、集群搭建

在server2安装：

  [root@server2 ~]# yum install jdk-8u121-linux-x64.rpm   [root@server2 ~]# yum install elk/elasticsearch-2.3.3.rpm -y  [root@server2 ~]# /usr/share/elasticsearch/bin/plugin install file:/root/elk/elasticsearch-head-master.zip   

在server3安装：

  [root@server3 ~]# yum install jdk-8u121-linux-x64.rpm   [root@server3 ~]# yum install elk/elasticsearch-2.3.3.rpm   [root@server3 ~]# /usr/share/elasticsearch/bin/plugin install file:/root/elk/elasticsearch-head-master.zip  

配置server1：

  [root@server1 elasticsearch]# vim elasticsearch.yml    

##添加以下三项

##修改这一项

  [root@server1 elasticsearch]# scp elasticsearch.yml root@172.25.129.2:/etc/elasticsearch/  [root@server1 elasticsearch]# scp elasticsearch.yml root@172.25.129.3:/etc/elasticsearch/  [root@server1 elasticsearch]# /etc/init.d/elasticsearch  reload  

配置server2：

  [root@server2 elasticsearch]# vim elasticsearch.yml 

  [root@server2 ~]# /etc/init.d/elasticsearch start

配置server3：

  [root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml 

  [root@server3 ~]# /etc/init.d/elasticsearch start

浏览器测试：

  [root@server1 elasticsearch]#  curl -XGET 'http://172.25.129.1:9200/_cluster/healthpretty=true'     ##健康状态检查

三、数据采集工具

server1：

  [root@server1 elk]# rpm -ivh logstash-2.3.3-1.noarch.rpm   [root@server1 elk]# /opt/logstash/bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'     ##只输出到终端  

##添加索引

  [root@server1 elk]# /opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["172.25.129.1"] } }'  ##输入为终端，输出为elasticsearch  

在网页查看，数据已经到达elasticsearch