简述 Elasticsearch，Fluentd，和Kibana（EFK）允许你收集、索引、搜索、和可视化日志数据。 Elasticsearch elasticsearch是基于Lucene的搜索服务器，提供实时搜索和分析数据。它提供了一个分布式、多租户可全文搜索引擎REST风格的Web界面和无模式JSON文件。 Kibana kibana是一个开源的（Apache许可），Elasticsearch的基于浏览器的分析和搜索仪表板。 探索和可视化你的数据。 Fluentd Fluentd负责从节点收集日志条目，丰富他们的元数据，送他们到Elasticsearch。 搭建一个简单的EFK 在本文中，采用的efk组件为最新稳定版本，elasticsearch-2.4.0，kibana-4.6.1， td-agent-2.3.2-0。安装方式为RPM安装，其他安装方式及其软件下载地址参考如下： elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html https://www.elastic.co/downloads/elasticsearch kibana https://www.elastic.co/guide/en/kibana/current/setup-repositories.html https://www.elastic.co/downloads/kibana fluentd http://docs.fluentd.org/categories/installation 环境说明： 2台centos7系统的服务器 elasticsearch搭建集群 kibana搭建在任何一台（kibana也可以高可用，用nginx做代理等，以后再做分享） fluentd安装在每一台服务器，做日志收集 最终收集这两台服务器的日志进行管理，并通过kibana可视化日志
安装elasticsearch 在两台服务器上都安装 1. 安装java环境 [root@localhost yum.repos.d]# yum -y install java 2. 安装elasticsearch [root@localhost ~]# yum -y localinstall elasticsearch-2.4.0.rpm 安装kibana 安装任意一台服务器上 [root@localhost ~]# yum -y localinstall kibana-4.6.1 安装插件 两台服务器都安装 为了更好的理解和管理日志，我们安装下面插件进行说明 marvel (监控数据) [root@localhost ~]# cd /usr/share/elasticsearch/ bin/plugin install license bin/plugin install marvel-agent [root@localhost ~]# cd /opt/kibana/ bin/kibana plugin –install elasticsearch/marvel/latest Graph （分析数据） [root@localhost ~]# cd /usr/share/elasticsearch/ bin/plugin install graph [root@localhost ~]# cd /opt/kibana/ bin/kibana plugin –install elasticsearch/graph/latest Head(es集群监控插件) [root@localhost elasticsearch]# bin/plugin install mobz/elasticsearch-head 其它插件请参照官网。 启动服务 启动各节点上的相应服务 [root@localhost ]# systemctl start elasticsearch [root@localhost ]# systemctl enable elasticsearch [root@localhost ]# systemctl start kibana [root@localhost ]# systemctl enable kibana 访问kibana验证 注：如果服务器防火墙为关闭，请允许tcp端口5601（kibana）,9200(es),9300(es集群)开启。 下图是访问kibana的效果图
下图是查看elasticsearch的集群状态
安装Fluentd
[root@localhost ]# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh 安装插件 /usr/sbin/td-agent-gem install fluent-plugin-elasticsearch
修改各组件配置文件
本文中修改efk三大组件的对应参数，实现最终效果。其配置文件的详细说明将在下期分享。 1.修改kibana [root@localhost kibana]# vi /opt/kibana/config/kibana.yml
2.修改elasticsearch.yml
es的配置文件是一个yaml文件，配置文件位置在/etc/elasticsearch/下，该目录下有两个文件，elasticsearch.yml是服务配置文件，logging.yml是日志配置文件。以下是配置文件具体说明。 [root@localhost EFK]# vi /etc/elasticsearch/elasticsearch.yml
cluster字段配置群集信息，主要是cluster.name字段；es会自动发现在同一网段下的es，如果在同一网段下有多个集群，es服务用该属性来区分不同的集群。 # ———————————- Cluster ———————————– … cluster.name: my-es … 该字段描述节点信息 … # ———————————— Node ————————————
node.name: es-node-1 node.master: true 指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。 node.data: true 指定该节点是否存储索引数据，默认为true。 . . 该字段描述路径，可以自行调整，默认在es根目录下。 ——————– Paths ———————————- 网络相关字段，主要设置需要绑定的ip和端口。es节点间交互的tcp端口为9300，对外是http的9200口。 # ———————————- Network ———————————–
network.host: 192.168.1.135 http.port: 9200 集群服务发现 # ——————————— Discovery ———————————- … discovery.zen.ping.unicast.hosts: [“192.168.1.175”, “192.168.1.176”] … 3.Fluentd配置 cp /etc/td-agent/td-agent.conf /etc/td-agent/td-agent.conf.bak vi /etc/td-agent/td-agent.conf 写配置文件内容，去收集不同的日志，具体说明见Fluentd配置 [root@…]# chmod 644 /var/log/messages [root@…]# systemctl restart systemctl restart 访问：http://ip:5601 进入kibana页面
进入之后可以查看到日志，也可以进入Marvel查看。
