ELK 安装部署实战 (最新6.4.0版本)
2018-09-10 01:02:20来源：博客园 阅读 ()
一、实战背景
根据公司平台的发展速度，对于ELK日志分析日益迫切。主要的需求有：
1.用户行为分析
2.运营活动点击率分析
作为上述2点需求，安装最新版本6.4.0是非常有必要的，大家可根据本人之前博文ELK实战得知，之前ELK本人主要采用5.5.2 版本，
但是根据平台发展，5.5.2的功能不能完全满足我们的需求，所以现在博主与大家一起来对 6.4.0 （目前最新稳定版）版本进行安装部署。
二、ELK安装部署开始
大家安装部署之前，可先参考官方文档进行部署。（官方参考文档地址可点击一下超链接）
注：Elasticsearch 6.4.0 默认安装了x-pack 安全插件，该插件授权 30天试用。（如过期，则自行选择购买，或者破解，本方案不提供破解方案）
Elasticsearch 6.4.0 Kibana 6.4.0 Logstash 6.4.0 Filebeat 6.4.0
1、安装 Elasticsearch
1.1、下载安装Elasticsearch 6.4.0
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz.sha512
# 当shasum命令不存在时，可执行命令安装 yum install perl-Digest-SHA shasum -a 512 -c elasticsearch-6.4.0.tar.gz.sha512
tar -xzf elasticsearch-6.4.0.tar.gz cd elasticsearch-6.4.0/
2.1、配置Elasticsearch 集群
2.1.1 配置服务器hosts
由于模拟生产环境，提升计算能力，跨主机集群配置为优选
#1.配置集群之前先配置每台节点主机hosts,下图以测试环境为例：
配置 es-node1 和 es-node2 两台主机名称， es-node1为本机主机 ，如若增加主机节点，可配置es-node3 …,elasticsearch可配置上千节点作为集群服务节点。
vi /etc/hosts 192.168.30.21 es-node1 192.168.30.22 es-node2 192.168.30.23 es-node3
2.1.2 配置Elasticsearch
A.配置es-node1节点集群配置,如下配置 node.master:true 表示为主节点，node.data:true 表示主节点也作为数据节点
vi config/elasticsearch.yml cluster.name: my_es_cluster node.name: es-node1
path.data: /data/elk/es/data
path.logs: /data/elk/es/logs
http.cors.enabled: true http.cors.allow-origin: "*" node.master: true node.data: true
# 配置白名单 0.0.0.0表示其他机器都可访问
network.host: 0.0.0.0
transport.tcp.port: 9300
# tcp 传输压缩
transport.tcp.compress: true
http.port: 9200
discovery.zen.ping.unicast.hosts: ["es-node1"，"es-node2","es-node3"]
B.配置es-node2节点集群配置
vi config/elasticsearch.yml cluster.name: my_es_cluster node.name: es-node2
path.data: /data/elk/es/data
path.logs: /data/elk/es/logs
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: false
node.data: true
# 配置白名单 0.0.0.0表示其他机器都可访问
network.host: 0.0.0.0
transport.tcp.port: 9300
# tcp 传输压缩
transport.tcp.compress: true
http.port: 9200
discovery.zen.ping.unicast.hosts: ["es-node1"，"es-node2","es-node3"]
C.配置es-node3节点集群配置
vi config/elasticsearch.yml cluster.name: my_es_cluster node.name: es-node3
path.data: /data/elk/es/data
path.logs: /data/elk/es/logs
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: false
node.data: true
# 配置白名单 0.0.0.0表示其他机器都可访问
network.host: 0.0.0.0
transport.tcp.port: 9300
# tcp 传输压缩
transport.tcp.compress: true
http.port: 9200
discovery.zen.ping.unicast.hosts: ["es-node1"，"es-node2","es-node3"]
2.1.3 启动elasticsearch
A.启动elasticsearch服务之前，需先配置es用户组和es用户（由于es安全因素）
groupadd es #增加es组 useradd es –g es –p pwd #增加es用户并附加到es组 chown -R es:es elasticsearch-6.4.0 #分配es的目录访问权限 su –es #切换es用户
B.启动命令
/tools/elk/elasticsearch-6.4.0 ./bin/elasticsearch
C.第一次启动将遇到问题
ERROR: [2] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
#切换到root用户修改 vi /etc/security/limits.conf #在最后面追加 es hard nofile 65536 es soft nofile 65536 #修改后重新登录es账号，使用命令查看上面设置是否成功,结果为65536则成功 ulimit -Hn
[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
#切换到root用户 vi /etc/sysctl.conf #在最后追加 vm.max_map_count=262144 #使用 sysctl -p 查看修改结果 sysctl -p
D.解决以上问题，则先启动 数据节点，最后启动主节点
/tools/elk/elasticsearch-6.4.0 ./bin/elasticsearch
F.当所有节点启动成功后，在主节点服务器执行以下curl命令，如下图所示，标识Elasticsearch集群启动成功。
curl http://localhost:9200/_nodes/process?pretty
2、安装 Kibana
2.1 下载安装Kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz.sha512
shasum -a 512 kibana-6.4.0-linux-x86_64.tar.gz.sha512
tar -xzf kibana-6.4.0-linux-x86_64.tar.gz
mv kibana-6.4.0-linux-x86_64/ kibana-6.4.0
cd kibana-6.4.0/
2.2 配置kibana
vi ./config/kibana.yml server.host: "192.168.30.21"
2.3 启动kibana
./bin/kibana
2.4 访问kibana，如下图所示，表示启动成功
http://192.168.30.21:5601
3、安装 Logstash 与 Filebeat
3.1 下载安装Logstash和Filebeat
# Logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz.sha512
shasum -a 512 logstash-6.4.0.tar.gz.sha512
tar -xzf logstash-6.4.0.tar.gz
cd logstash-6.4.0
# Filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gz.sha512
shasum -a 512 filebeat-6.4.0-linux-x86_64.tar.gz.sha512
tar -xzf filebeat-6.4.0-linux-x86_64.tar.gz
mv filebeat-6.4.0-linux-x86_64 filebeat-6.4.0
cd filebeat-6.4.0
3.2 配置Logstash、Filebeat (最新版与5.5.2版本有差异，最新版引入module的概念，具体查看官方文档)
官方参考地址：https://www.elastic.co/guide/en/logstash/6.4/advanced-pipeline.html
Filebeat + Kafka + Logstash方案地址（可参考）： https://www.cnblogs.com/woodylau/p/9488339.html
在本篇博文，将仅说明 Logstash与Filebeat的交互，采集日志，该交互参考了以上官方文档。采集nginx日志。
# Filebeat.yml filebeat.prospectors: - type: log paths: - /path/to/file/logstash-tutorial.log output.logstash: hosts: ["localhost:5044"]
# Logstash-test.yml
cd logstash-6.4.0
vi logstash_test.conf
input { beats { port => "5044" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } geoip { source => "clientip" } } output { elasticsearch { hosts => [ "localhost:9200" ] } }
3.3 启动Logstash、Filebeat
#后台启动 filebeat nohup ./filebeat -c ./filebeat.yml & #启动Logstash nohup ./bin/logstash -f logstash-test.conf &
标签：
版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有
下一篇：关键字
- IDEA 设置热部署 Devtools 2020-06-10
- Maven安装与配置 2020-06-09
- java环境教程：Tomcat下载，安装，设置为Windows服务，启动 2020-06-09
- Centos下Zookeeper的安装部署 2020-06-06
- Elastic APM安装 2020-06-06
IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash
