Docker部署ElasticSearch集群
點(diǎn)擊上方藍(lán)色字體，選擇“標(biāo)星公眾號(hào)”
優(yōu)質(zhì)文章，第一時(shí)間送達(dá)
? 作者?|? LemonSquash
來(lái)源 |? urlify.cn/iIzamm
76套java從入門(mén)到精通實(shí)戰(zhàn)課程分享
1.前言
為什么要用ElasticSearch？我們的應(yīng)用經(jīng)常需要添加檢索功能，開(kāi)源的Elastic Search是目前全文檢索引擎的首選。它可以快速的存儲(chǔ)、搜索和分析海量數(shù)據(jù)。ElasticSearch是一個(gè)分布式搜索框架，提供RestfulAPI，底層基于Lucene，采用多shard（分片）的方式保證數(shù)據(jù)安全，并且提供自動(dòng)resharding的功能。
Elasticsearch: 權(quán)威指南(中文)：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
2.拉取ElasticSearch鏡像
在centos窗口中，執(zhí)行如下命令：
docker?pull?elasticsearch:5.6.8
當(dāng)前ES鏡像版本信息：
{
??"name"?:?"WlwFyqU",
??"cluster_name"?:?"elasticsearch",
??"cluster_uuid"?:?"78UDZtviQqiWmzmenGpSrQ",
??"version"?:?{
????"number"?:?"5.6.8",
????"build_hash"?:?"cfe3d9f",
????"build_date"?:?"2018-09-10T20:12:43.732Z",
????"build_snapshot"?:?false,
????"lucene_version"?:?"6.6.1"
??},
??"tagline"?:?"You?Know,?for?Search"
?}
3.創(chuàng)建數(shù)據(jù)掛在目錄，以及配置ElasticSearch集群配置文件
3.1.創(chuàng)建數(shù)據(jù)文件掛載目錄,并開(kāi)放通信端口
在centos窗口中，執(zhí)行如下操作：
[root@localhost?soft]#?pwd
/root/soft
[root@localhost?soft]#?mkdir?-p?ES/config
[root@localhost?soft]#?cd??ES?
[root@localhost?ES]#?mkdir?data1
[root@localhost?ES]#?mkdir?data2
[root@localhost?ES]#?mkdir?data3
[root@localhost?ES]#?cd?ES/config/
[root@localhost?ES]#?firewall-cmd?--add-port=9300/tcp
success
[root@localhost?ES]#?firewall-cmd?--add-port=9301/tcp
success
[root@localhost?ES]#?firewall-cmd?--add-port=9302/tcp
success
注：如果ELK選的6.X版本的,且非管理員，那么讀者需將data1 data2 data3 開(kāi)啟777權(quán)限=> chmod 777 data1 data2 data3
3.2.創(chuàng)建ElasticSearch配置文件
在centos窗口中，使用vim命令分別創(chuàng)建如下文件：es1.yml,es2.yml,es3.yml
es1.yml
cluster.name:?my-elasticsearch
node.name:?es-node1
network.bind_host:?0.0.0.0
network.publish_host:?192.168.70.129
http.port:?9200
transport.tcp.port:?9300
http.cors.enabled:?true
http.cors.allow-origin:?"*"
node.master:?true?
node.data:?true??
discovery.zen.ping.unicast.hosts:?["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes:?2
es2.yml
cluster.name:?my-elasticsearch
node.name:?es-node2
network.bind_host:?0.0.0.0
network.publish_host:?192.168.70.129
http.port:?9201
transport.tcp.port:?9301
http.cors.enabled:?true
http.cors.allow-origin:?"*"
node.master:?true?
node.data:?true??
discovery.zen.ping.unicast.hosts:?["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes:?2
es3.yml
cluster.name:?my-elasticsearch
node.name:?es-node3
network.bind_host:?0.0.0.0
network.publish_host:?192.168.70.129
http.port:?9202
transport.tcp.port:?9302
http.cors.enabled:?true
http.cors.allow-origin:?"*"
node.master:?true?
node.data:?true??
discovery.zen.ping.unicast.hosts:?["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes:?2
注：本機(jī)虛擬機(jī)ip：192.168.70.129 讀者請(qǐng)自行更改
3.3.調(diào)高JVM線程數(shù)限制數(shù)量
在centos窗口中，修改配置sysctl.conf
vim?/etc/sysctl.conf
加入如下內(nèi)容：
vm.max_map_count=262144?
啟用配置：
sysctl?-p
注：這一步是為了防止啟動(dòng)容器時(shí)，報(bào)出如下錯(cuò)誤：
bootstrap checks failed max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
4.啟動(dòng)ElasticSearch集群容器
啟動(dòng)ElasticSearch集群容器
在centos窗口中，執(zhí)行如下命令：
docker?run?-e?ES_JAVA_OPTS="-Xms256m?-Xmx256m"?-d?-p?9200:9200?-p?9300:9300?-v?/root/soft/ES/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml?-v?/root/soft/ES/data1:/usr/share/elasticsearch/data?--name?ES01?elasticsearch:5.6.8
?
docker?run?-e?ES_JAVA_OPTS="-Xms256m?-Xmx256m"?-d?-p?9201:9201?-p?9301:9301?-v?/root/soft/ES/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml?-v?/root/soft/ES/data2:/usr/share/elasticsearch/data?--name?ES02?elasticsearch:5.6.8
docker?run?-e?ES_JAVA_OPTS="-Xms256m?-Xmx256m"?-d?-p?9202:9202?-p?9302:9302?-v?/root/soft/ES/config/es3.yml:/usr/share/elasticsearch/config/elasticsearch.yml?-v?/root/soft/ES/data3:/usr/share/elasticsearch/data?--name?ES03?elasticsearch:5.6.8
注：設(shè)置-e ES_JAVA_OPTS="-Xms256m -Xmx256m" 是因?yàn)?etc/elasticsearch/jvm.options 默認(rèn)jvm最大最小內(nèi)存是2G，讀者啟動(dòng)容器后 可用docker stats命令查看
5.驗(yàn)證是否搭建成功
在瀏覽器地址欄訪問(wèn)http://192.168.70.129:9200/_cat/nodes?pretty?查看節(jié)點(diǎn)狀態(tài)
注：節(jié)點(diǎn)名稱帶表示為主節(jié)點(diǎn)*
6.ElasticSearch配置文件說(shuō)明
cluster.name:?my-elasticsearch
node.name:?es-node1
network.bind_host:?0.0.0.0
network.publish_host:?192.168.70.129
http.port:?9200
transport.tcp.port:?9300
http.cors.enabled:?true
http.cors.allow-origin:?"*"
node.master:?true?
node.data:?true??
discovery.zen.ping.unicast.hosts:?["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes:?2
參數(shù)說(shuō)明:
cluster.name：用于唯一標(biāo)識(shí)一個(gè)集群，不同的集群，其 cluster.name 不同，集群名字相同的所有節(jié)點(diǎn)自動(dòng)組成一個(gè)集群。如果不配置改屬性，默認(rèn)值是：elasticsearch。
node.name：節(jié)點(diǎn)名，默認(rèn)隨機(jī)指定一個(gè)name列表中名字。集群中node名字不能重復(fù)
index.number_of_shards:?默認(rèn)的配置是把索引分為5個(gè)分片
index.number_of_replicas:設(shè)置每個(gè)index的默認(rèn)的冗余備份的分片數(shù)，默認(rèn)是1
network.bind_host:?設(shè)置可以訪問(wèn)的ip,可以是ipv4或ipv6的，默認(rèn)為0.0.0.0，這里全部設(shè)置通過(guò)
network.publish_host:設(shè)置其它結(jié)點(diǎn)和該結(jié)點(diǎn)交互的ip地址，如果不設(shè)置它會(huì)自動(dòng)判斷，值必須是個(gè)真實(shí)的ip地址
http.port:設(shè)置對(duì)外服務(wù)的http端口，默認(rèn)為9200
transport.tcp.port:?設(shè)置節(jié)點(diǎn)之間交互的tcp端口，默認(rèn)是9300
http.cors.enabled:?是否允許跨域REST請(qǐng)求
http.cors.allow-origin:?允許?REST?請(qǐng)求來(lái)自何處
node.master:?true?配置該結(jié)點(diǎn)有資格被選舉為主結(jié)點(diǎn)（候選主結(jié)點(diǎn)），用于處理請(qǐng)求和管理集群。如果結(jié)點(diǎn)沒(méi)有資格成為主結(jié)點(diǎn)，那么該結(jié)點(diǎn)永遠(yuǎn)不可能成為主結(jié)點(diǎn)；如果結(jié)點(diǎn)有資格成為主結(jié)點(diǎn)，只有在被其他候選主結(jié)點(diǎn)認(rèn)可和被選舉為主結(jié)點(diǎn)之后，才真正成為主結(jié)點(diǎn)。
node.data:?true?配置該結(jié)點(diǎn)是數(shù)據(jù)結(jié)點(diǎn)，用于保存數(shù)據(jù)，執(zhí)行數(shù)據(jù)相關(guān)的操作（CRUD，Aggregation）；
discovery.zen.minimum_master_nodes:?//自動(dòng)發(fā)現(xiàn)master節(jié)點(diǎn)的最小數(shù)，如果這個(gè)集群中配置進(jìn)來(lái)的master節(jié)點(diǎn)少于這個(gè)數(shù)目，es的日志會(huì)一直報(bào)master節(jié)點(diǎn)數(shù)目不足。（默認(rèn)為1）為了避免腦裂，個(gè)數(shù)請(qǐng)遵從該公式?=>?(totalnumber of master-eligible nodes / 2 + 1)。?*?腦裂是指在主備切換時(shí)，由于切換不徹底或其他原因，導(dǎo)致客戶端和Slave誤以為出現(xiàn)兩個(gè)active master，最終使得整個(gè)集群處于混亂狀態(tài)*
discovery.zen.ping.unicast.hosts：?集群個(gè)節(jié)點(diǎn)IP地址，也可以使用es-node等名稱，需要各節(jié)點(diǎn)能夠解析
附錄：
1.查看容器內(nèi)存
docker?stats?$(docker?ps?--format={{.Names}})
2.查看容器日志
docker?logs?容器名/容器ID
粉絲福利：Java從入門(mén)到入土學(xué)習(xí)路線圖
??????
??長(zhǎng)按上方微信二維碼?2 秒
感謝點(diǎn)贊支持下哈?