寫(xiě)了個(gè)監(jiān)控 ElasticSearch 進(jìn)程異常的腳本！
作者：JackTian
來(lái)源：公眾號(hào)「杰哥的IT之旅」
ID：Jake_Internet
轉(zhuǎn)載請(qǐng)聯(lián)系授權(quán)（微信ID：Hc220088）
服務(wù)器配置免密鑰環(huán)境準(zhǔn)備：
配置免密鑰前，需要在服務(wù)器的 hosts 文件中配置目標(biāo)主機(jī)名稱與 IP 對(duì)應(yīng)關(guān)系。
vim /etc/hosts
IP1 hostname1
IP2 hostname2
......
將 mianmiyaojiaoben.zip 安裝包解壓在當(dāng)前目錄下
cd /usr/local/jiaoben
unzip mianmiyaojiaoben.zip
修改 mianmiyao_config 配置文件，添加目標(biāo)主機(jī)名稱與目標(biāo)主機(jī)密碼，通過(guò)用免密鑰的腳本來(lái)調(diào)用。
vim mianmiyao_config
AllHosts=hostname1,hostname2
Passwd='test23!\@Test^&*','test23!\@Test^&*'
配置文件中，需注意：
AllHosts：可配置當(dāng)前主機(jī)通往目標(biāo)主機(jī)的主機(jī)名，可以免秘鑰自身，數(shù)量不限。多臺(tái)目標(biāo)主機(jī)需以英文逗號(hào)隔開(kāi)
Passwd：主機(jī)所對(duì)應(yīng)的密碼，順序需要與主機(jī)順序?qū)?yīng)
如果原密碼為：test23!@Test^&*，則密碼字符帶有特殊符號(hào)可以用 \ 符轉(zhuǎn)義
mianmiyao.sh 腳本文件內(nèi)容：
vim mianmiyao.sh
#!/bin/bash -x
source mianmiyao_config
yum -y install expect expect-devel
#rm -rf /root/.ssh/*
/usr/bin/expect -d <<-EOF
set timeout 100
spawn ssh-keygen -t rsa
expect {
"*id_rsa):" { send "\r"; exp_continue }
"*(y/n)?" { send "y\r"; exp_continue }
"*passphrase)*" { send "\r"; exp_continue }
"*again:" { send "\r"; exp_continue }
"*-------+" { send "\r"}
}
expect eof
EOF
hostsarr=(${hosts//,/ })
passwdarr=(${passwd//,/ })
num=${#hostsarr[@]}
for((i=0;i<num;i++));
do
/usr/bin/expect <<-EOF
set timeout 100
spawn ssh-copy-id ${hostsarr[i]}
expect {
"*(yes/no)?" { send "yes\r"; exp_continue }
"*password:" { send "${passwdarr[i]}\r"; exp_continue }
"*authorized_keys*" { send "\r"}
}
expect eof
exit
EOF
done
將 mianmiyao.sh 文件添加執(zhí)行權(quán)限并執(zhí)行此腳本
chmod +x mianmiyao.sh
./mianmiyao.sh
腳本執(zhí)行完畢后，可以先手動(dòng)執(zhí)行如下命令，如無(wú)需輸入密碼跳轉(zhuǎn)到對(duì)應(yīng)的目標(biāo)服務(wù)器時(shí)，則表示成功。
ssh hostname2
服務(wù)器部署監(jiān)測(cè) ElasticSearch 環(huán)境準(zhǔn)備：
將 cpufreedisk_config 配置文件添加對(duì)應(yīng) ES 集群主機(jī)名、ES 端口、ES 主節(jié)點(diǎn)服務(wù)器主機(jī)名。
vim cpufreedisk_config
# 所有 ES 集群的主機(jī)名，用英文逗號(hào)分隔，需要在免密鑰機(jī)器上執(zhí)行
EsHosts=hostname1,hostname2
# ES 端口
EsPort=9200
# ES 主節(jié)點(diǎn)服務(wù)器的主機(jī)名
EsMaster=hostname1
將 cpufreedisk.sh 腳本文件放入 ElasticSearch 服務(wù)器的 /usr/local/jiaoben/ 目錄下
#!/bin/bash
# @Time : 2023/02/01
# @Author : JackTian
# @File : cpufreedisk.sh
# @Desc : 使用該腳本監(jiān)控 ES 系統(tǒng)程序假死、掛掉、異常及服務(wù)器斷網(wǎng)、宕機(jī)服務(wù)器恢復(fù)后，程序做判斷恢復(fù)/檢測(cè)服務(wù)器cpu內(nèi)存磁盤。
# 使用前提：ES 集群服務(wù)器配置免密鑰
# 使用方法：將 cpufreedisk.sh 腳本放置 ES 服務(wù)器的 /usr/local/jiaoben/ 目錄下、在 cpufreedisk_config 中配置 ES 集群的主機(jī)名、端口、ES 主節(jié)點(diǎn)服務(wù)器的主機(jī)名
# 設(shè)置定時(shí)任務(wù)（可以事先手動(dòng)執(zhí)行）
# 0 6 * * * source /etc/profile && cd /usr/local/jiaoben && ./cpufreedisk.sh
source /usr/local/jiaoben/cpufreedisk_config
function esStatus
{
curl --connect-timeout 30 -m 60 $1:$esport > resultEsCurl.log
echo "`cat resultEsCurl.log | grep cluster_name`"
}
function esLost
{
iptemp=`cat /etc/hosts | grep -w $1 | grep '^[^#]' | awk '{print $1}'`
curl --connect-timeout 30 -m 60 $esMaster:$esport/_cat/nodes?v | grep $iptemp > resultEsCurl1.log
echo "`cat resultEsCurl1.log`"
}
function esDie
{
ssh $1 "source /etc/profile && jps | grep Elasticsearch | awk '{print \$1}' | xargs"
}
function restart
{
ssh $1 <<EOF
echo "請(qǐng)手動(dòng)啟動(dòng) ES 進(jìn)程"
exit
EOF
}
today=$(date +"%Y-%m-%d")
todaytime=`date`
#針對(duì) ES 做假死、宕機(jī)、掛掉，做日志記錄和處理
serverroothostname=(${esHosts//,/ })
for rootHost in ${serverroothostname[*]}
do
esStatusResult=`esStatus $rootHost`
echo "$rootHost 的狀態(tài)為: $esStatusResult"
if [ -n "$esStatusResult" ];then
esLostResult=`esLost $rootHost`
echo "$rootHost 的狀態(tài)為: $esLostResult"
if [ -n "$esLostResult" ];then
echo "ES 運(yùn)行狀態(tài)正常。"
else
echo "$rootHost 脫離集群。"
echo "${todaytime}ES的${rootHost}節(jié)點(diǎn)脫離集群。請(qǐng)人工排查" >> /usr/local/jiaoben/ESmanager.log
restart $rootHost
fi
else
echo "${todaytime}xxx系統(tǒng)$rootHost 的 ES 進(jìn)程運(yùn)行狀態(tài)異常，啟動(dòng)重啟中..." >> /usr/local/jiaoben/ESmanager.log
echo "${todaytime}xxx系統(tǒng)$rootHost 重啟" >> /usr/local/jiaoben/ESmanager.log
ssh $rootHost <<EOF >>/usr/local/jiaoben/ESmanager.log
mkdir -p /usr/local/jiaoben/
cd /usr/local/jiaoben/
echo "--------------------------------------服務(wù)器分割線-------------------------------------------"
echo "$rootHost磁盤信息"
df -h
echo "$rootHost內(nèi)存信息（單位為：G）"
free -h
echo "$rootHost的CPU信息"
vmstat
exit
EOF
if [ $? -eq 0 ];then
esDieResult=`esDie $rootHost`
if [ -n "$esDieResult" ];then
echo "${todaytime}xxx系統(tǒng) ES 出現(xiàn)假死，已執(zhí)行重啟臨時(shí)解決，詳情參看日志" >> /usr/local/jiaoben/ESmanager.log
else
echo "${todaytime}xxx系統(tǒng) ES 未啟動(dòng)，已執(zhí)行重啟臨時(shí)解決，詳情參看日志" >> /usr/local/jiaoben/ESmanager.log
fi
else
echo "${todaytime}xxx系統(tǒng) ES 服務(wù)器疑似宕機(jī)：無(wú)法 ssh 登錄" >> /usr/local/jiaoben/ESmanager.log
fi
restart $rootHost
fi
done
將 cpufreedisk.sh 腳本文件添加可執(zhí)行權(quán)限并執(zhí)行
chmod +x cpufreedisk.sh
./cpufreedisk.sh
設(shè)定周期性定時(shí)任務(wù)，每天定時(shí)執(zhí)行。
crontab -e
# 使用該腳本監(jiān)控 ES 系統(tǒng)程序假死、掛掉、異常及服務(wù)器斷網(wǎng)、宕機(jī)服務(wù)器恢復(fù)后，程序做判斷恢復(fù)/檢測(cè)服務(wù)器cpu內(nèi)存磁盤。
0 6 * * * source /etc/profile && cd /usr/local/jiaoben && ./cpufreedisk.sh
推薦閱讀：
太強(qiáng)了！利用 Python 寫(xiě)了一個(gè)監(jiān)控服務(wù)器資源利用率的腳本！
超硬核！11 個(gè)非常實(shí)用的 Python 和 Shell 拿來(lái)就用腳本實(shí)例！
7 個(gè)非常實(shí)用的 Shell 拿來(lái)就用腳本實(shí)例！