3個python小工具，Linux服務器性能直線飛起！！！
文 | ssw
來源：Python 技術「ID: pythonall」
由于工作需要，服務器每周需巡檢一次。除了內存、cpu、磁盤、網絡連接等數據外，還有不同的服務。
為加快巡檢速度和知曉服務器狀況，我使用了multiprocessing.dummy多線程、pampy模式匹配和一個elementUI組件，這些工具確能幫忙處理實際問題：
一行代碼實現并行 原本二十多臺服務器巡檢用 shell需3分鐘完成，用multiprocessing.dummy模塊后只需十幾秒pampy模式匹配
搭配正則，匹配出2塊磁盤的使用率，方便前端頁面展示。數據是從真實服務器上獲取的。
import re
from pampy import match
disk_usage = 'diskname: /dev/vda1 used: 35G nouse: 59G USAGE: 35.35% diskname: /dev/vdb1 used: 278G nouse: 190G USAGE: 56.39%'
re_regular = re.compile('diskname: (/\\w+/\\w+).*USAGE: (.*)% diskname: (/\\w+/\\w+).*USAGE: (.*)%')
m= match(disk_usage, re_regular, lambda a,b,c,d: b+','+d)
print(m)
結果如下：35.35,56.39
匹配好后，這2個值很方便就能在前端頁面進行展示了
使用 elementUI的progress進度條展示內存百分比
這是elementUI官網的進度條組件
這是使用它的效果：
下面詳細介紹這3點：
1. 一行代碼實現并行
在某臺服務器上做免密鑰登錄，能直連到其它服務器執(zhí)行shell腳本，之前的巡檢是通過shell腳本執(zhí)行的：
#登錄不同的ip，依次執(zhí)行/home/ssw/目錄下的檢查腳本
for ip in `cat /home/ssw/iplist`;do ssh user@$ip "/bin/sh /home/ssw/weekly_check.sh";done
因為是串行執(zhí)行，經常等到花兒都謝了。于是改用python去執(zhí)行這些shell命令：cpu、內存、磁盤的檢查命令都一樣，不同的服務只需定義一個字典，根據ip添加相關命令。再pool.map()一行實現多線程
# -*- coding: utf-8 -*-
import paramiko
import json
from datetime import datetime
import traceback
from pprint import pprint
from multiprocessing.dummy import Pool as ThreadPool
def weekly_check(ip):
#基礎巡檢指標
cmds_dict = {'cpu_usage':'TIME_INTERVAL=5;LAST_CPU_INFO=$(cat /proc/stat | grep -w cpu | awk \'{print $2,$3,$4,$5,$6,$7,$8}\');LAST_SYS_IDLE=$(echo $LAST_CPU_INFO | awk \'{print $4}\');LAST_TOTAL_CPU_T=$(echo $LAST_CPU_INFO | awk \'{print $1+$2+$3+$4+$5+$6+$7}\');sleep ${TIME_INTERVAL};NEXT_CPU_INFO=$(cat /proc/stat | grep -w cpu | awk \'{print $2,$3,$4,$5,$6,$7,$8}\');NEXT_SYS_IDLE=$(echo $NEXT_CPU_INFO | awk \'{print $4}\');NEXT_TOTAL_CPU_T=$(echo $NEXT_CPU_INFO | awk \'{print $1+$2+$3+$4+$5+$6+$7}\');SYSTEM_IDLE=`echo ${NEXT_SYS_IDLE} ${LAST_SYS_IDLE} | awk \'{print $1-$2}\'`;TOTAL_TIME=`echo ${NEXT_TOTAL_CPU_T} ${LAST_TOTAL_CPU_T} | awk \'{print $1-$2}\'`;CPU_USAGE=`echo ${SYSTEM_IDLE} ${TOTAL_TIME} | awk \'{printf "%.2f", 100-$1/$2*100}\'`;echo ${CPU_USAGE}',
'mem_usage':'MEM_USAGE=`/usr/bin/free | awk \'/Mem/{printf("RAM Usage: %.2f%\\n"), $3/$2*100}\' | awk \'{print $3}\'`;echo ${MEM_USAGE}',
'disk_status':'DISK_STATUS=`df -h | grep "^/dev/vd" | awk \'{printf "diskname: %-10s used: %-5s nouse: %-5s USAGE: %.2f%\\n",$1,$3,$4,$3/$2*100}\'`;echo ${DISK_STATUS}',
'network': 'if ping -c 5 www.baidu.com &>/dev/null;then echo "Network: OK";else echo "Network: NOT OK";fi',
'boot_log': 'B=`cat /var/log/boot.log`;if [ "$B" = "" ];then echo "Bootlog: OK";else echo"Bootlog: NOT OK";fi',
}
if ip == '172.16.1.21':
cmds_dict['mysql'] = 'mysql_pid=`ps -ef | grep mysql | grep -v grep | awk \'{print $2}\'`;if [ "${mysql_pid}" = "" ];then echo "Mysql_service: NOT OK";else echo "Mysql_service: OK! pid is ${mysql_pid}";fi'
elif ip == '172.16.1.22':
cmds_dict['es'] = 'es_pid=`ps -ef | grep elasticsearch | grep -v grep | awk \'{print $2}\'`;if [ "${es_pid}" = "" ];then echo "Es_service: NOT OK";else echo "Es_service: OK pid is ${es_pid}";fi'
elif ip == '172.16.1.23':
cmds_dict['redis_cluster'] = 'NUM=` ps -ef | grep redis | grep -v grep |awk \'{print $2}\' | wc -l`;echo "the running redis-cluster node is $NUM"'
try:
#創(chuàng)建ssh客戶端
client = paramiko.SSHClient()
#免密鑰登錄
private_key = paramiko.RSAKey.from_private_key_file('/home/ssw/.ssh/id_rsa')
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
client.connect(
hostname=ip,
username='ssw',
port=22,
pkey=private_key,
timeout=30
)
#新建一個空字典存儲輸出結果
result = {}
for k,v in cmds_dict.items():
stdin, stdout, stderr = client.exec_command(v)
if not stderr.read():
result['ip'] = ip
result[k] = stdout.read().decode('utf-8').strip()
else:
pass
except Exception as e:
pprint(ip+" error:"+str(e))
pprint(traceback.format_exc())
finally:
client.close()
return result
if __name__ == '__main__':
ip_list = ['172.16.1.21','172.16.1.22','172.16.1.23']
pool = ThreadPool(8)
ret = pool.map(weekly_check,ip_list)
pool.close()
pool.join()
#結果寫入excel
with open('/home/ssw/game_server_%s.xlsx' % datetime.now().__format__('%m-%d'),'w') as f:
f.write(json.dumps(ret))
有些服務器有2塊磁盤,有些只有1塊，這是執(zhí)行腳本后輸出的部分數據，格式如下：
[{'cpu_usage': '11.67',
'disk_status': 'diskname: /dev/vda1 used: 35G nouse: 59G USAGE: 35.35% '
'diskname: /dev/vdb1 used: 243G nouse: 225G USAGE: 49.29%',
'es': 'Es_service: OK pid is 20488',
'ip': '172.16.1.21',
'mem_usage': '27.13%',
'network': 'Network: OK'},
{'cpu_usage': '3.14',
'disk_status': 'diskname: /dev/vda1 used: 23G nouse: 445G USAGE: 4.67%',
'ip': '172.16.1.22',
'mem_usage': '12.86%',
'network': 'Network: OK',
'rabbitmq': 'Rabbitmq_service: OK pid is 1392'},
]
2. 數據寫入mysql（用到pampy）
創(chuàng)建數據庫
create table weekly_check
(
id int not null auto_increment,
project varchar(30),
ip varchar(30),
cpu varchar(30),
mem varchar(30),
disk LONGTEXT,
network varchar(60),
vda1 varchar(20),
vdb1 varchar(20),
service LONGTEXT,
create_time timestamp null default current_timestamp,
primary key (id)
);
寫入mysql
pampy在這里的作用，主要是找出2塊磁盤的使用率，作為數據插入到"vda1","vdb1"字段
import json,pymysql
import re
from pampy import match, HEAD, TAIL, _
#前面巡檢的部分數據
data = [{'cpu_usage': '11.67',
'disk_status': 'diskname: /dev/vda1 used: 35G nouse: 59G USAGE: 35.35% '
'diskname: /dev/vdb1 used: 243G nouse: 225G USAGE: 49.29%',
'es': 'Es_service: OK pid is 20488',
'ip': '172.16.1.21',
'mem_usage': '27.13%',
'network': 'Network: OK',
'service': {'boot_log': 'Bootlog: OK',
'front_service': 'Front_service: OK! pid is 16608',
'nodejs_service': 'nodejs_service: NOT OK'}
},
{'cpu_usage': '3.14',
'disk_status': 'diskname: /dev/vda1 used: 23G nouse: 445G USAGE: 4.67%',
'ip': '172.16.1.22',
'mem_usage': '12.86%',
'network': 'Network: OK',
'rabbitmq': 'Rabbitmq_service: OK pid is 1392',
'service': {'mysql': 'mysql: OK'}
}
]
def conn_mysql(sql,value):
dbparam = {
'host': '127.0.0.1',
'port': 3306,
'user': 'root',
'password': '1024',
'database': 'alerts',
'charset': 'utf8'
}
conn = pymysql.connect(**dbparam)
cursor = conn.cursor()
try:
cursor.execute(sql,value)
conn.commit()
except Exception as e:
print('入庫失敗', e)
conn.rollback()
finally:
cursor.close()
conn.close()
for info in data:
sql = "insert into weekly_check(project,ip,cpu,mem,disk,network,vda1,vdb1,service) values (%s, %s, %s, %s, %s, %s, %s, %s, %s)"
disk_status = info['disk_status']
#多個“服務”用字符串拼接，舉個??“nginx is ok”和"tomcat is ok"
service = ''
for k,v in info['service'].items():
# 多個“服務”用<br>換行符分割，前端可以識別它進行換行
service = service + v.split('pid')[0].strip() + '<br>'
# 網絡連接。主要是為了方便前端顯示，如果ok則直接顯示“正常”
if info['network'] == 'Network: OK':
info['network'] = '正常'
else:
info['network'] = '異常'
# 磁盤字符串長度大于60說明有2塊磁盤
if len(disk_status) > 60:
#取出兩塊磁盤vda1,vdb1的使用率
re_regular = re.compile('diskname: (/\w+/\w+).*USAGE: (.*)% diskname: (/\w+/\w+).*USAGE: (.*)%')
m = match(disk_status, re_regular, lambda a,b,c,d: b+','+d)
vda1,vdb1 = m.split(',')
disk_status = info['disk_status']
#去掉第一個USAGE
disk_status = re.sub('USAGE: .*% ', '', disk_status)
# 去掉第二個USAGE
disk_status = re.sub(' USAGE: .*%', '', disk_status)
#去掉第一個diskname，第二個diskname替換為換行符<br>
disk_status = disk_status.replace('diskname: ', '', 1).replace(' diskname: ', '<br><br>')
conn_mysql(sql, ('游戲',info['ip'], info['cpu_usage'], info['mem_usage'].strip('%'),\
disk_status,info['network'],vda1,vdb1,service))
else:
#只有一塊磁盤vda1
re_regular = re.compile('diskname: (/\w+/\w+).*USAGE: (.*)%')
m = match(disk_status, re_regular, lambda a,b: b)
conn_mysql(sql, ('游戲',info['ip'], info['cpu_usage'], info['mem_usage'].strip('%'), info['disk_status'],info['network'],m,'無',service))
這樣數據庫就有了巡檢數據
vue展示內存百分比
el-progress組件，使用率小于50%顯示綠色，50%~75%顯示橙色
<span v-if="item.prop === 'mem'"><el-progress :text-inside="true" :stroke-width="13"
:percentage="scope.row[item.prop]" status="success" v-if="scope.row[item.prop] < 50">
</el-progress>
</span>
<span v-if="item.prop === 'mem'"><el-progress :text-inside="true" :stroke-width="13"
:percentage="scope.row[item.prop]" status="warning" v-if="scope.row[item.prop] >= 50 && scope.row[item.prop] < 75">
</el-progress>
</span>
小結
很多模塊和工具開箱即用，是節(jié)省時間的利器，可以用它搭個便車。
圖書推薦：
點擊小程序卡片，優(yōu)惠購買
《硬件十萬個為什么（開發(fā)流程篇）》內容簡介：硬件產品開發(fā)是一項復雜的工程，涉及產品定義、成本控制、質量管理、進度管理、研發(fā)管理、生產管控、供應鏈管理和售后服務等多個環(huán)節(jié)。合理的流程可以化繁為簡，提升溝通及合作效率，降低風險，確保項目按計劃交付。
本書分為10個章節(jié)，分別對硬件產品開發(fā)過程中的各個關鍵環(huán)節(jié)進行了詳細的介紹。每個環(huán)節(jié)都有相應的模板和說明，并且通過實際案例來說明流程的重要性和使用方法，旨在幫助硬件工程師和初創(chuàng)團隊更快地熟悉和掌握開發(fā)流程。
留言就贈書：
留言第 8、18、38位可以分別獲得贈書一本。
注意：僅限關注本公眾號18天及以上且之前未獲得過贈書的讀者參與。
1、想領取贈書，加我微信，朋友圈不定期送書；
2、想咨詢學習，加我微信，每次咨詢僅9.9元；
3、更多需求（學習 代碼 視頻剪輯），都可以加我微信，歡迎咨詢。
掃碼即可加我微信
分享
收藏
點贊
在看
評論
圖片
表情