騷操作 | 高效辦公，Python 自動(dòng)化教你一鍵獲取日志！

第一時(shí)間關(guān)注 Python 原創(chuàng)干貨！

1. 前言

對(duì)大部分的人來(lái)說(shuō)，解決 Bug 都是依靠關(guān)鍵字去日志去定位問(wèn)題！

在調(diào)試情況下，我們可以實(shí)時(shí)在控制臺(tái)查看日志；但對(duì)于部署到服務(wù)器上的應(yīng)用，日志都存放在服務(wù)器某個(gè)目錄下，沒(méi)法通過(guò)本地查看到

這種情況下，就需要我們先登錄服務(wù)器，然后進(jìn)入到日志目錄文件夾，最后通過(guò)日志文件去定位問(wèn)題；如果涉及到 K8s 容器，可能還需要使用 kubectl 命令進(jìn)入到服務(wù)對(duì)應(yīng)的容器中，進(jìn)入到日志目錄，才能開(kāi)始定位問(wèn)題，這一切顯得非常繁瑣且低效

本篇文章介紹一款 Python 依賴庫(kù)：pexpect，作為一款命令行自動(dòng)化工具，它可以幫助我們一鍵獲取日志，快速定位問(wèn)題！

2. pexpect 介紹

pexpect 是 Python 語(yǔ)言實(shí)現(xiàn)的類?Expect 的一種實(shí)現(xiàn)，通過(guò)產(chǎn)生子應(yīng)用程序并控制它們，通過(guò)期望模式對(duì)子應(yīng)用程序的輸出做出相應(yīng)處理

項(xiàng)目地址：

https://github.com/pexpect/pexpect/tree/5eed1a31a2853a09b7367c59fbd1a4a0b53341df

它主要對(duì)人機(jī)對(duì)話進(jìn)行模擬，來(lái)實(shí)現(xiàn)一些自動(dòng)化的場(chǎng)景

比如：用來(lái)和?SSH、FTP、PASSWD、Telnet?等命令行程序進(jìn)行自動(dòng)化交互

在使用之前，我們先安裝依賴包

#?安裝依賴庫(kù)
pip3?install?pexpect

3. 實(shí)戰(zhàn)一下

我們以從服務(wù)器 K8S 容器獲取日志為例進(jìn)行講解

3-1?SSH 登錄

首先，初始化使用 pexpect 模擬 SSH 遠(yuǎn)程登錄服務(wù)器

import?pexpect

PROMPT?=?['#?',?'>>>?',?'>?',?'\$?']

def?login_with_pexpect():
????"""
????登錄-pexpect
????:return:
????"""
????#?端口號(hào)
????port?=?**

????#?用戶名
????user?=?**

????#?密碼
????pwd?=?**

????#?ip地址
????ip?=?**

????ssh_cmd?=?"ssh?-p?{}?{}@{}".format(port,user,ip)

????#?指定登錄命令，拿到程序操作句柄
????child?=?pexpect.spawn(ssh_cmd,?timeout=60,?encoding='utf-8')

????#?提示輸入密碼的字符出現(xiàn)，否則超時(shí)
????ret?=?child.expect([pexpect.TIMEOUT,?'[P|p]assword:?'],?timeout=10)

????#?匹配成功后，輸入密碼，執(zhí)行登陸操作
????if?ret?==?1:
????????#?發(fā)送密碼
????????child.sendline(pwd)
????????child.expect(PROMPT)
????????return?child
????else:
????????print('登錄失敗！')

其中

pexpect.spawn() ：用于執(zhí)行一個(gè)程序，并返回一個(gè)操作句柄

該方法常見(jiàn)的 3 個(gè)參數(shù)如下：

• 第一個(gè)參數(shù)是待執(zhí)行的命令

• 第二個(gè)參數(shù)指定超時(shí)時(shí)間，程序執(zhí)行后的輸出檢查，如果指定時(shí)間內(nèi)沒(méi)有匹配到結(jié)果，就會(huì)拋異常

• 第三個(gè)參數(shù)用于設(shè)置編碼格式

child.expect()?：對(duì)輸出結(jié)果，利用正則表達(dá)式進(jìn)行關(guān)鍵字匹配

代碼中的含義是在 10s 內(nèi)等待出現(xiàn)關(guān)鍵字?'[P|p]assword:?'

最后，如果匹配的結(jié)果為 1，使用?sendline() 方法發(fā)送帶回車符的字符串，模擬密碼的輸入，完成登錄操作

3-2??封裝發(fā)送命令

接下來(lái)，我們將操作句柄發(fā)送命令進(jìn)行一次封裝，并獲取返回結(jié)果

def?send_command(child,?cmd,?expected_content=None,?timeout=10):
????"""
????發(fā)送一條命令，并打印結(jié)果
????:param?expected_content:
????:param?child:
????:param?cmd:
????:return:
????"""
????#?發(fā)送一條命令
????if?expected_content?is?None:
????????expected_content?=?["#"]

????child.sendline(cmd)

????#?期望有命令行提示字符出現(xiàn)
????child.expect(expected_content,?timeout=timeout)

????#?將之前的內(nèi)容都輸出
????result?=?child.before

????return?result?

需要指出的是，child.before 用于獲取到匹配到關(guān)鍵字為止，緩存里面已有的全部數(shù)據(jù)

3-3? 進(jìn)入容器 pod 日志目錄

使用上面的方法，通過(guò)?kubectl 進(jìn)入到對(duì)應(yīng)的容器日志目錄

#?登錄pod容器
exec_enter_pod?=?'kubectl?-n?%s?exec?-it?%s??bash'?%?(env,?pod_name)

#?進(jìn)入容器
send_command(child,?exec_enter_pod)

#?進(jìn)入到日志目錄
send_command(child,?"cd?logs",?expected_content='tomcat/logs#')

3-4??獲取日志內(nèi)容

最后我們只需要組成獲取日志的命令

比如：使用?grep/tail?命令組成一個(gè)提取日志文件的命令

然后使用句柄對(duì)象發(fā)送這條命令

最后，對(duì)返回內(nèi)容進(jìn)行清洗即可

4. 最后

文中使用 pexpect?實(shí)現(xiàn)了一個(gè)非常簡(jiǎn)單的場(chǎng)景

事實(shí)上，大部分人機(jī)對(duì)話自動(dòng)化交互都可以由它來(lái)實(shí)現(xiàn)，比如，下載日志、實(shí)時(shí)配置、遠(yuǎn)程打包下載等