記一次 Python Web 接口優(yōu)化，性能提升25倍！

來源：Lin_R ??
鏈接：https://segmentfault.com/a/1190000020956724

背景

我們負(fù)責(zé)的一個業(yè)務(wù)平臺，有次在發(fā)現(xiàn)設(shè)置頁面的加載特別特別地慢，簡直就是令人發(fā)指

讓用戶等待 36s 肯定是不可能的，于是我們就要開啟優(yōu)化之旅了。

投石問路

既然是網(wǎng)站的響應(yīng)問題，可以通過 Chrome 這個強大的工具幫助我們快速找到優(yōu)化方向。

通過 Chrome 的 Network 除了可以看到接口請求耗時之外，還能看到一個時間的分配情況，選擇一個配置沒有那么多的項目，簡單請求看看：

雖然只是一個只有三條記錄的項目，加載項目設(shè)置都需要 17s，通過 Timing, 可以看到總的請求共耗時?17.67s?，但有?17.57s?是在 Waiting(TTFB) 狀態(tài)。

TTFB 是 Time to First Byte 的縮寫，指的是瀏覽器開始收到服務(wù)器響應(yīng)數(shù)據(jù)的時間（后臺處理時間+重定向時間），是反映服務(wù)端響應(yīng)速度的重要指標(biāo)。

Profile 火焰圖 + 代碼調(diào)優(yōu)

那么大概可以知道優(yōu)化的大方向是在后端接口處理上面，后端代碼是 Python + Flask 實現(xiàn)的，先不盲猜，直接上 Profile：

第一波優(yōu)化：功能交互重新設(shè)計

說實話看到這段代碼是絕望的：完全看不出什么？只是看到很多 gevent 和 Threading，因為太多協(xié)程或者線程？

這時候一定要結(jié)合代碼來分析（為了簡短篇幅，參數(shù)部分用 “...” 代替）：

?def?get_max_cpus(project_code,?gids):
????"""
????"""
????...
????#?再定義一個獲取?cpu?的函數(shù)
????def?get_max_cpu(project_setting,?gid,?token,?headers):
????????group_with_machines?=?utils.get_groups(...)
????????hostnames?=?get_info_from_machines_info(...)
????????res?=?fetchers.MonitorAPIFetcher.get(...)
????????vals?=?[
????????????round(100?-?val,?4)
????????????for?ts,?val?in?res['series'][0]['data']
????????????if?not?utils.is_nan(val)
????????]
????????max_val?=?max(vals)?if?vals?else?float('nan')
????????max_cpus[gid]?=?max_val
???????
????#??啟動線程批量請求
????for?gid?in?gids:
????????t?=?Thread(target=get_max_cpu,?args=(...))
????????threads.append(t)
????????t.start()
????????
????#?回收線程
????for?t?in?threads:
????????t.join()

????return?max_cpus

通過代碼可以看到，為了更加快速獲取?gids?所有的?cpu_max?數(shù)據(jù)，為每個 gid 分配一個線程去請求，最終再返回最大值。

這里會出現(xiàn)兩個問題：

1. 在一個 web api 做線程的?創(chuàng)建 和 銷毀?是有很大成本的，因為接口會頻繁被觸發(fā)，線程的操作也會頻繁發(fā)生，應(yīng)該盡可能使用線程池之類的，降低系統(tǒng)花銷；
2. 該請求是加載某個 gid (群組) 下面的機器過去 7 天的 CPU 最大值，可以簡單拍腦袋想下，這個值不是實時值也不是一個均值，而是一個最大值，很多時候可能并沒有想象中那么大價值；

既然知道問題，那就有針對性的方案：

1. 調(diào)整功能設(shè)計，不再默認(rèn)加載 CPU 最大值，換成用戶點擊加載（一來降低并發(fā)的可能，二來不會影響整體）；
2. 因為 1 的調(diào)整，去掉多線程實現(xiàn)；

再看第一波優(yōu)化后的火焰圖：

這次看的火焰圖雖然還有很大的優(yōu)化空間，但起碼看起來有點正常的樣子了。

第二波優(yōu)化：Mysql 操作優(yōu)化處理

我們再從頁面標(biāo)記處（接口邏輯處）放大火焰圖觀察：

看到好大一片操作都是由?utils.py:get_group_profile_settings?這個函數(shù)引起的數(shù)據(jù)庫操作熱點。

同理，也是需要通過代碼分析：

def?get_group_profile_settings(project_code,?gids):
????
????#?獲取?Mysql?ORM?操作對象
????ProfileSetting?=?unpurview(sandman.endpoint_class('profile_settings'))
????session?=?get_postman_session()
????
????profile_settings?=?{}
????for?gid?in?gids:
????????compound_name?=?project_code?+?':'?+?gid
????????result?=?session.query(ProfileSetting).filter(
????????????ProfileSetting.name?==?compound_name
????????).first()
????????
????????if?result:
????????????result?=?result.as_dict()
????????????tag_indexes?=?result.get('tag_indexes')
????????????profile_settings[gid]?=?{
????????????????'tag_indexes':?tag_indexes,
????????????????'interval':?result['interval'],
????????????????'status':?result['status'],
????????????????'profile_machines':?result['profile_machines'],
????????????????'thread_settings':?result['thread_settings']
????????????}
????????????...(省略)
????return?profile_settings

看到 Mysql ，第一個反應(yīng)就是?索引問題，所以優(yōu)先去看看數(shù)據(jù)庫的索引情況，如果有索引的話應(yīng)該不會是瓶頸：

很奇怪這里明明已經(jīng)有了索引了，為什么速度還是這個鬼樣子呢！

正當(dāng)毫無頭緒的時候，突然想起在?第一波優(yōu)化?的時候， 發(fā)現(xiàn) gid（群組）越多的影響越明顯，然后看回上面的代碼，看到那句：

for?gid?in?gids:?
????...

我仿佛明白了什么。

這里是每個 gid 都去查詢一次數(shù)據(jù)庫，而項目經(jīng)常有 20 ~ 50+ 個群組，那肯定直接爆炸了。

其實 Mysql 是支持單字段多值的查詢，而且每條記錄并沒有太多的數(shù)據(jù)，我可以嘗試下用 Mysql 的 OR 語法，除了避免多次網(wǎng)絡(luò)請求，還能避開那該死的?for

正當(dāng)我想事不宜遲直接搞起的時候，余光瞥見在剛才的代碼還有一個地方可以優(yōu)化，那就是：

看到這里，熟悉的朋友大概會明白是怎么回事。

GetAttr?這個方法是Python 獲取對象的?方法/屬性?時候會用到，雖然不可不用，但是如果在使用太過頻繁也會有一定的性能損耗。

結(jié)合代碼一起來看：

def?get_group_profile_settings(project_code,?gids):
????
????#?獲取?Mysql?ORM?操作對象
????ProfileSetting?=?unpurview(sandman.endpoint_class('profile_settings'))
????session?=?get_postman_session()
????
????profile_settings?=?{}
????for?gid?in?gids:
????????compound_name?=?project_code?+?':'?+?gid
????????result?=?session.query(ProfileSetting).filter(
????????????ProfileSetting.name?==?compound_name
????????).first()
????????...

在這個遍歷很多次的?for?里面，session.query(ProfileSetting)?被反復(fù)無效執(zhí)行了，然后?filter?這個屬性方法也被頻繁讀取和執(zhí)行，所以這里也可以被優(yōu)化。

總結(jié)下的問題就是：

1. 數(shù)據(jù)庫的查詢沒有批量查詢；
2. ORM 的對象太多重復(fù)的生成，導(dǎo)致性能損耗；
3. 屬性讀取后沒有復(fù)用，導(dǎo)致在遍歷次數(shù)較大的循環(huán)體內(nèi)頻繁 getAttr，成本被放大；

那么對癥下藥就是：

def?get_group_profile_settings(project_code,?gids):
????
????#?獲取?Mysql?ORM?操作對象
????ProfileSetting?=?unpurview(sandman.endpoint_class('profile_settings'))
????session?=?get_postman_session()
????
????
????#?批量查詢?并將?filter?提到循環(huán)之外
????query_results?=?query_instance.filter(
????????ProfileSetting.name.in_(project_code?+?':'?+?gid?for?gid?in?gids)
????).all()

????#?對全部的查詢結(jié)果再單條處理
????profile_settings?=?{}
????for?result?in?query_results:
????????if?not?result:
????????????continue
????????result?=?result.as_dict()
????????gid?=?result['name'].split(':')[1]
????????tag_indexes?=?result.get('tag_indexes')
????????profile_settings[gid]?=?{
????????????'tag_indexes':?tag_indexes,
????????????'interval':?result['interval'],
????????????'status':?result['status'],
????????????'profile_machines':?result['profile_machines'],
????????????'thread_settings':?result['thread_settings']
????????}

????????????...(省略)
????return?profile_settings

優(yōu)化后的火焰圖：

對比下優(yōu)化前的相同位置的火焰圖：

明顯的優(yōu)化點：優(yōu)化前的，最底部的?utils.py:get_group_profile_settings?和 數(shù)據(jù)庫相關(guān)的熱點大大縮減。

優(yōu)化效果

同一個項目的接口的響應(yīng)時長從 37.6 s 優(yōu)化成 1.47s，具體的截圖：

優(yōu)化總結(jié)

如同一句名言：

如果一個數(shù)據(jù)結(jié)構(gòu)足夠優(yōu)秀，那么它是不需要多好的算法。

在優(yōu)化功能的時候，最快的優(yōu)化就是：去掉那個功能！

其次快就是調(diào)整那個功能觸發(fā)的?頻率?或者?復(fù)雜度！

從上到下，從用戶使用場景去考慮這個功能優(yōu)化方式，往往會帶來更加簡單高效的結(jié)果，嘿嘿！

當(dāng)然很多時候我們是無法那么幸運的，如果我們實在無法去掉或者調(diào)整，那么就發(fā)揮做程序猿的價值咯：Profile

針對 Python 可以嘗試：cProflile + gprof2dot

而針對 Go 可以使用: pprof + go-torch

很多時候看到的代碼問題都不一定是真正的性能瓶頸，需要結(jié)合工具來客觀分析，這樣才能有效直擊痛點！

其實這個 1.47s，其實還不是最好的結(jié)果，還可以有更多優(yōu)化的空間，比如：

1. 前端渲染和呈現(xiàn)的方式，因為整個表格是有很多數(shù)據(jù)組裝后再呈現(xiàn)的，響應(yīng)慢的單元格可以默認(rèn)先顯示?菊花，數(shù)據(jù)返回再更新；
2. 火焰圖看到還有挺多細(xì)節(jié)可以優(yōu)化，可以替換請求數(shù)據(jù)的外部接口，比如再優(yōu)化徹底?GetAttr?相關(guān)的邏輯；
3. 更極端就是直接 Python 轉(zhuǎn) GO；

但是這些優(yōu)化已經(jīng)不是那么迫切了，因為這個 1.47s 是比較大型項目的優(yōu)化結(jié)果了，絕大部分的項目其實不到 1s 就能返回

再優(yōu)化可能付出更大成本，而結(jié)果可能也只是從?500ms?到?400ms?而已，結(jié)果并不那么高性價比。

所以我們一定要時刻清晰自己優(yōu)化的目標(biāo)，時刻考慮?投入產(chǎn)出比，在有限的時間做出比較高的價值（如果有空閑時間當(dāng)然可以盡情干到底）

- End -
由于微信平臺算法改版，公號內(nèi)容將不再以時間排序展示，如果大家想第一時間看到我們的推送，強烈建議星標(biāo)我們和給我們多點點【在看】。星標(biāo)具體步驟為：

（1）點擊頁面最上方“小詹學(xué)Python”，進入公眾號主頁。

（2）點擊右上角的小點點，在彈出頁面點擊“設(shè)為星標(biāo)”，就可以啦。

感謝支持，比心。