排查順序

整體情況：

top/htop/atop命令查看進(jìn)程/線程、CPU、內(nèi)存使用情況，CPU使用情況；
dstat 2查看CPU、磁盤IO、網(wǎng)絡(luò)IO、換頁、中斷、切換，系統(tǒng)I/O狀態(tài);
vmstat 2查看內(nèi)存使用情況，內(nèi)存狀態(tài)；
iostat -d -x 2查看所有磁盤的IO情況，系統(tǒng)I/O狀態(tài)；
iotop查看IO靠前的進(jìn)程，系統(tǒng)的I/O狀態(tài)；
perf top查看占用CPU最多的函數(shù)，CPU使用情況；
perf record -ag -- sleep 15;perf report查看CPU事件占比，調(diào)用棧，CPU使用情況；
sar -n DEV 2查看網(wǎng)卡的吞吐，網(wǎng)卡狀態(tài)；
/usr/share/bcc/tools/filetop -C查看每個(gè)文件的讀寫情況，系統(tǒng)的I/O狀態(tài)；
/usr/share/bcc/tools/opensnoop顯示正在被打開的文件，系統(tǒng)的I/O狀態(tài)；
mpstat -P ALL 1 單核CPU是否被打爆；
ps aux --sort=-%cpu 按CPU使用率排序，找出CPU消耗最多進(jìn)程；
ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20 統(tǒng)計(jì)前20內(nèi)存占用；
awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20 統(tǒng)計(jì)內(nèi)核前20slab的占用；

進(jìn)程分析，進(jìn)程占用的資源：

pidstat 2 -p 進(jìn)程號(hào)查看可疑進(jìn)程CPU使用率變化情況；
pidstat -w -p 進(jìn)程號(hào) 2查看可疑進(jìn)程的上下文切換情況；
pidstat -d -p 進(jìn)程號(hào) 2查看可疑進(jìn)程的IO情況；
lsof -p 進(jìn)程號(hào)查看進(jìn)程打開的文件；
strace -f -T -tt -p 進(jìn)程號(hào)顯示進(jìn)程發(fā)起的系統(tǒng)調(diào)用；

協(xié)議棧分析，連接/協(xié)議棧狀態(tài)：

ethtool -S 查看網(wǎng)卡硬件情況；
cat /proc/net/softnet_stat/ifconfig eth1 查看網(wǎng)卡驅(qū)動(dòng)情況；
netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n查看連接狀態(tài)分布；
ss -ntp或者netstat -ntp查看連接隊(duì)列；
netstat -s 查看協(xié)議棧情況；

方法論

RED方法：監(jiān)控服務(wù)的請(qǐng)求數(shù)（Rate）、錯(cuò)誤數(shù)（Errors）、響應(yīng)時(shí)間（Duration）。Weave Cloud在監(jiān)控微服務(wù)性能時(shí)提出的思路。

USE方法：監(jiān)控系統(tǒng)資源的使用率（Utilization）、飽和度（Saturation）、錯(cuò)誤數(shù)（Errors）。

性能分析工具

Linux 內(nèi)核的各個(gè)子系統(tǒng)出發(fā)，匯總了對(duì)各個(gè)子系統(tǒng)進(jìn)行性能分析時(shí)，你可以選擇的工具。不過，雖然這個(gè)圖是性能分析最好的參考資料之一，它其實(shí)還不夠具體。比如，當(dāng)你需要查看某個(gè)性能指標(biāo)時(shí)，這張圖里對(duì)應(yīng)的子系統(tǒng)部分，可能有多個(gè)性能工具可供選擇。但實(shí)際上，并非所有這些工具都適用，具體要用哪個(gè)，還需要你去查找每個(gè)工具的手冊(cè)，對(duì)比分析做出選擇。

CPU分析思路

首先，從 CPU 的角度來說，主要的性能指標(biāo)就是 CPU 的使用率、上下文切換以及 CPU Cache 的命中率等。下面這張圖就列出了常見的 CPU 性能指標(biāo)。

內(nèi)存分析思路

接著我們來看內(nèi)存方面。從內(nèi)存的角度來說，主要的性能指標(biāo)，就是系統(tǒng)內(nèi)存的分配和使用、進(jìn)程內(nèi)存的分配和使用以及 SWAP 的用量。下面這張圖列出了常見的內(nèi)存性能指標(biāo)。

IO分析思路

從文件系統(tǒng)和磁盤 I/O 的角度來說，主要性能指標(biāo)，就是文件系統(tǒng)的使用、緩存和緩沖區(qū)的使用，以及磁盤 I/O 的使用率、吞吐量和延遲等。下面這張圖列出了常見的 I/O 性能指標(biāo)。

網(wǎng)絡(luò)分析思路

從網(wǎng)絡(luò)的角度來說，主要性能指標(biāo)就是吞吐量、響應(yīng)時(shí)間、連接數(shù)、丟包數(shù)等。根據(jù) TCP/IP 網(wǎng)絡(luò)協(xié)議棧的原理，我們可以把這些性能指標(biāo)，進(jìn)一步細(xì)化為每層協(xié)議的具體指標(biāo)。這里我同樣用一張圖，分別從鏈路層、網(wǎng)絡(luò)層、傳輸層和應(yīng)用層，列出了各層的主要指標(biāo)。