經(jīng)典!服務(wù)端 TCP 連接的 TIME_WAIT 過多問題的分析與解決

來源：ningg.top/computer-basic-theory-tcp-time-wait/

本文給出一個 TIME_WAIT 狀態(tài)的 TCP 連接過多的問題的解決思路，非常典型，大家可以好好看看，以后遇到這個問題就不會束手無策了。

• ?一部分 TIME_WAIT 連接被回收，但新的 TIME_WAIT 連接產(chǎn)生；

• ?一些極端情況下，會出現(xiàn)大量的 TIME_WAIT 連接。

• 1.每一個 time_wait 狀態(tài)，都會占用一個「本地端口」，上限為 65535(16 bit，2 Byte)；
  

• 2.當(dāng)大量的連接處于?time_wait?時，新建立 TCP 連接會出錯，address already in use : connect?異常

// 統(tǒng)計：各種連接的數(shù)量

$?netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

ESTABLISHED 1154

TIME_WAIT 1645

問題分析

• 1.大量的短連接存在

• 2.特別是 HTTP 請求中，如果?connection?頭部取值被設(shè)置為?close?時，基本都由「服務(wù)端」發(fā)起主動關(guān)閉連接

• 3.而，TCP 四次揮手關(guān)閉連接機制中，為了保證?ACK 重發(fā)和丟棄延遲數(shù)據(jù)，設(shè)置?time_wait?為 2 倍的?MSL（報文最大存活時間）

• 1.TCP 連接中，主動關(guān)閉連接的一方出現(xiàn)的狀態(tài)；（收到 FIN 命令，進(jìn)入 TIME_WAIT 狀態(tài)，并返回 ACK 命令）
  
• 2.保持 2 個 MSL 時間，即，4 分鐘；（MSL 為 2 分鐘）

解決辦法

• TCP 連接中，「主動發(fā)起關(guān)閉連接」的一端，會進(jìn)入 time_wait 狀態(tài)
• time_wait 狀態(tài)，默認(rèn)會持續(xù)?2 MSL（報文的最大生存時間），一般是 2x2 mins
• time_wait 狀態(tài)下，TCP 連接占用的端口，無法被再次使用
• TCP 端口數(shù)量，上限是 6.5w（65535，16 bit）
• 大量 time_wait 狀態(tài)存在，會導(dǎo)致新建 TCP 連接會出錯，address already in use : connect?異常

• 服務(wù)器端，一般設(shè)置：不允許「主動關(guān)閉連接」
• 但 HTTP 請求中，http 頭部 connection 參數(shù)，可能設(shè)置為 close，則，服務(wù)端處理完請求會主動關(guān)閉 TCP 連接
• 現(xiàn)在瀏覽器中， HTTP 請求?connection?參數(shù)，一般都設(shè)置為?keep-alive
• Nginx 反向代理場景中，可能出現(xiàn)大量短鏈接，服務(wù)器端，可能存在

3.解決辦法：

• 服務(wù)器端允許?time_wait?狀態(tài)的 socket 被重用
• 縮減?time_wait?時間，設(shè)置為?1 MSL（即，2 mins）

附錄

附錄 A：查詢 TCP 連接狀態(tài)

// Mac 下，查詢 TCP 連接狀態(tài)
$?netstat -nat |grep TIME_WAIT

// Mac 下，查詢 TCP 連接狀態(tài)，其中 -E 表示 grep 或的匹配邏輯
$?netstat -nat | grep -E "TIME_WAIT|Local Address"
Proto Recv-Q Send-Q Local Address Foreign Address (state)
tcp4 0 0 127.0.0.1.1080 127.0.0.1.59061 TIME_WAIT

// 統(tǒng)計：各種連接的數(shù)量
$?netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
ESTABLISHED 1154
TIME_WAIT 1645

附錄 B：MSL 時間

• 當(dāng)TCP的一端發(fā)起主動關(guān)閉（收到 FIN 請求），在發(fā)出最后一個ACK 響應(yīng)后，即第3次握 手完成后，發(fā)送了第四次握手的ACK包后，就進(jìn)入了TIME_WAIT狀態(tài)。
  

• 2.必須在此狀態(tài)上停留兩倍的MSL時間，等待2MSL時間主要目的是怕最后一個 ACK包對方?jīng)]收到，那么對方在超時后將重發(fā)第三次握手的FIN包，主動關(guān)閉端接到重發(fā)的FIN包后，可以再發(fā)一個ACK應(yīng)答包。
  

• 3.在 TIME_WAIT 狀態(tài)時，兩端的端口不能使用，要等到2MSL時間結(jié)束，才可繼續(xù)使用。（IP 層）
  

• 4.當(dāng)連接處于2MSL等待階段時，任何遲到的報文段都將被丟棄。

附錄 C：TCP 三次握手和四次握手

• RE：time_wait 是「主動關(guān)閉 TCP 連接」一方的狀態(tài)，可能是「客服端」的，也可能是「服務(wù)器端」的
• 一般情況下，都是「客戶端」所處的狀態(tài)；「服務(wù)器端」一般設(shè)置「不主動關(guān)閉連接」

2.服務(wù)器在對外服務(wù)時，是「客戶端」發(fā)起的斷開連接？還是「服務(wù)器」發(fā)起的斷開連接？

• 正常情況下，都是「客戶端」發(fā)起的斷開連接

• 「服務(wù)器」一般設(shè)置為「不主動關(guān)閉連接」，服務(wù)器通常執(zhí)行「被動關(guān)閉」

• 但 HTTP 請求中，http 頭部 connection 參數(shù)，可能設(shè)置為 close，則，服務(wù)端處理完請求會主動關(guān)閉 TCP 連接

- END -

?推薦閱讀?

運維工程師必備技能：網(wǎng)絡(luò)排錯思路大講解6 個JVM性能監(jiān)控、調(diào)優(yōu)工具使用詳解在項目實踐中，進(jìn)行了以下DevOps方案建設(shè)搞懂 Nginx，這篇就夠了！
kubernetes 常見問題總結(jié)
31天拿下K8s最具有含金量的CKA認(rèn)證?
讓運維簡單高效，輕松搞定運維管理平臺

點亮，服務(wù)器三年不宕機