面試官：我想用Nginx提升系統(tǒng)10倍性能，你有哪些建議?

譯者：為之漫筆

來源：www.zcfy.cc/article/10-tips-for-10x-application-performance-nginx-22.html

原文：https://www.nginx.com/blog/10-tips-for-10x-application-performance/

提升Web應用的性能從未像今天這樣刻不容緩。

在線經濟活動的比例日益提高，就連發(fā)展中國家和地區(qū)的經濟活動都已經有5%以上在線進行了（相關數(shù)據(jù)請參考本文后面的資源）。在這個超級鏈接、隨時在線的現(xiàn)代世界，用戶的期望也遠非昔日可比。如果你的網站不能馬上響應，你的應用不能立即運行，用戶轉身就會投奔你的競爭對手。

亞馬遜大約10年前的一項研究表明，頁面加載時間減少1/10秒，能夠使其營收增長1%。另一項近期的調查也顯示，一多半受訪站點所有者提到因為自己應用的性能不佳導致了收入減少或者用戶流失。

一個網站到底多快才行？頁面加載每花1秒鐘，就有大約4%的用戶走掉。排名最靠前的電商站點的首次交互時間為1至3秒，這個區(qū)間的轉換率最高。顯而易見，Web應用性能的重要性與日俱增。

如果你的Web應用只跑在一臺機器上，那要提升其性能非常簡單：換一臺更快的，多配幾個處理器，多加幾條內存，磁盤陣列也要高速的。換了以后，這臺機器上跑的WordPress服務器、Node.js或Java應用速度都會加快。（要是應用還會訪問另一臺數(shù)據(jù)庫服務器，那也簡單：找兩臺更快的機器，用更快的網絡連起來就行了）

麻煩在于，機器速度并不是問題。很多時候Web應用慢，是因為要在各種任務之間切換，一會兒要處理數(shù)千個連接上的用戶請求，一會兒要向磁盤讀寫文件，一會兒又要運行應用的代碼，一會兒又要去干別的。應用服務器因此可能出現(xiàn)各種狀況，耗盡內存、交換文件，或者讓很多請求等待一個硬盤I/O之類的任務。

除了升級硬件，其實你還可以選擇另外一種完全不同的方法：加一臺反向代理服務器，分擔上述一些任務。反向代理服務器位于運行應用的機器之前，負責處理來自外網的請求。反向代理服務器直接連到互聯(lián)網，它與應用服務器通信使用的是快速的內部網絡。

• 負載均衡（參見“建議二”），反向代理服務器上運行負載均衡服務，把流量平均分配給幾臺應用服務器。有了負載均衡，添加應用服務器根本不需要修改應用。
• 緩存靜態(tài)文件（參見“建議三”），圖片或代碼之類的可以直接請求的文件，都可以保存在反向代理服務器中，以便直接發(fā)給客戶端。這樣不僅可以更快地響應請求，還能減輕應用服務器的負擔，加快其運行速度。
• 保證站點安全，可以配置反向代理服務器提升其安全級別，通過它監(jiān)控來快速識別和響應攻擊，從而保存應用服務器安全。

傳統(tǒng)服務器與NGINX Worker的比較

增加負載均衡服務器相對簡單，但卻能顯著提升站點性能和安全性。通過它把流量分配給多個服務器，就可以不必升級Web服務器了。就算應用本身寫得不太好，或者難以擴展，負載均衡都可以在不做其他改變的情況下提升用戶體驗。

負載均衡服務器可以避免一臺服務器過載而其他服務器過閑，從而極大提升性能。同時，有了它還可以讓Web服務器擴容更簡單，因為可以選用比較便宜的服務器，同時保證物盡其用。

可以通過負載均衡調度的協(xié)議包括HTTP、HTTPS、SPDY、HTTP/2、WebSocket、FastCGI、SCGI、uwsgi、memcached，以及其他一些應用形式，包括基于TCP的應用和其他第四層的協(xié)議。為此，首先要分析Web應用，看性能短板在哪里，然后再確定使用哪一個。

同一臺服務器或用于負載均衡的服務器也可以承擔其他任務，比如SSL終止、視客戶端不同支持HTTP/1/x或HTTP/2、緩存靜態(tài)文件。

建議三：緩存靜態(tài)及動態(tài)內容

緩存能提升Web應用性能，因為可以更快地把內容交付給客戶端。緩存的策略包括預處理內容、在較快的設備上存儲內容、把內容保存在靠近客戶端的地方，以及同時運用這些策略。

• 靜態(tài)內容緩存，不常變化的文件，如圖片（JPEG、PNG）和代碼（CSS、JavaScript），可以保存在邊緣服務器中，以便快速從內容或磁盤中獲取。
• 動態(tài)內容緩存，很多Web應用會為每個頁面請求生成全新的HTML，把生成的每個HTML都緩存一小段時間，可能顯著減少需要生成的頁面總數(shù)，同時又可以保證交付的內容足夠新鮮。

• 把內容放到離用戶近的地方。離用戶近，傳輸時間少。
• 把內容放到較快的機器上。機器快，檢索速度快。
• 把內容從過度使用的機器中拿走。有時候機器會比在專注執(zhí)行特定任務時慢很多，那是因為太多任務讓它們分心。這時候把內容拿到其他機器上，不僅對緩存的內容有好處，對非緩存的內容同樣有利，因為托管它們的主機的負擔減輕了。

Web應用的緩存可以在Web應用服務器內部或外部實現(xiàn)。首先，考慮緩存動態(tài)內容，以減輕應用服務器的負載。其次，緩存用于靜態(tài)內容（包括那些動態(tài)生成內容的臨時副本），進一步減輕應用服務器的負擔。然后，考慮把緩存轉移到其他更快或更靠近用戶的機器，給應用服務器減負，縮短傳輸時間。

用好緩存能顯著加快應用的響應速度。對很多網頁來說，大圖片之類的靜態(tài)數(shù)據(jù)，往往占據(jù)一半以上的內容。不用緩存，查詢和傳輸這類數(shù)據(jù)可能會花好幾秒鐘，而用緩存，則可能只要花幾分之一秒。

可以舉一個例子來說明怎么使用緩存，NGINX和NGINX Plus通過兩個指令來設置緩存：proxy_cache_path和proxy_cache指定緩存的位置和大小、最長緩存時間以及其他參數(shù)。使用第三個（也是很受歡迎的)指令proxy_cache_use_stale，甚至可以告訴緩存在本來應該提供新鮮內容的服務器太忙或宕機時，提供原來的舊文件，對客戶端來說，拿到內容總比拿不到強。從用戶角度看，這樣也可以樹立你的站點或應用非常穩(wěn)定的形象。

NGINX Plus支持高級緩存功能，包括緩存凈化（caching purging）和通過控制板以可視化的形式展示緩存狀態(tài)，實現(xiàn)實時監(jiān)控。

注意: 緩存涉及開發(fā)、決策和運維，完善的緩存策略，比如本文提到的這些，能夠體現(xiàn)從DevOps角度考慮的價值。也說是說，開發(fā)人員、架構師、運維人員此時攜手，共同保障一個網站的功能、響應時間、安全和業(yè)務目標。

建議四：壓縮數(shù)據(jù)

壓縮同樣能極大提升性能。圖片、視頻、音樂等文件都有非常成熟和高效的壓縮標準（JPEG和PNG、MPEG-4、MP3），任何一個標準都可以把文件大小縮小一個數(shù)量級甚至更多。

文本文件，包括HTML（純文本和HTML標簽）、CSS和JavaScript代碼，經常在不壓縮的情況下傳輸。壓縮這些數(shù)據(jù)對提升Web應用的感知性能有時候特別明顯，尤其是移動用戶的網絡很慢又不穩(wěn)定的情況下。

越來越多的網站在使用Secure Sockets Layer（SSL）及后來的Transport Layer Security（TLS）協(xié)議。SSL/TLS通過加密從源服務器發(fā)送給用戶的數(shù)據(jù)來提升網站安全性。Google會提升使用SSL/TLS的網站的搜索引擎排名，將有力地推動這一進程。

1、每次打開新連接的初次握手都必須創(chuàng)建加密密鑰，而瀏覽器使用HTTP/1.x對每個2、服務器建立多個連接的方式進一步加劇了這個問題。

為了鼓勵人們使用SSL/TLS，HTTP/2和SPDY（參見建議六）的作者將這兩個協(xié)議設計為只讓瀏覽器針對一次會話建立一個連接。這樣就把SSL導致性能降低的兩個主要原因之一消滅掉了。然而，說到優(yōu)化SSL/TLS性能，還是有很多事情可做。

優(yōu)化SSL/TLS的方法因Web服務器而異。以NGINX為例，NGINX使用OpenSSL，運行于普通機器上，能夠提供接近定制機器的性能。NGINX SSL performance詳細介紹了如何將SSL/TLS加密和解密的開銷降至最低。

• 會話緩存。使用ssl_session_cache指令開啟緩存，緩存每次SSL/STL連接時用到的參數(shù)。
• 會話票或ID。把特定SSL/TLS會話的信息保存為一個會話票或ID，以便連接重用，而不必重新握手。

• OCSP封套。通過緩存SSL/TLS證書信息減少握手時間。

提升應用性能的一個簡單的方法，就是根據(jù)可靠性及性能選擇軟件。此外，高質量組件的開發(fā)者更可能不斷提升性能和修復問題，因此使用最新的穩(wěn)定版本是劃算。新發(fā)布的版本會得到開發(fā)者和用戶更多的關注，同時也會利用新的編譯器優(yōu)化技術，包括針對新硬件的調優(yōu)。

相對舊版本，新發(fā)布的穩(wěn)定版本明顯性能更高。堅持升級，也可以保證在調優(yōu)、問題修復和安全警報方面與時俱進。

Linux是今天大多數(shù)Web服務器的底層操作系統(tǒng)，作為一切基礎設施的基礎，Linux對提升性能至關重要。默認情況下，很多Linux系統(tǒng)都比較保守，僅以桌面辦公為需求，以占用少量資源為調優(yōu)目標。對于Web應用而言，為達到性能最佳，肯定需要重新調優(yōu)。

• 文件描述符。NGINX對每個連接最多使用兩個文件描述符。如果系統(tǒng)服務于很多連接，可能需要增大sys.fs.file_max這個對描述符的系統(tǒng)級限制，以及nofile這個用戶文件描述符限制，以支持增大后的負載。
• 臨時端口。在作為代理使用時，NGINX會為每個上游服務器創(chuàng)建臨時端口?？梢栽O置net.ipv4.ip_local_port_range，增大端口值的范圍，以增加可用的端口量。此外，還可以減小net.ipv4.tcp_fin_timeout的值，它控制非活動端口釋放重用的等待時間，加快周轉。
• 對NGINX而言，請參考NGINX性能調優(yōu)指南，了解如何不費吹灰之力將你的Linux系統(tǒng)優(yōu)化為能夠支持更大的吞吐量。

無論使用什么Web服務器，都需要針對應用對其調優(yōu)。以下建議適用于任何Web服務器，但會給出只有NGINX的設置說明。

• 訪問日志。不要每個請求的日志都馬上寫到磁盤，可以在內存里做個緩存，然后批量定入。對NGINX而言，將buffer=_size_參數(shù)添加到access_log指令，等內存緩沖區(qū)寫滿后再把日志寫到磁盤。如果你添加了**flush=_time_**參數(shù)，那么緩沖區(qū)的內容也會按照指定時間寫入磁盤。
• 緩沖。緩沖用于在內存里保存部分響應，直到緩沖區(qū)被填滿，可以實現(xiàn)對客戶端更有效的響應。無法寫入內存的響應會被寫到磁盤，從而降低性能。在NGINX的緩沖啟用時，可以使用proxy_buffer_size和proxy_buffers指令來管理它。
• 客戶端活動連接。活動連接可以減少時間消耗，特別是在使用SSL/TLS的情下。對NGINX而言，可以針對客戶端提高keepalive_requests的數(shù)值，默認值為100；也可以增大keepalive_timeout的值，讓活動連接持續(xù)時間更長，從而讓后續(xù)請求得到更快響應。
• 上游活動連接。上游連接，即連接到應用服務器、數(shù)據(jù)庫服務器的連接，同樣可以從活動連接的設置中獲得好處。對上游連接來說，可以增加活動連接，也就是每個工作進程可用的空閑活動連接的數(shù)量。這樣可以增進連接重用，減少重開連接。關于活動連接的更多信息，請參考這篇博客。
• 限制。限制客戶端使用的資源可以提升性能和安全性。對NGINX而言，limit_conn和limit_conn_zone指令限制指定源的連接數(shù)，而limit_rate限制帶寬。這些設置可以防止合法用戶“侵吞”資源，同時也有助于防止攻擊。limit_req和limit_req_zone指令限制客戶端請求。對于到上游服務器的連接，可以在上游配置區(qū)的服務器指令中使用max_conns參數(shù)，它限制對上游服務器的連接，防止過載。相關的隊列指令會創(chuàng)建一個隊列，在max_conns限制到達后將指定的請求數(shù)保存指定的時間。
• 工作進程。工作進程負責處理請求。NGINX采用基于事件的模型和OS相關的機制有效地在工作進程間分配請求。建議將worker_processes的值設置為每個CPU一個工作進程。如果需要，大多數(shù)系統(tǒng)都支持提高worker_connections的值（默認為512）?？梢酝ㄟ^試驗找到最適合你系統(tǒng)的這個值。
• 套接字分片。通常，一個套接字監(jiān)聽器向所有工作進程分發(fā)新連接。套按字分片則為每個工作進程都創(chuàng)建一個套接字監(jiān)聽器，由內核在套接字監(jiān)聽器可用時為其指定連接。這樣可以減少鎖爭用，提升多核系統(tǒng)上的性能。要啟用套接字分片，在listen指令中包含reuseport參數(shù)。
• 線程池。一個費時的操作會阻塞任何計算機進程。對Web服務器軟件來說，磁盤訪問可能阻礙很多較快的操作，比如內存中的計算和復制。在使用線程池的情況下，慢操作會被指定給一組獨立的任務，而主處理循環(huán)會繼續(xù)運行較快的操作。磁盤操作完成后，結果會返回到主處理循環(huán)。在NGINX中，read()系統(tǒng)調用和sendfile()被轉載到了線程池。

  
  

性能提升因Web應用不同會有巨大差異。實際的提升取決于預算、時間，以及現(xiàn)有實現(xiàn)的與理想性能的差距。那么怎么讓你的應用獲得10倍的性能提升呢？

為了幫大家理解每項優(yōu)化建議的潛能，下面再針對之前的建議給出一些實施方針，希望大家各取所需。

• 反向代理服務器及負載均衡。沒有負載均衡或池負載均衡，可能導致極低的性能。添加一個反向代理服務器，比如NGINX，可以減少Web應用在內存和磁盤之間的往返。負載均衡可以把任務從過載的服務器轉移到空閑的服務器，也便于擴展。這些改變能極大地提升性能，與原有的部署方式最差的時候相比，10倍性能提升是很輕松的事，即使不到10倍那也在總體上有了質的飛躍。
• 緩存動態(tài)和靜態(tài)內容。如果你的Web服務器同時又充當了應用服務器，那么通過緩存動態(tài)內容就可以達到高峰期10倍的性能提升。緩存靜態(tài)內容也可以有幾倍的性能提升。
• 壓縮數(shù)據(jù)。使用JPEG、PNG、MPEG-4以及MP3等壓縮格式能顯著提升性能。如果這些手段都用上了，那么壓縮的文本數(shù)據(jù)（代碼及HTML）可以將初始頁面加載時間提升兩倍。
• 優(yōu)化SSL/TLS。安全握手對性能有很大影響，因此對其進行優(yōu)化可以讓初次響應加快兩倍，對于文本內容較多的網站尤其如此。優(yōu)化SSL/TLS下的媒體文件帶來的性能提升很小。
• 實施HTTP/2和SPDY。在使用SSL/TLS的情況下，這兩個協(xié)議有可能提升網站的整體性能。

• 調優(yōu)Linux和Web服務器。使用優(yōu)化的緩沖策略、使用活動連接，將耗時的任務轉載至獨立的線程池，可以顯著提升性能。比如線程池可以將磁盤操作密集性任務的性能提升至少一個數(shù)量級。

有熱門推薦?
1.?看得上癮的斗魚，首次開源了自家項目 Jupiter !
2.?面試官問：大量的 TIME_WAIT 狀態(tài) TCP 連接，對業(yè)務有什么影響？怎么處理？
3.?實戰(zhàn)：Shardingsphere分庫分表
4.?MyBatis動態(tài)SQL（認真看看， 以后寫SQL就爽多了）
最近面試BAT，整理一份面試資料《Java面試BATJ通關手冊》，覆蓋了Java核心技術、JVM、Java并發(fā)、SSM、微服務、數(shù)據(jù)庫、數(shù)據(jù)結構等等。
獲取方式：點“在看”，關注公眾號并回復?Java?領取，更多內容陸續(xù)奉上。
文章有幫助的話，在看，轉發(fā)吧。
謝謝支持喲 (*^__^*）