蜜桃AV成人,日韩大香蕉,国产精品成人免费视频,美女美穴大全,欧美精品在线自偷自拍,在线做爱,国产高清免费视频,久久最新网址

點個關(guān)注??跟騰訊工程師學(xué)技術(shù)

高并發(fā)的說明和背景

高并發(fā)解決的核心問題是在同一時間上有大量的請求過來，然后我們的系統(tǒng)要怎么抗住這些請求帶來的壓力。比如在線直播服務(wù)，同時有上百萬甚至上千萬人觀看。比如秒殺品，同時有大量用戶涌入。

高并發(fā)是從業(yè)務(wù)角度去描述系統(tǒng)的能力，實現(xiàn)高并發(fā)的手段可以采用分布式，也可以采用緩存等，當然也包括多線程、協(xié)程，但遠遠不僅如此；高并發(fā)的基本表現(xiàn)為單位時間內(nèi)系統(tǒng)能夠同時處理的請求數(shù)，高并發(fā)的核心是對資源的有效壓榨，有限的資源應(yīng)對大量的請求。

現(xiàn)代互聯(lián)網(wǎng)服務(wù)，基本上都要考慮高并發(fā)問題，因為一般的產(chǎn)品，用戶的請求量都很大。

高并發(fā)架構(gòu)設(shè)計經(jīng)驗

高并發(fā)架構(gòu)設(shè)計，需要從三大層來建設(shè)和分析。

（一）基礎(chǔ)設(shè)施層：這個是最基礎(chǔ)的依賴，主要是一些服務(wù)的部署。針對大公司而言，一般都有成熟的系統(tǒng)和基礎(chǔ)設(shè)施來承載，可能針對業(yè)務(wù)開發(fā)的同學(xué)來看，平時關(guān)注的的細節(jié)并不深入，但是不妨礙我們從全局角度來剖析高并發(fā)的設(shè)計。

（二）服務(wù)端架構(gòu)層：這個是我們重點要關(guān)注的架構(gòu)設(shè)計，架構(gòu)設(shè)計不合理，就很難抗住高并發(fā)，主要包括各種架構(gòu)和模塊的設(shè)計。

（三）服務(wù)應(yīng)用層：這個主要是針對我們寫的代碼來進行優(yōu)化改進。從代碼架構(gòu)、代碼性能等方便去抗并發(fā)。

（一）基礎(chǔ)設(shè)施層

部署：多 IDC + 異地多活

基礎(chǔ)設(shè)施層一般包含了服務(wù)器、IDC、部署方式等等。目前而言，我們一般都用容器部署的方式，而容器的底層能力基本也都是建立在 k8s 容器層之上的，服務(wù)本身的部署管理已經(jīng)有成熟的設(shè)施幫我們實現(xiàn)了。具體到部署方式，包括但不限于：

多 IDC 部署。比如服務(wù)同時在廣州、上海兩地部署。這個依賴我們的服務(wù)是無狀態(tài)的。

其他的參考下異地多活架構(gòu)等相關(guān)部署。

監(jiān)控：可觀測性

系統(tǒng)的可觀測性主要包含三個部分: logging、tracing、metrics。這個一般都要引入可觀測系統(tǒng)，這樣才能幫助我們在異常的時候能夠快速定位問題。屬于必備設(shè)施，一般而言，公司應(yīng)該都有專門的團隊去做這個事情。

（二）服務(wù)端架構(gòu)層

服務(wù)端架構(gòu)層是我們重點要關(guān)注的，這個也是考量個人架構(gòu)能力的最關(guān)鍵部分。

系統(tǒng)分層設(shè)計：分層、分割、分布式

架構(gòu)分層

應(yīng)用層：網(wǎng)站首頁，用戶中心，商品中心，購物車，紅包業(yè)務(wù)，活動中心等，負責具體業(yè)務(wù)和視圖展示
服務(wù)層：訂單服務(wù)，用戶管理服務(wù)，紅包服務(wù)，商品服務(wù)等，為應(yīng)用層提供服務(wù)支持
數(shù)據(jù)層：關(guān)系數(shù)據(jù)庫，nosql數(shù)據(jù)庫等，提供數(shù)據(jù)存儲查詢服務(wù)
將系統(tǒng)在橫向維度上切分成幾個部分，每一層的功能職責要足夠單一，然后通過上層對下層的依賴和調(diào)度組成一個完整的系統(tǒng)
比如把電商系統(tǒng)分成：應(yīng)用層，服務(wù)層，數(shù)據(jù)層。(具體分多少個層次根據(jù)自己的業(yè)務(wù)場景)

業(yè)務(wù)分割

在縱向方面對業(yè)務(wù)進行切分，將一塊相對復(fù)雜的業(yè)務(wù)分割成不同的模塊單元，對應(yīng)的是模塊的劃分，通過合理的模塊劃分，使得每個模塊都能可以滿足高內(nèi)聚低耦合的設(shè)計要求，這樣不同的模塊可以分布式部署，也能提高并發(fā)處理能力和功能擴展
比如用戶中心可以分割成：賬戶信息模塊，訂單列表模塊，充值模塊，優(yōu)惠券模塊等

分布式

分布式應(yīng)用和服務(wù),將分層或者分割后的業(yè)務(wù)分布式部署，獨立的應(yīng)用服務(wù)器，數(shù)據(jù)庫，緩存服務(wù)器，當業(yè)務(wù)達到一定用戶量的時候，再進行服務(wù)器均衡負載，數(shù)據(jù)庫，緩存主從集群

集群架構(gòu)設(shè)計：應(yīng)用集群、數(shù)據(jù)集群

應(yīng)對高并發(fā)系統(tǒng)，不管是應(yīng)用層面還是數(shù)據(jù)層面，單機都不可能搞定，因此都需要搭建集群架構(gòu)，然后通過負載均衡來對外提供服務(wù)。同時集群架構(gòu)還能保證系統(tǒng)的可用性，當某臺服務(wù)或者機器異常，負載均衡會自動剔除，不會影響對外服務(wù)。

應(yīng)用服務(wù)器集群

nginx 反向代理
slb
LVS …

數(shù)據(jù)集群(關(guān)系/nosql數(shù)據(jù)庫)

主從分離，一主多從
數(shù)據(jù)讀寫分離

數(shù)據(jù)庫設(shè)計：讀寫分離+分庫分表+冷熱分離

應(yīng)對高并發(fā)，數(shù)據(jù)的存儲，首先就要做好預(yù)估，先進行分庫分表和讀寫分離，最后可以根據(jù)情況來看是否冷熱分離：

讀寫分離。互聯(lián)網(wǎng)系統(tǒng)大多數(shù)都是讀多寫少，因此讀寫分離可以幫助主庫抗量。一般我們都是一主多從的架構(gòu)，可以抗量，也可以保證數(shù)據(jù)不丟。分庫分表只能解決 QPS 高，但是無法解決 TPS 高，比如寫入的量足夠大的話（TPS 高），就得讀寫分離。
分庫分表。數(shù)據(jù)存儲量大的時候，就需要通過分庫分表來存儲。先分，避免后期要拆，后期拆的話，就面臨洗數(shù)據(jù)的問題，就需要采用雙寫模式來搞定。

分庫分表模式雖然能顯著提升數(shù)據(jù)庫的容量，但會增加系統(tǒng)復(fù)雜性，而且由于只能支持少數(shù)的幾個維度讀寫，從某種意義上來說對業(yè)務(wù)系統(tǒng)也是一種限制，因此在設(shè)計分庫分表方案的時候需要結(jié)合具體業(yè)務(wù)場景，更全面地考慮。

冷熱分離。針對業(yè)務(wù)場景而言，如果數(shù)據(jù)有冷熱之分的話，可以將歷史冷數(shù)據(jù)與當前熱數(shù)據(jù)分開存儲，這樣可以減輕當前熱數(shù)據(jù)的存儲量，可以提高性能。

不過，既然是高并發(fā)系統(tǒng)，不能應(yīng)用層直接讀寫 DB 的，一定有一個緩存在上面，如果直接讀寫 DB 能夠搞定，其實不能叫高并發(fā)了，只能說是并發(fā)有點高。在非互聯(lián)網(wǎng)系統(tǒng)里面還是可以的。

緩存設(shè)計：多級緩存架構(gòu)和本地緩存

緩存的最大作用是可以提升系統(tǒng)性能，保護后端存儲不被大流量打垮，增加系統(tǒng)的伸縮性。緩存的設(shè)計，需要分多個思路并行。

首先要考慮的，就是必須在數(shù)據(jù)庫之上，增加一層分布式緩存，比如 Redis 或者 Memcached。

這里需要考慮一下緩存和數(shù)據(jù)庫一致性的問題。

其次需要考慮的是多級緩存架構(gòu)。分幾級緩存設(shè)計，同時設(shè)計熱點緩存架構(gòu)。

在分布式緩存之上，還可以加一個本地緩存，來緩存最熱的數(shù)據(jù)
采用多個分布式緩存來搭建多級緩存。

消息隊列設(shè)計：MQ 抗量和削峰

針對流量突峰，僅僅有緩存來抗量可能還不夠，還需要使用消息隊列來削峰。使用消息隊列后，可以將同步處理的請求改為通過消費 MQ 消息來異步消費，這樣可以大大減少系統(tǒng)處理的壓力，增加系統(tǒng)的并發(fā)量。常用的消息隊列比如 kafka。

服務(wù)治理設(shè)計：超時、熔斷、降級、限流等

超時、熔斷、降級、限流等都是常規(guī)策略，可以在另外服務(wù)治理章節(jié)去細看。

資源隔離設(shè)計：SET 部署

資源隔離有各種類型，物理層面的服務(wù)器資源、中間件資源，代碼層面的線程池、連接池，這些都可以做隔離。

一般我們最常見的就是應(yīng)用部署層面的，比如 SET 化部署。一個服務(wù)對外的使用方可能有 A 業(yè)務(wù)、B 業(yè)務(wù)，那么如何保證 AB業(yè)務(wù)不會相互影響，那么就是 SET 化部署。SET 化部署也可以防止非關(guān)鍵業(yè)務(wù)來影響關(guān)鍵核心業(yè)務(wù)。一個隔離的維度可以是按業(yè)務(wù)場景區(qū)分，分為關(guān)鍵集群、次關(guān)鍵集群和非關(guān)鍵集群三類，這樣能避免關(guān)鍵和非關(guān)鍵業(yè)務(wù)互相影響。

SET 化部署就是把業(yè)務(wù)系統(tǒng)分為多個可擴展的邏輯分區(qū)，每個 SET 化的邏輯分區(qū)都可以獨立部署并提供服務(wù)，SET 也可以理解為 “邏輯機房” ，主要目的就是為了進行獨立部署并且做到業(yè)務(wù)上的邏輯隔離。

關(guān)于 SET 的具體例子：微信紅包用戶發(fā)一個紅包時，微信紅包系統(tǒng)生成一個ID作為這個紅包的唯一標識。接下來這個紅包的所有發(fā)紅包、搶紅包、拆紅包、查詢紅包詳情等操作，都根據(jù)這個ID關(guān)聯(lián)。紅包系統(tǒng)根據(jù)這個紅包ID，按一定的規(guī)則（如按ID尾號取模等），垂直上下切分。切分后，一個垂直鏈條上的邏輯Server服務(wù)器、DB統(tǒng)稱為一個SET。各個SET之間相互獨立，互相解耦。并且同一個紅包ID的所有請求，包括發(fā)紅包、搶紅包、拆紅包、查詳情詳情等，垂直stick到同一個SET內(nèi)處理，高度內(nèi)聚。通過這樣的方式，系統(tǒng)將所有紅包請求這個巨大的洪流分散為多股小流，互不影響，分而治之。

（三）服務(wù)應(yīng)用層

多線程、線程同步、協(xié)程

并發(fā)問題一直是服務(wù)端編程中的重點和難點問題，為了優(yōu)化系統(tǒng)的并發(fā)量，單機解決高并發(fā)問題從最初的 Fork 進程開始，到進程池/線程池，再到 Epoll 事件驅(qū)動(Nginx)，再到協(xié)程（如 Goroutine）。

對于 Go 語言，盡可能地多使用協(xié)程去提高并發(fā)能力。

異步化

消息隊列也是一種異步化操作，但是除了依賴外部的中間件如消息隊列，在應(yīng)用內(nèi)我們也可以通過線程池、協(xié)程的方式做異步化，能異步的盡量異步處理，這樣可以提高并發(fā)。

預(yù)處理：預(yù)加載、預(yù)熱

系統(tǒng)的預(yù)熱一般有JVM預(yù)熱、緩存預(yù)熱、DB預(yù)熱等，通過預(yù)熱的方式讓系統(tǒng)先“熱”起來，為高并發(fā)流量的到來做好準備。預(yù)熱實際應(yīng)用的場景有很多，比如在電商的大促到來前，我們可以把一些熱點的商品提前加載到緩存中，防止大流量沖擊DB。

還有一種預(yù)熱的思路是利用業(yè)務(wù)的特性做一些預(yù)加載，比如 feeds 流刷新的時候，提前加載 1-2 頁數(shù)據(jù)，這樣用戶往下刷新的時候，就感覺不到卡頓。

點擊下方空白 ▼ 查看明日開發(fā)者黃歷