智算中心網(wǎng)絡(luò)架構(gòu)選型及對(duì)比
通常，在在AI智算系統(tǒng)中，一個(gè)模型從生產(chǎn)到應(yīng)用，一般包括離線(xiàn)訓(xùn)練和推理部署兩大階段；本文選自“智算中心網(wǎng)絡(luò)架構(gòu)白皮書(shū)（2023）”“智能計(jì)算中心規(guī)劃建設(shè)指南”，常用的對(duì)IB和ROCE V2高性能網(wǎng)絡(luò)進(jìn)行全面的分析對(duì)比。
1. 智算網(wǎng)絡(luò)是復(fù)用當(dāng)前的TCP/IP通用網(wǎng)絡(luò)的基礎(chǔ)設(shè)施，還是新建一張專(zhuān)用的高性能網(wǎng)絡(luò)？
2. 智算網(wǎng)絡(luò)技術(shù)方案采用 InfiniBand 還是 RoCE ？
3. 智算網(wǎng)絡(luò)如何進(jìn)行運(yùn)維和管理？
-
4. 智算網(wǎng)絡(luò)是否具備多租戶(hù)隔離能力以實(shí)現(xiàn)對(duì)內(nèi)和對(duì)外的運(yùn)營(yíng)？
離線(xiàn)訓(xùn)練，就是產(chǎn)生模型的過(guò)程。用戶(hù)需要根據(jù)自己的任務(wù)場(chǎng)景，準(zhǔn)備好訓(xùn)練模型所需要的數(shù)據(jù)集以及神經(jīng)網(wǎng)絡(luò)算法。模型訓(xùn)練開(kāi)始后，先讀取數(shù)據(jù)，然后送入模型進(jìn)行前向計(jì)算，并計(jì)算與真實(shí)值的誤差。然后執(zhí)行反向計(jì)算得到參數(shù)梯度，最后更新參數(shù)。訓(xùn)練過(guò)程會(huì)進(jìn)行多輪的數(shù)據(jù)迭代。訓(xùn)練完成之后，保存訓(xùn)練好的模型，然后將模型做上線(xiàn)部署，接受用戶(hù)的真實(shí)輸入，通過(guò)前向計(jì)算，完成推理。因此，無(wú)論是訓(xùn)練還是推理，核心都是數(shù)據(jù)計(jì)算。為了加速計(jì)算效率，一般都是通過(guò) GPU 等異構(gòu)加速芯片來(lái)進(jìn)行訓(xùn)練和推理。
隨著以 GPT3.0 為代表的大模型展現(xiàn)出令人驚艷的能力后，智算業(yè)務(wù)往海量參數(shù)的大模型方向發(fā)展已經(jīng)成為一個(gè)主流技術(shù)演進(jìn)路徑。以自然語(yǔ)言處理（NLP）為例，模型參數(shù)已經(jīng)達(dá)到了千億級(jí)別。計(jì)算機(jī)視覺(jué)（CV） 、廣告推薦、智能風(fēng)控等領(lǐng)域的模型參數(shù)規(guī)模也在不斷的擴(kuò)大，正在往百億和千億規(guī)模參數(shù)的方向發(fā)展。
在自動(dòng)駕駛場(chǎng)景中，每車(chē)每日會(huì)產(chǎn)生 T 級(jí)別數(shù)據(jù)，每次訓(xùn)練的數(shù)據(jù)達(dá)到 PB 級(jí)別。大規(guī)模數(shù)據(jù)處理和大規(guī)模仿真任務(wù)的特點(diǎn)十分顯著，需要使用智算集群來(lái)提升數(shù)據(jù)處理與模型訓(xùn)練的效率。
大模型訓(xùn)練中大規(guī)模的參數(shù)對(duì)算力和顯存都提出了更高的要求。以GPT3為例，千億參數(shù)需要2TB顯存，當(dāng)前的單卡顯存容量不夠。即便出現(xiàn)了大容量的顯存，如果用單卡訓(xùn)練的話(huà)也需要32年。為了縮短訓(xùn)練時(shí)間，通常采用分布式訓(xùn)練技術(shù)，對(duì)模型和數(shù)據(jù)進(jìn)行切分，采用多機(jī)多卡的方式將訓(xùn)練時(shí)長(zhǎng)縮短到周或天的級(jí)別。
分布式訓(xùn)練就是通過(guò)多臺(tái)節(jié)點(diǎn)構(gòu)建出一個(gè)計(jì)算能力和顯存能力超大的集群，來(lái)應(yīng)對(duì)大模型訓(xùn)練中算力墻和存儲(chǔ)墻這兩個(gè)主要挑戰(zhàn)。而聯(lián)接這個(gè)超級(jí)集群的高性能網(wǎng)絡(luò)直接決定了智算節(jié)點(diǎn)間的通信效率，進(jìn)而影響整個(gè)智算集群的吞吐量和性能。要讓整個(gè)智算集群獲得高的吞吐量，高性能網(wǎng)絡(luò)需要具備低時(shí)延、大帶寬、長(zhǎng)期穩(wěn)定性、大規(guī)模擴(kuò)展性和可運(yùn)維幾個(gè)關(guān)鍵能力。
分布式訓(xùn)練系統(tǒng)的整體算力并不是簡(jiǎn)單的隨著智算節(jié)點(diǎn)的增加而線(xiàn)性增長(zhǎng)，而是存在加速比，且加速比小于 1。存在加速比的主要原因是：在分布式場(chǎng)景下，單次的計(jì)算時(shí)間包含了單卡的計(jì)算時(shí)間疊加卡間通信時(shí)間。因此，降低卡間通信時(shí)間，是分布式訓(xùn)練中提升加速比的關(guān)鍵，需要重點(diǎn)考慮和設(shè)計(jì)。
降低多機(jī)多卡間端到端通信時(shí)延的關(guān)鍵技術(shù)是 RDMA 技術(shù)。RDMA 可以繞過(guò)操作系統(tǒng)內(nèi)核，讓一臺(tái)主機(jī)可以直接訪(fǎng)問(wèn)另外一臺(tái)主機(jī)的內(nèi)存。
實(shí) 現(xiàn) RDMA 的 方 式 有 InfiniBand、RoCEv1、RoCEv2、i WARP 四 種。其 中 RoCEv1 技 術(shù) 當(dāng) 前 已 經(jīng) 被 淘 汰，iWARP 使用較少。當(dāng)前 RDMA 技術(shù)主要采用的方案為 InfiniBand 和 RoCEv2 兩種。
在 InfiniBand 和 RoCEv2 方案中，因?yàn)槔@過(guò)了內(nèi)核協(xié)議棧，相較于傳統(tǒng) TCP/IP 網(wǎng)絡(luò)，時(shí)延性能會(huì)有數(shù)十倍的改善。在同集群內(nèi)部一跳可達(dá)的場(chǎng)景下，InfiniBand 和 RoCEv2 與傳統(tǒng) IP 網(wǎng)絡(luò)的端到端時(shí)延在實(shí)驗(yàn)室的測(cè)試數(shù)據(jù)顯示，繞過(guò)內(nèi)核協(xié)議棧后，應(yīng)用層的端到端時(shí)延可以從 50us（TCP/IP），降低到 5us（RoCE）或 2us（InfiniBand）。
在完成計(jì)算任務(wù)后，智算集群內(nèi)部的計(jì)算節(jié)點(diǎn)需要將計(jì)算結(jié)果快速地同步給其他節(jié)點(diǎn)，以便進(jìn)行下一輪計(jì)算。在結(jié)果同步完成前，計(jì)算任務(wù)處于等待狀態(tài)，不會(huì)進(jìn)入下一輪計(jì)算。如果帶寬不夠大，梯度傳輸就會(huì)變慢，造成卡間通信時(shí)長(zhǎng)變長(zhǎng)，進(jìn)而影響加速比。
要滿(mǎn)足智算網(wǎng)絡(luò)的低時(shí)延、大帶寬、穩(wěn)定運(yùn)行、大規(guī)模以及可運(yùn)維的需求，目前業(yè)界比較常用的網(wǎng)絡(luò)方案是 InfiniBand方案和 RoCEv2 方案。
一、InfiniBand網(wǎng)絡(luò)介紹
InfiniBand網(wǎng)絡(luò)的關(guān)鍵組成包括Subnet Manager（SM）、InfiniBand 網(wǎng)卡、InfiniBand交換機(jī)和InfiniBand連接線(xiàn)纜。
支持 InfiniBand 網(wǎng)卡的廠(chǎng)家以 NVIDIA 為主。下圖是當(dāng)前常見(jiàn)的 InfiniBand 網(wǎng)卡。InfiniBand 網(wǎng)卡在速率方面保持著快速的發(fā)展。200Gbps 的 HDR 已經(jīng)實(shí)現(xiàn)了規(guī)模化的商用部署，400Gbps 的 NDR的網(wǎng)卡也已經(jīng)開(kāi)始商用部署。
在InfiniBand交換機(jī)中，SB7800 為 100Gbps 端口交換機(jī)（36*100G），屬于 NVIDIA 比較早的一代產(chǎn)品。Quantum-1 系列為 200Gbps 端口交換機(jī)（40*200G），是當(dāng)前市場(chǎng)采用較多的產(chǎn)品。
在 2021 年，NVIDIA 推出了 400Gbps 的 Quantum-2 系列交換機(jī)（64*400G）。交換機(jī)上有 32 個(gè) 800G OSFP（Octal Small Form Factor Pluggable）口，需要通過(guò)線(xiàn)纜轉(zhuǎn)接出 64 個(gè) 400G QSFP。
InfiniBand 交換機(jī)上不運(yùn)行任何路由協(xié)議。整個(gè)網(wǎng)絡(luò)的轉(zhuǎn)發(fā)表是由集中式的子網(wǎng)管理器（Subnet Manager，簡(jiǎn)稱(chēng) SM）進(jìn)行計(jì)算并統(tǒng)一下發(fā)的。除了轉(zhuǎn)發(fā)表以外，SM 還負(fù)責(zé)管理 InfiniBand 子網(wǎng)的 Partition、QoS 等配置。InfiniBand 網(wǎng)絡(luò)需要專(zhuān)用的線(xiàn)纜和光模塊做交換機(jī)間的互聯(lián)以及交換機(jī)和網(wǎng)卡的互聯(lián)。
InfiniBand 網(wǎng)絡(luò)方案特點(diǎn)
（1）原生無(wú)損網(wǎng)絡(luò)
InfiniBand 網(wǎng)絡(luò)采用基于 credit 信令機(jī)制來(lái)從根本上避免緩沖區(qū)溢出丟包。只有在確認(rèn)對(duì)方有額度能接收對(duì)應(yīng)數(shù)量的報(bào)文后，發(fā)送端才會(huì)啟動(dòng)報(bào)文發(fā)送。InfiniBand 網(wǎng)絡(luò)中的每一條鏈路都有一個(gè)預(yù)置緩沖區(qū)。發(fā)送端一次性發(fā)送數(shù)據(jù)不會(huì)超過(guò)接收端可用的預(yù)置緩沖區(qū)大小，而接收端完成轉(zhuǎn)發(fā)后會(huì)騰空緩沖區(qū)，并且持續(xù)向發(fā)送端返回當(dāng)前可用的預(yù)置緩沖區(qū)大小。依靠這一鏈路級(jí)的流控機(jī)制，可以確保發(fā)送端絕不會(huì)發(fā)送過(guò)量，網(wǎng)絡(luò)中不會(huì)產(chǎn)生緩沖區(qū)溢出丟包。
（2）萬(wàn)卡擴(kuò)展能力
InfiniBand 的 Adaptive Routing 基于逐包的動(dòng)態(tài)路由，在超大規(guī)模組網(wǎng)的情況下保證網(wǎng)絡(luò)最優(yōu)利用。InfiniBand 網(wǎng)絡(luò)在業(yè)界有較多的萬(wàn)卡規(guī)模超大 GPU 集群的案例，包括百度智能云，微軟云等。
目前市場(chǎng)上主要的 InfiniBand 網(wǎng)絡(luò)方案及配套設(shè)備供應(yīng)商有以下幾家。其中，市場(chǎng)占有率最高的是 NVIDIA，其市場(chǎng)份額大于 7 成。
NVIDIA：NVIDIA是InfiniBand技術(shù)的主要供應(yīng)商之一，提供各種InfiniBand適配器、交換機(jī)和其他相關(guān)產(chǎn)品。
Intel Corporation：Intel是另一個(gè)重要的InfiniBand供應(yīng)商，提供各種InfiniBand網(wǎng)絡(luò)產(chǎn)品和解決方案。
Cisco Systems：Cisco是一家知名的網(wǎng)絡(luò)設(shè)備制造商，也提供InfiniBand交換機(jī)和其他相關(guān)產(chǎn)品。
Hewlett Packard Enterprise：HPE是一家大型IT公司，提供各種InfiniBand網(wǎng)絡(luò)解決方案和產(chǎn)品，包括適配器、交換機(jī)和服務(wù)器等。
2、RoCEv2 網(wǎng)絡(luò)介紹
InfiniBand 網(wǎng)絡(luò)在一定程度上是一個(gè)由 SM（Subnet Manager，子網(wǎng)管理器）進(jìn)行集中管理的網(wǎng)絡(luò)。而 RoCEv2 網(wǎng)絡(luò)則是一個(gè)純分布式的網(wǎng)絡(luò)，由支持 RoCEv2 的網(wǎng)卡和交換機(jī)組成，一般情況下是兩層架構(gòu)。
支持 RoCE 網(wǎng)卡的廠(chǎng)家比較多，主流廠(chǎng)商為 NVIDIA、Intel、Broadcom。數(shù)據(jù)中心服務(wù)器網(wǎng)卡主要以 PCIe 卡為主。RDMA 網(wǎng)卡的端口 PHY 速率一般是 50Gbps 起，當(dāng)前商用的網(wǎng)卡單端口速率已達(dá) 400Gbps。
當(dāng)前大部分?jǐn)?shù)據(jù)中心交換機(jī)都支持 RDMA 流控技術(shù)，和 RoCE 網(wǎng)卡配合，實(shí)現(xiàn)端到端的 RDMA 通信。國(guó)內(nèi)的主流數(shù)據(jù)中心交換機(jī)廠(chǎng)商包括華為、新華三等。
高性 能 交 換 機(jī)的核心 是 轉(zhuǎn)發(fā) 芯片。當(dāng)前 市場(chǎng)上的商用轉(zhuǎn)發(fā) 芯片用的比 較 多的是博通的 Tomahawk 系列芯片。其中Tomahawk3 系列的芯片在當(dāng)前交換機(jī)上使用的比較多，市場(chǎng)上支持 Tomahawk4 系列的芯片的交換機(jī)也逐漸增多。
RoCEv2 承載在以太網(wǎng)上，所以傳統(tǒng)以太網(wǎng)的光纖和光模塊都可以用。
RoCEv2 網(wǎng)絡(luò)方案特點(diǎn)
RoCE 方案相對(duì)于 InfiniBand 方案的特點(diǎn)是通用性較強(qiáng)和價(jià)格相對(duì)較低。除用于構(gòu)建高性能 RDMA 網(wǎng)絡(luò)外，還可以在傳統(tǒng)的以太網(wǎng)絡(luò)中使用。但在交換機(jī)上的 Headroom、PFC、ECN 相關(guān)參數(shù)的配置是比較復(fù)雜的。在萬(wàn)卡這種超大規(guī)模場(chǎng)景下，整個(gè)網(wǎng)絡(luò)的吞吐性能較 InfiniBand 網(wǎng)絡(luò)要弱一些。
支持 RoCE 的交換機(jī)廠(chǎng)商較多，市場(chǎng)占有率排名靠前的包括新華三、華為等。支持 RoCE 的網(wǎng)卡當(dāng)前市場(chǎng)占有率比較高的是 NVIDIA 的 ConnectX 系列的網(wǎng)卡。
3、InfiniBand 和 RoCEv2網(wǎng)絡(luò)方案對(duì)比
從技術(shù)角度看，InfiniBand 使用了較多的技術(shù)來(lái)提升網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能，降低故障恢復(fù)時(shí)間，提升擴(kuò)展能力，降低運(yùn)維復(fù)雜度。
具體到實(shí)際業(yè)務(wù)場(chǎng)景上看，RoCEv2 是足夠好的方案，而 InfiniBand 是特別好的方案。
業(yè)務(wù)性能方面：由于 InfiniBand 的端到端時(shí)延小于 RoCEv2，所以基于 InfiniBand 構(gòu)建的網(wǎng)絡(luò)在應(yīng)用層業(yè)務(wù)性能方面占優(yōu)。但 RoCEv2 的性能也能滿(mǎn)足絕大部分智算場(chǎng)景的業(yè)務(wù)性能要求。
業(yè)務(wù)規(guī)模方面： InfiniBand 能支持單集群萬(wàn)卡 GPU 規(guī)模，且保證整體性能不下降，并且在業(yè)界有比較多的商用實(shí)踐案例。RoCEv2 網(wǎng)絡(luò)能在單集群支持千卡規(guī)模且整體網(wǎng)絡(luò)性能也無(wú)太大的降低。
業(yè)務(wù)運(yùn)維方面： InfiniBand 較 RoCEv2 更成熟，包括多租戶(hù)隔離能力，運(yùn)維診斷能力等。
業(yè)務(wù)成本方面： InfiniBand 的成本要高于 RoCEv2，主要是 InfiniBand 交換機(jī)的成本要比以太交換機(jī)高一些。
業(yè)務(wù)供應(yīng)商方面： InfiniBand 的供應(yīng)商主要以 NVIDIA 為主，RoCEv2 的供應(yīng)商較多。
本文選自“智算中心網(wǎng)絡(luò)架構(gòu)白皮書(shū)（2023）”“智能計(jì)算中心規(guī)劃建設(shè)指南”，更多智算中心技術(shù)請(qǐng)參考“算力鑄就大模型：超算、智算及數(shù)據(jù)中心行業(yè)報(bào)告（2023）、2023年高性能計(jì)算研討合集（上）、2023年高性能計(jì)算研討合集（下）、AI基礎(chǔ)知識(shí)深度專(zhuān)題詳解合集等”。
推薦閱讀
2、隨著電子書(shū)數(shù)量增加及內(nèi)容更新，價(jià)格會(huì)隨之增加，所以現(xiàn)在下單最劃算，購(gòu)買(mǎi)后續(xù)可享全店內(nèi)容更新“免費(fèi)”贈(zèng)閱。
溫馨提示：
掃描二維碼關(guān)注公眾號(hào)，點(diǎn)擊閱讀原文鏈接獲取“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書(shū)資料詳情。
