在高性能計(jì)算（HPC）系統(tǒng)的發(fā)展初期，通常選擇專業(yè)網(wǎng)絡(luò)解決方案，如Myrinet、Quadrics和InfiniBand，而不是以太網(wǎng)解決方案。通過定制網(wǎng)絡(luò)方案可以有效解決以太網(wǎng)解決方案的限制，增強(qiáng)帶寬、降低延遲、改善擁塞控制。2010年，IBTA推出了RoCE協(xié)議技術(shù)標(biāo)準(zhǔn)，隨后于2014年發(fā)布了RoCEv2協(xié)議技術(shù)標(biāo)準(zhǔn)，大幅提升網(wǎng)絡(luò)帶寬。以太網(wǎng)性能的顯著提升引起行業(yè)對與傳統(tǒng)以太網(wǎng)兼容的高性能網(wǎng)絡(luò)解決方案的日益關(guān)注。這種轉(zhuǎn)變打破了以太網(wǎng)在排名前500的HPC集群中使用率下降的趨勢，使以太網(wǎng)在排名中保持了重要地位。
量子計(jì)算：打破傳統(tǒng)范式，通用計(jì)算應(yīng)用可期
面向超萬卡集群的新型智算技術(shù)白皮書（2024）
《NVIDIA BlueField系列合集》
1、NVIDIA BlueField：BlueField產(chǎn)品更新介紹 2、NVIDIA BlueField：BlueField硬件系統(tǒng)介紹
3、NVIDIA BlueField：BlueField DPU NVQual Overview
1、面向辦公自動化領(lǐng)域的 AI Agent 建設(shè)思考與分享
2、AI Agent 在企業(yè)經(jīng)營分析場景的落地
3、LLM和Multi-Agent在運(yùn)維領(lǐng)域的實(shí)驗(yàn)探索
1、基于多模態(tài)智能引擎大模型知識庫技術(shù)應(yīng)用
2、餓了么垂域大模型EGPT訓(xùn)練與C端應(yīng)用實(shí)踐
3、金山云：大模型推動知識工作領(lǐng)域的創(chuàng)新與變革
4、超大規(guī)模集群下大語言模型訓(xùn)練的最佳實(shí)踐
1、大模型數(shù)據(jù)安全：從測評到實(shí)時檢測的全流程實(shí)踐
2、大模型原生應(yīng)用產(chǎn)品設(shè)計(jì)的前沿探索
3、海天瑞聲在大模型數(shù)據(jù)的探索與實(shí)踐
4、類 Sora 開源架構(gòu)模型訓(xùn)練實(shí)踐
5、大模型 AI 訓(xùn)練的數(shù)據(jù)存儲加速
1、基于 AI 大模型生成微信小程序的探索與實(shí)踐
3、大模型賦能的數(shù)據(jù)資產(chǎn)平臺構(gòu)建實(shí)踐
4、大規(guī)模微服務(wù)破局之道：合并編譯
5、大規(guī)模工程及領(lǐng)域架構(gòu)治理與服務(wù)架構(gòu)合理性的度量
1、MoonBit 月兔：大語言模型時代的軟件開發(fā)起點(diǎn)
2、AI 大模型技術(shù)在數(shù)據(jù)庫 DevOps 的實(shí)踐
4、大模型賦能 DevOps，研發(fā)全環(huán)節(jié)提速
5、大模型技術(shù)在快手搜索的應(yīng)用
6、快意大模型在短視頻互動場景的應(yīng)用探索
1、超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型M6的關(guān)鍵技術(shù)突破及產(chǎn)業(yè)應(yīng)用
2、高效訓(xùn)練百萬億參數(shù)預(yù)訓(xùn)練模型的系統(tǒng)挑戰(zhàn)和對策
量子科技專題系列一：逐夢量子，星辰大海（2024）
1、2024人形機(jī)器人行業(yè)研究報(bào)告
2、2024中國AI Agent行業(yè)研究報(bào)告
4、2024大型語言模型行業(yè)圖譜研究報(bào)告
5、2024大模型驅(qū)動的汽車行業(yè)群體智能技術(shù)白皮書
盡管Myrinet和Quadrics逐漸退出了應(yīng)用方案選擇之列，InfiniBand仍然在高性能網(wǎng)絡(luò)中占據(jù)著重要的地位。此外Cray、天河和Tofulseries等專用網(wǎng)絡(luò)系列也發(fā)揮著重要作用。
RoCE協(xié)議簡介
RoCE協(xié)議是一種集群網(wǎng)絡(luò)通信協(xié)議，它實(shí)現(xiàn)在以太網(wǎng)上進(jìn)行遠(yuǎn)程直接內(nèi)存訪問（RDMA）。作為TCP/IP協(xié)議的特色功能，該協(xié)議將數(shù)據(jù)包的發(fā)射/接收任務(wù)轉(zhuǎn)移到網(wǎng)絡(luò)適配器上，改變了系統(tǒng)進(jìn)入內(nèi)核模式的需求。因此它減少與復(fù)制、封裝和解封裝相關(guān)的開銷，很大程度上降低了以太網(wǎng)通信的延遲。此外它在通信過程中充分利用CPU資源，減輕了網(wǎng)絡(luò)擁塞，并提高了帶寬的有效利用率。
RoCE協(xié)議包括兩個版本：RoCE v1和RoCE v2。RoCE v1作為鏈路層協(xié)議運(yùn)行，要求通信雙方在相同的第2層網(wǎng)絡(luò)中。相比之下RoCE v2作為網(wǎng)絡(luò)層協(xié)議運(yùn)行，使得RoCE v2協(xié)議數(shù)據(jù)包可以在第3層進(jìn)行路由，提供了更好的可擴(kuò)展性。
RoCE V1協(xié)議
RoCE協(xié)議保留了InfiniBand（IB）的接口、傳輸層和網(wǎng)絡(luò)層，但將IB的鏈路層和物理層替換為以太網(wǎng)的鏈路層和網(wǎng)絡(luò)層。在RoCE數(shù)據(jù)包的鏈路層數(shù)據(jù)幀中，以太網(wǎng)類型字段的值由IEEE指定為0x8915，明確標(biāo)識其為RoCE數(shù)據(jù)包。然而，由于RoCE協(xié)議沒有采用以太網(wǎng)的網(wǎng)絡(luò)層，RoCE數(shù)據(jù)包缺少IP字段。因此對于RoCE數(shù)據(jù)包來說，在網(wǎng)絡(luò)層進(jìn)行路由是不可行的，限制了它們在第2層網(wǎng)絡(luò)內(nèi)的傳輸。
RoCE V2協(xié)議
RoCE v2協(xié)議在RoCE協(xié)議的基礎(chǔ)上持續(xù)優(yōu)化。RoCEv2通過融合以太網(wǎng)網(wǎng)絡(luò)層和使用UDP協(xié)議的傳輸層，改造了RoCE協(xié)議所使用的InfiniBand（IB）網(wǎng)絡(luò)層。它利用以太網(wǎng)網(wǎng)絡(luò)層中IP數(shù)據(jù)報(bào)的DSCP和ECN字段來實(shí)現(xiàn)擁塞控制。這使得RoCE v2協(xié)議數(shù)據(jù)包可以進(jìn)行路由，確保了更好的可擴(kuò)展性。由于RoCEv2完全取代了原始的RoCE協(xié)議，通常提到RoCE協(xié)議時指的是RoCE v2協(xié)議，除非明確指定為RoCE的第一代協(xié)議。
無丟包網(wǎng)絡(luò)和RoCE擁塞控制機(jī)制
在基于RoCE協(xié)議網(wǎng)絡(luò)中，確保RoCE流量的無縫傳輸至關(guān)重要。在RDMA通信過程中，數(shù)據(jù)包必須無丟失且按正確順序到達(dá)目的地。任何數(shù)據(jù)包丟失或亂序到達(dá)的情況都需要進(jìn)行“回退N”的重傳操作，并且預(yù)期到達(dá)的后續(xù)數(shù)據(jù)包不應(yīng)存儲在緩存中。
RoCE協(xié)議實(shí)現(xiàn)了一個雙重?fù)砣刂茩C(jī)制：初始階段利用DCQCN進(jìn)行逐步減速，然后利用PFC進(jìn)入傳輸暫停階段。盡管嚴(yán)格將其劃分為擁塞控制策略和流量控制策略，但通常被認(rèn)為是擁塞控制的兩個階段。
在網(wǎng)絡(luò)中涉及多對一通信的應(yīng)用場景中，經(jīng)常會出現(xiàn)擁塞問題，表現(xiàn)為交換機(jī)端口上待發(fā)送緩沖區(qū)消息總大小的迅速增加。在無控制的情況下，可能導(dǎo)致緩沖區(qū)飽和，從而導(dǎo)致數(shù)據(jù)包丟失。因此在初始階段，當(dāng)交換機(jī)檢測到端口上待發(fā)送緩沖區(qū)消息的總大小達(dá)到特定閾值時，它會標(biāo)記RoCE數(shù)據(jù)包的IP層中的ECN字段。收到這個數(shù)據(jù)包后，如果接收方觀察到交換機(jī)標(biāo)記的ECN字段，它會向發(fā)射方發(fā)送一個擁塞通知數(shù)據(jù)包（CNP），促使發(fā)射方降低發(fā)送速率。
在達(dá)到ECN字段閾值時，并不是所有的數(shù)據(jù)包都會被標(biāo)記。在這個過程中，兩個參數(shù)Kmin和Kmax起著重要作用。當(dāng)擁塞隊(duì)列長度低于Kmin時，不會進(jìn)行標(biāo)記。當(dāng)隊(duì)列長度在Kmin和Kmax之間變化時，隨著隊(duì)列長度的增加，標(biāo)記的概率也會增加。如果隊(duì)列長度超過Kmax，所有的數(shù)據(jù)包都會被標(biāo)記。接收方并不會為每個接收到的帶有ECN標(biāo)記的數(shù)據(jù)包發(fā)送一個CNP數(shù)據(jù)包，而是在每個時間間隔內(nèi)接收到帶有ECN標(biāo)記的數(shù)據(jù)包后，發(fā)送一個CNP數(shù)據(jù)包。通過這種方式，發(fā)送方可以根據(jù)接收到的CNP數(shù)據(jù)包數(shù)量來調(diào)整發(fā)送速度，從而避免過多的數(shù)據(jù)包被標(biāo)記和丟失。這種動態(tài)的擁塞控制機(jī)制可以提供更有效的流量調(diào)節(jié)和更可靠的數(shù)據(jù)傳輸。
在網(wǎng)絡(luò)擁塞惡化的情況下，當(dāng)交換機(jī)檢測到特定端口的待發(fā)送隊(duì)列長度達(dá)到更高的閾值時，交換機(jī)會向消息的上游發(fā)送方發(fā)送一個PFC幀。這個操作會導(dǎo)致數(shù)據(jù)傳輸暫停，直到交換機(jī)中的擁塞得到緩解。一旦擁塞得到緩解，交換機(jī)會向上游發(fā)送方發(fā)送一個PFC控制幀，表示發(fā)送可以恢復(fù)。PFC流控支持在不同的流量通道上進(jìn)行暫停，可以調(diào)整每個通道相對于總帶寬的帶寬比例。這種配置允許在一個通道上暫停流量傳輸，而不影響其他通道上的數(shù)據(jù)傳輸。
ROCE & Soft-RoCE
在高性能以太網(wǎng)網(wǎng)卡領(lǐng)域，雖然現(xiàn)在大多數(shù)采用RoCE協(xié)議，但仍有在特定情況下某些網(wǎng)卡不支持RoCE。為了填補(bǔ)這一空白，IBIV、邁絡(luò)思（Mellanox）和其品牌的合作，催生了開源項(xiàng)目Soft-RoCE。這個項(xiàng)目適用于設(shè)備不支持RoCE協(xié)議的節(jié)點(diǎn)，使它們能夠與設(shè)備RoCE支持的節(jié)點(diǎn)一起使用Soft-RoCE進(jìn)行通信，如圖所示，盡管可能不會提升前者的性能，但它可以使后者充分發(fā)揮其性能優(yōu)勢。尤其是在數(shù)據(jù)中心等應(yīng)用場景中，將升級限制在具有RoCE支持的以太網(wǎng)卡的高I/O存儲服務(wù)器上，可以顯著提高整體性能和可擴(kuò)展性。此外RoCE和Soft-RoCE的組合適應(yīng)了逐步集群升級的需求，避免了同時進(jìn)行全面升級的必要性。
高性能計(jì)算（HPC）環(huán)境中實(shí)施RoCE時面臨挑戰(zhàn)
高性能計(jì)算（HPC）網(wǎng)絡(luò)的基本要求
高性能計(jì)算（HPC）網(wǎng)絡(luò)依賴于兩個基本前提：低延遲和在動態(tài)流量模式下保持低延遲的功能。
對于低延遲，RoCE被設(shè)計(jì)用于解決這個問題。RoCE可有效地將網(wǎng)絡(luò)操作卸載到網(wǎng)卡上，從而實(shí)現(xiàn)低延遲和降低CPU利用率。
對于在動態(tài)流量模式下保持低延遲，主要關(guān)注重心轉(zhuǎn)移到了擁塞控制上。高度動態(tài)的HPC流量模式的復(fù)雜性對RoCE構(gòu)成了挑戰(zhàn)，在這方面導(dǎo)致了性能不佳。
ROCE的低延遲
與傳統(tǒng)的TCP/IP網(wǎng)絡(luò)相比，InfiniBand和RoCEv2都繞過內(nèi)核協(xié)議棧，從而很大程度上提高了延遲性能。實(shí)證測試表明，繞過內(nèi)核協(xié)議棧可以將同一集群內(nèi)應(yīng)用層的端到端延遲從 50μs（TCP/IP）降低到5μs（RoCE）甚至2μs（InfiniBand）的水平。
RoCE數(shù)據(jù)包結(jié)構(gòu)
假設(shè)我們要使用RoCE發(fā)送1字節(jié)的數(shù)據(jù)，封裝這個1字節(jié)數(shù)據(jù)包的額外開銷如下：以太網(wǎng)鏈路層：14字節(jié)MAC頭 + 4字節(jié)CRC 以太網(wǎng)IP層：20字節(jié) 以太網(wǎng)UDP層：8字節(jié) IB傳輸層：12字節(jié)基本傳輸報(bào)頭（BTH） 總計(jì)：58字節(jié) 假設(shè)我們要使用IB發(fā)送1字節(jié)的數(shù)據(jù)，封裝這個1字節(jié)數(shù)據(jù)包的額外開銷如下：IB鏈路層：8字節(jié)本地路由頭（LHR）+ 6字節(jié)CRC IB網(wǎng)絡(luò)層：0字節(jié)（當(dāng)只有2層網(wǎng)絡(luò)時，鏈路層的鏈路下一頭部（LNH）字段可以表示該數(shù)據(jù)包沒有網(wǎng)絡(luò)層） IB傳輸層：12字節(jié)基本傳輸報(bào)頭（BTH） 總計(jì)：26字節(jié)
如果是自定義網(wǎng)絡(luò)，數(shù)據(jù)包結(jié)構(gòu)可以進(jìn)一步簡化。例如，天河-1A的迷你數(shù)據(jù)包（MP）頭部由8字節(jié)組成。
由此可見，以太網(wǎng)底層結(jié)構(gòu)的復(fù)雜性是將RoCE應(yīng)用于HPC的障礙之一。
數(shù)據(jù)中心的以太網(wǎng)交換機(jī)通常需要具備如SDN、QoS等其他功能，這些功能的實(shí)現(xiàn)需要額外的成本。
關(guān)于這些以太網(wǎng)功能，以太網(wǎng)和RoCE是否與這些功能兼容？同時這些功能是否會影響RoCE的性能？
RoCE擁塞控制面臨的挑戰(zhàn)
RoCE協(xié)議的兩個方面中的擁塞控制機(jī)制都面臨著特定的挑戰(zhàn)，這些挑戰(zhàn)可能會妨礙在動態(tài)流量模式下保持低延遲。
優(yōu)先級流量控制（PFC）依賴于暫停控制幀來防止接收過多的數(shù)據(jù)包，這種策略容易導(dǎo)致數(shù)據(jù)包丟失。與基于信用的方法不同，PFC往往導(dǎo)致較低的緩沖區(qū)利用率，對于具有有限緩沖區(qū)的交換機(jī)來說尤為具有挑戰(zhàn)性，通常與較低的延遲相關(guān)。相反，基于信用的方法提供了更精確的緩沖區(qū)管理。
RoCE中的數(shù)據(jù)中心量化擁塞通知（DCQCN），類似于InfiniBand的擁塞控制，采用了反向通知的方式，將擁塞信息傳遞給目的地，然后返回給發(fā)射方進(jìn)行速率限制。RoCE遵循一組固定的減速和加速策略公式，而InfiniBand允許自定義策略，提供更大的靈活性。雖然通常使用默認(rèn)配置，但有自定義選項(xiàng)是更適用。測試中最多每N=50μs生成一個擁塞通知包（CNP），將這個值降低的可行性尚不確定。在InfiniBand中，CCTI_Timer的最低設(shè)置可以達(dá)到1.024μs，但實(shí)際實(shí)現(xiàn)這樣小的值尚未確定。
從擁塞點(diǎn)直接將擁塞信息返回給源端，這被稱為前向通知。雖然可以根據(jù)以太網(wǎng)規(guī)范了解其限制，但關(guān)于InfiniBand未采用這種方法的具體原因，仍存在疑問。
RoCE在高性能計(jì)算（HPC）中的應(yīng)用
美國最新的超級計(jì)算機(jī)采用Slingshot網(wǎng)絡(luò)，這是一種增強(qiáng)版的以太網(wǎng)。該網(wǎng)絡(luò)利用與傳統(tǒng)以太網(wǎng)兼容的Rosetta交換機(jī)，解決了RoCE的特定限制。當(dāng)鏈路的兩端支持專用設(shè)備（如網(wǎng)卡和Rosetta交換機(jī)）時，可以實(shí)現(xiàn)網(wǎng)絡(luò)增強(qiáng)。這些功能包括將IP數(shù)據(jù)包幀大小最小化為32字節(jié)，與相鄰交換機(jī)共享隊(duì)列占用信息，并實(shí)施改進(jìn)的擁塞控制。雖然平均交換機(jī)延遲為350ns，相當(dāng)于高性能以太網(wǎng)交換機(jī)，但低于InfiniBand（IB）和一些專用超級計(jì)算機(jī)的交換機(jī)實(shí)現(xiàn)的延遲，如的Cray XC超級計(jì)算機(jī)交換機(jī)。
在實(shí)際應(yīng)用中，Slingshot網(wǎng)絡(luò)表現(xiàn)出可靠的性能。《Slingshot互連的深入分析》一文中主要將其與之前的Cray超級計(jì)算機(jī)進(jìn)行了比較，而沒有與InfiniBand進(jìn)行直接比較。
此外CESM和GROMACS應(yīng)用程序通過使用低延遲的25G以太網(wǎng)和帶寬更高的100G以太網(wǎng)進(jìn)行測試。盡管這兩種網(wǎng)絡(luò)之間的帶寬差異達(dá)到了四倍，但測試結(jié)果為它們的性能進(jìn)行了有價值的比較。
結(jié)論
憑借專業(yè)的技術(shù)團(tuán)隊(duì)，飛速（FS）在各種應(yīng)用場景中贏得了客戶的信賴。然而飛速（FS）在高性能計(jì)算（HPC）的RoCE技術(shù)應(yīng)用中存在一定的挑戰(zhàn)：
-
與InfiniBand交換機(jī)和某些定制的高性能計(jì)算網(wǎng)絡(luò)交換機(jī)相比，以太網(wǎng)交換機(jī)的延遲較高。
-
RoCE的流量控制和擁塞控制策略還有優(yōu)化的空間。
-
以太網(wǎng)交換機(jī)的成本仍然相對較高。
隨著人工智能數(shù)據(jù)中心網(wǎng)絡(luò)的高速發(fā)展，選擇合適的解決方案至關(guān)重要。傳統(tǒng)的TCP/IP協(xié)議已不再適用于對高網(wǎng)絡(luò)性能要求較高的人工智能應(yīng)用。RDMA技術(shù)，特別是InfiniBand和RoCE應(yīng)用，已成為備受推崇的網(wǎng)絡(luò)解決方案。InfiniBand在高性能計(jì)算和大規(guī)模GPU集群等領(lǐng)域展示出了卓越的性能。相比之下，作為基于以太網(wǎng)的RDMA技術(shù)，RoCE提供了增強(qiáng)的部署靈活性。
相關(guān)閱讀：
初識RDMA網(wǎng)絡(luò)傳輸技術(shù)
InfiniBand，撼動不了以太網(wǎng)？
英偉達(dá)Quantum-2 Infiniband平臺技術(shù)A&Q
一顆Jericho3-AI芯片，用來替代InfiniBand？
RoCE技術(shù)在HPC中的應(yīng)用分析
GPU集群：NVLink、InfiniBand、ROCE、DDC技術(shù)分析
InfiniBand高性能網(wǎng)絡(luò)設(shè)計(jì)概述
一文了解InfiniBand和RoCE網(wǎng)絡(luò)技術(shù)
關(guān)于InfiniBand和RDMA網(wǎng)絡(luò)配置實(shí)踐
InfiniBand與RoCE對比分析：AI數(shù)據(jù)中心網(wǎng)絡(luò)選擇指南
14份半導(dǎo)體“AI的iPhone時刻”深度系列報(bào)告合集
12份走進(jìn)“芯”時代系列深度報(bào)告合集
《70+篇半導(dǎo)體行業(yè)“研究框架”合集》
《42份智能網(wǎng)卡和DPU合集》
本號資料全部上傳至知識星球，更多內(nèi)容請登錄智能計(jì)算芯知識（知識星球）星球下載全部資料。
免責(zé)申明：本號聚焦相關(guān)技術(shù)分享，內(nèi)容觀點(diǎn)不代表本號立場，可追溯內(nèi)容均注明來源，發(fā)布文章若存在版權(quán)等問題，請留言聯(lián)系刪除，謝謝。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關(guān)注公眾號實(shí)時掌握深度技術(shù)分享，點(diǎn)擊“閱讀原文”獲取更多原創(chuàng)技術(shù)干貨。
