根據(jù)TrendForce的數(shù)據(jù)，AI服務(wù)器的出貨量約為130,000臺，占全球服務(wù)器總出貨量的約1%。隨著微軟、Meta、百度和字節(jié)跳動等主要制造商相繼推出基于生成式AI的產(chǎn)品和服務(wù)，訂單量顯著增加。預(yù)測顯示，在ChatGPT等應(yīng)用的持續(xù)需求推動下，從2023年到2027年，AI服務(wù)器市場預(yù)計將保持每年12.2%的復(fù)合年增長率。在這種背景下，AI服務(wù)器的發(fā)展尤為引人注目。
相關(guān)鏈接：
DGX H100：開拓AI領(lǐng)域的先驅(qū)性進展
DGX H100是英偉達（NVIDIA） DGX系統(tǒng)于2022年發(fā)布的最新版本，也是英偉達（NVIDIA） DGX SuperPOD的核心。該系統(tǒng)采用8個H100 GPU和6400億個晶體管，其AI性能是上一代的6倍，尤其是在新的FP8精度方面表現(xiàn)出色。此外，DGX服務(wù)器還可提供900GB/s帶寬，彰顯了AI能力的顯著提升。
DGX H100服務(wù)器采用IP網(wǎng)卡，既可作為網(wǎng)卡，又可作為PCIe擴展交換機，符合PCIe 5.0標(biāo)準。此外服務(wù)器還包括CX7，以2張卡的形式提供，每張卡含有4個CX7芯片，并提供2個800G OSFP光模塊端口。對于GPU互連（H100），NVSwitch芯片起到關(guān)鍵作用。每個GPU向外擴展18個NVLink，實現(xiàn)每個鏈路雙向帶寬達到50GB/s，總共達到900GB/s的雙向帶寬。這些帶寬分布在4個內(nèi)置的NVSwitch芯片上，每個NVSwitch對應(yīng)4-5個OSFP光模塊。每個OSFP光模塊使用8個光通道，傳輸速率為100Gbps/通道，因此總速率達到800Gbps，實現(xiàn)高速數(shù)據(jù)傳輸。
CPU、GPU等組件互連：采用PCIe交換機和重定時芯片進行連接
PCIe交換機技術(shù)的演進：克服通道限制
PCIe交換機（也稱為PCIe集線器）是一個關(guān)鍵組件，用于通過PCIe通信協(xié)議連接PCIe設(shè)備。它通過擴展和聚合功能，使多個設(shè)備能夠連接到1個PCIe端口，可在很大程度上克服PCIe通道數(shù)量局限的問題。目前，PCIe交換機廣泛應(yīng)用于傳統(tǒng)存儲系統(tǒng)，并在各種服務(wù)器平臺上越來越受歡迎，為系統(tǒng)內(nèi)的數(shù)據(jù)傳輸速率提供顯著改善。
隨著時間的推移，PCIe總線技術(shù)的進展意味著PCIe交換機速率的逐漸增加。最初由英特爾于2001年作為第三代I/O技術(shù)以"3GIO"的名義推出，經(jīng)過PCI-SIG的評估后在2002年更名為"PCI Express"。2003年正式發(fā)布的PCIe 1.0成為一個重要的里程碑，支持每通道傳輸速率為250MB/s，總傳輸速率為2.5 GT/s。在2022年，PCI-SIG正式發(fā)布了PCIe 6.0規(guī)范，將總帶寬提升至64 GT/s。
PCIe重定時行業(yè)的主導(dǎo)趨勢
在AI服務(wù)器中，為了確保GPU和CPU連接時的信號質(zhì)量，至少需要使用一個重定時芯片。一些AI服務(wù)器選擇使用多個重定時芯片，比如Astera Labs就在其AI加速器配置中集成了4個重定時芯片。
目前，PCIe重定時市場具有巨大的潛力，有三家領(lǐng)先品牌和許多潛在競爭對手。目前，Parade Technologies、Astera Labs和瀾起科技是這個蓬勃發(fā)展市場的主要參與者，占據(jù)重要的地位。值得注意的是，作為PCIe部署的早期使用者，瀾起科技是中國內(nèi)地唯一能夠大規(guī)模生產(chǎn)PCIe 4.0重定時的供應(yīng)商。此外，瀾起科技在PCIe 5.0重定時的開發(fā)方面也取得了穩(wěn)步進展。
此外，Renesas、TI和微芯科技等芯片制造商也積極參與PCIe重定時產(chǎn)品的開發(fā)。根據(jù)官網(wǎng)站信息，Renesas提供2款PCIe 3.0重定時產(chǎn)品，分別是89HT0816AP和89HT0832P。TI提供了一款16Gbps 8通道PCIe 4.0重定時產(chǎn)品- DS160PT801。此外，微芯科技在2020年11月推出了XpressConnect系列的重定時芯片，旨在實現(xiàn)PCIe 5.0的32GT/s速率。
GPU之間的互連：NVLink和NVSwitch
全球主要芯片制造商非常重視推廣高速接口技術(shù)。其中，英偉達（NVIDIA）的NVLink、AMD的Infinity Fabric和英特爾的CXL都做出了重要貢獻。
NVLink是由英偉達（NVIDIA）開發(fā)的高速互連技術(shù)。它旨在加速CPU與GPU、GPU與GPU之間的數(shù)據(jù)傳輸速率，提升系統(tǒng)性能。從2016年到2022年，NVLink經(jīng)歷多次升級，已經(jīng)發(fā)展到第四代。2016年，英偉達（NVIDIA）配合Pascal GP100 GPU的發(fā)布推出第一代NVLink。NVLink采用了高速信號互連（NVHS）技術(shù)，主要用于GPU之間和GPU與CPU之間的信號傳輸。GPU之間通過差分阻抗電信號以NRZ（不歸零）形式進行編碼傳輸。第一代NVLink單鏈路實現(xiàn)了40GB/s的雙向帶寬，單個芯片可以支持4個鏈路，總雙向帶寬達到160GB/s。
NVLink不同階段的發(fā)展
NVLink技術(shù)經(jīng)歷多次迭代，推動了高速互連的創(chuàng)新。2017年，基于Volta架構(gòu)推出第二代NVLink。它實現(xiàn)每個鏈路50GB/s的雙向帶寬，每個芯片支持6個鏈路，總雙向帶寬達到300GB/s。2020年，基于Ampere架構(gòu)的第三代發(fā)布，總雙向帶寬達到600GB/s。在2022年，基于Hopper架構(gòu)的第四代推出。這一迭代轉(zhuǎn)向使用PAM4調(diào)制的電信號，每個鏈路保持50GB/s的雙向帶寬，每個芯片支持18個鏈路，總雙向帶寬達到900GB/s。
NVSwitch的發(fā)展推動實現(xiàn)高性能GPU互連
在2018年，英偉達（NVIDIA）推出NVSwitch的最初版本，為增強帶寬、減少延遲和促進服務(wù)器內(nèi)多個GPU之間的通信提供解決方案。第一代NVSwitch采用TSMC的12nm FinFET工藝制造，擁有18個NVLink 2.0接口。通過部署12個NVSwitch，1個服務(wù)器可以容納和優(yōu)化16個V100 GPU之間的互連速率。
目前，NVSwitch已經(jīng)發(fā)展到第三代，采用TSMC的4N工藝制造。每個NVSwitch芯片配備了64個NVLink 4.0端口，使GPU之間的通信速率達到了900GB/s。通過NVLink Switch互連的GPU可以集體作為一個具有深度學(xué)習(xí)能力的高性能加速器運行。
總結(jié)
PCIe芯片、重定時芯片和NVSwitch等接口互連芯片技術(shù)的發(fā)展很大程度上增強CPU和GPU之間以及GPU之間的互動能力。這些技術(shù)的相互作用凸顯了人工智能服務(wù)器的動態(tài)景觀，為高性能計算的進步做出貢獻。
下載鏈接：
走進芯時代系列
走進芯時代（76）：HBM迭代，3D混合鍵合成設(shè)備材料發(fā)力點
走進芯時代（75）：“半導(dǎo)核心材料”：萬丈高樓材料起，夯實中國“芯”地基”
走進芯時代（74）：以芯助先進算法，以算驅(qū)萬物智能
走進芯時代（60）：AI算力GPU，AI產(chǎn)業(yè)化再加速，智能大時代已開啟
走進芯時代（58）：高性能模擬替代漸入深水區(qū)，工業(yè)汽車重點突破
走進芯時代（57）：算力大時代，處理器SOC廠商綜合對比
走進芯時代（49）：“AI芯片”，AI領(lǐng)強算力時代，GPU啟新場景落地
走進芯時代（46）：“新能源芯”，乘碳中和之風(fēng)，基礎(chǔ)元件騰飛
走進芯時代（43）：顯示驅(qū)動芯—面板國產(chǎn)化最后一公里
走進芯時代（40）：半導(dǎo)體設(shè)備，再迎黃金時代
轉(zhuǎn)載申明：轉(zhuǎn)載本號文章請注明作者和來源，本號發(fā)布文章若存在版權(quán)等問題，請留言聯(lián)系處理，謝謝。
更多架構(gòu)相關(guān)技術(shù)知識總結(jié)請參考“架構(gòu)師全店鋪技術(shù)資料打包(全)”相關(guān)電子書(41本技術(shù)資料打包匯總詳情可通過“閱讀原文”獲取)。
全店內(nèi)容持續(xù)更新，現(xiàn)下單“架構(gòu)師技術(shù)全店資料打包匯總(全)”一起發(fā)送“服務(wù)器基礎(chǔ)知識全解(終極版)”和“存儲系統(tǒng)基礎(chǔ)知識全解（終極版）”pdf及ppt版本，后續(xù)可享全店內(nèi)容更新“免費”贈閱，價格僅收249元(原總價399元)。
溫馨提示：
掃描二維碼關(guān)注公眾號，點擊閱讀原文鏈接獲取“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書資料詳情。
