CXL：破解AI時代“內存墻”新途徑
共 3427字，需瀏覽 7分鐘
·
2024-05-01 08:31
1、AI時代“內存墻”問題愈發(fā)明顯
AI 大模型的快速發(fā)展推動“算力”和“存力”需求快速增長，與此同時，對“運力”也提出了更高的需求?！斑\力”是指在計算和存儲之間傳輸數(shù)據(jù)的能力，AI 時代，系統(tǒng)需要更大的運力，需要更高的帶寬、更快的傳輸。
“內存墻”問題由來已久，在 AI 時代表現(xiàn)的愈發(fā)明顯，“算力”和“運力”之間的差距越來越大?！皟却鎵Α敝竷却娴男阅芴嵘俣冗h低于處理器的性能提升速度，從而導致處理器無法充分發(fā)揮其計算能力。由于內存的讀寫速度相對較慢，處理器在等待數(shù)據(jù)從內存中讀取或寫入時會出現(xiàn)空閑狀態(tài)，從而限制了系統(tǒng)的性能，即使增加處理器數(shù)量和核數(shù)，也無法有效提高整體的計算能力。Transformer 類的模型參數(shù)的數(shù)量呈現(xiàn)指數(shù)增長，每兩年增加 410 倍，而 GPU 內存僅以每兩年 2 倍的速度擴展。
2、CXL 高速互聯(lián)應運而生，提高內存利用效率
CXL(Compute Express Link)技術是一種新型的高速互聯(lián)技術，旨在提供更高的數(shù)據(jù)吞吐量和更低的延遲，同時實現(xiàn)內存共享、提高內存利用效率，為化解“內存墻”問題提出新的解決方案。它最初由英特爾、AMD 和其他公司聯(lián)合推出，并得到了包括谷歌、微軟等公司在內的大量支持。CXL 的目標主要是為了解決 CPU 和設備、設備和設備之間的內存鴻溝，解決內存分割造成的較大浪費、不便和性能下降。CXL 通過將計算和存儲分離，形成內存池，從而能動態(tài)按需配置內存資源，提升效率。
3、CXL 技術優(yōu)勢明顯
與 PCIe 技術相比，CXL 技術具有優(yōu)勢。1）CXL 延遲較低，通常為 10ns，而 PCIe的延遲為 100ns。2）CXL 支持內存一致性，一致性的缺乏限制了 PCIe 應用程序。3）CXL 地址空間可按定義緩存，PCIe 地址空間通常不可緩存。但相較于 PCIe 龐大且成熟的生態(tài)系統(tǒng)，CXL 目前應用并不廣泛，仍有廣闊的發(fā)展空間。
4、CXL 版本持續(xù)升級迭代
CXL 歷經 5 個版本的升級發(fā)展，內存共享和設備的靈活性增強。CXL1.0 于 2019年 3 月發(fā)布，后歷經 1.1、2.0、3.0 版本，2023 年 11 月，CXL 聯(lián)盟發(fā)布了最新的CXL3.1 版本。隨著 CXL 技術的不斷演進，未來數(shù)據(jù)中心各個計算節(jié)點和內存節(jié)點的互聯(lián)將更加快速、高效和靈活。
CXL1.0 及 1.1 版本歸為一代標準，二者相比并沒有較大的區(qū)別。CXL2.0 發(fā)布于2020 年，新增了切換、內存池化、按需內存分配、IDE（完整性和數(shù)據(jù)加密）功能。
CXL3.0 版本在三個關鍵領域進行重大改進。1）PCIe 協(xié)議由 PCIe5.0 上升到PCIe6.0，傳輸速率由 32GT/s 提升至 64GT/s；2）CXL3.0 可以支持更加靈活的 Switch拓撲；3）除了支持內存池化，CXL3.0 還進一步支持內存共享。
CXL3.1 新版本對橫向擴展 CXL 進行了結構改進、增加了新的可信執(zhí)行環(huán)境功能，并對內存擴展器進行了改進。1）支持使用全局集成內存（GIM）通過 CXL 結構進行主機間的通信，這可以大大提高系統(tǒng)性能。2）通過 CXL 對內存事務的直接點對點支持來增加 GPU 內存的使用效率，這對于處理大規(guī)模數(shù)據(jù)集和 AI 工作負載非常有幫助。
5、國際巨頭紛紛加入CXL聯(lián)盟
CXL 聯(lián)盟由英特爾牽頭成立，目前成員已經超過 255 個成員，涵蓋了主要的 CPU、內存、存儲和網(wǎng)絡設備制造商。國際巨頭紛紛加入 CXL 聯(lián)盟，積極布局 CXL 技術，推出支持 CXL 技術的產品，助力 CXL 的發(fā)展。
6、CXL聯(lián)盟定義了三種類型的設備
CXL 標準定義了三個協(xié)議：1）CXL.io 協(xié)議本質上是 PCIe 5.0 的改進，用于初始化、鏈接、設備發(fā)現(xiàn)和列舉以及寄存器訪問。2）CXL.cache 協(xié)議定義了主機和設備間的交互，允許連接的 CXL 設備以極低的延遲高效地緩存主機內存。3）CXL.mem 協(xié)議提供了主機處理器，使用加載和存儲命令訪問設備連接的內存。
CXL 聯(lián)盟定義了三種類型的設備，分別支持不同的子協(xié)議。CXL.io 協(xié)議用于初始化和鏈接，所以必需獲得所有 CXL 設備的支持，如果該協(xié)議發(fā)生故障，鏈接就無法運行。第一種設備用于智能 NIC 等設備。第二種設備用于帶有內存的加速器，如 CPU、GPU、FPGA 等。第三種設備用于內存拓展和池化。
7、CXL市場空間廣闊，DRAM占據(jù)主要份額
CXL 高速互聯(lián)目前處于市場應用的早期階段，未來有望迎來快速發(fā)展，采用 CXL協(xié)議服務器的占比持續(xù)提升。根據(jù) Yole 的預測，到 2025 年，采用 CXL 協(xié)議的數(shù)據(jù)中心服務器占比達到 60%左右，到 2027 年，這一數(shù)據(jù)將接近 100%。Yole 預測到 2028年，CXL 市場總收入將超過 150 億美元。
DRAM 占據(jù) CXL 市場的主要份額，國際巨頭紛紛進行布局。Yole 預計到 2028 年，DRAM 市場規(guī)模達到 125 億美元，占到 CXL 市場規(guī)模的 79%。三星和海力士相繼推出了采用 CXL 內存控制器的 CXL 內存模組。2023 年 5 月，三星電子推出其首款支持CXL2.0 的 128GB DRAM，加速下一代存儲器解決方案的商用化進程。
全店內容持續(xù)更新，現(xiàn)下單“架構師技術全店資料打包匯總(全)”一起發(fā)送“服務器基礎知識全解(終極版)”和“存儲系統(tǒng)基礎知識全解（終極版）”pdf及ppt版本，后續(xù)可享全店內容更新“免費”贈閱，價格僅收249元(原總價399元)。
溫馨提示：
掃描二維碼關注公眾號，點擊閱讀原文鏈接獲取“架構師技術全店資料打包匯總(全)”電子書資料詳情。