如何配置InfiniBand和RDMA網(wǎng)絡？
本文檔描述InfiniBand 和遠程直接訪問(RDMA)是什么以及如何配置 InfiniBand 硬件。另外，本文檔解釋了如何配置與 InfiniBand 相關的服務。本文請參看“配置InfiniBand和RDMA網(wǎng)絡”。
下載鏈接：
InfiniBand 代表兩個不同的因素：
InfiniBand 網(wǎng)絡的物理鏈路協(xié)議?
InfiniBand Verbs API，這是 RDMA（remote direct memory access）技術的一個實現(xiàn)?
RDMA 可在不涉及計算機操作系統(tǒng)的情況下，從一個計算機訪問另一臺計算機的內存。此技術啟用了高吞 吐量和低延遲聯(lián)網(wǎng)，且 CPU 使用率較低。?
在典型的 IP 數(shù)據(jù)傳輸中，當機器中的某個應用程序向另一臺機器上的應用程序發(fā)送數(shù)據(jù)時，在接收層時 會出現(xiàn)以下情況：?
1. 內核必須接收數(shù)據(jù)。
2. 內核必須確定該數(shù)據(jù)是否屬于該應用程序。?
3. 內核喚醒應用程序。
4. 內核會等待應用程序執(zhí)行系統(tǒng)調用到內核。
5. 應用程序將內核本身的內部內存空間數(shù)據(jù)復制到應用程序提供的緩沖中。?
這個過程意味著，如果主機適配器使用直接內存訪問(DMA)，或者至少兩次，則大多數(shù)網(wǎng)絡流量會被復制 到系統(tǒng)的主內存中。另外，計算機執(zhí)行很多上下文開關以在內核和應用程序上下文間進行切換。這些上下 文切換都可能造成高流量率的 CPU 負載，并可能造成其他任務的性能下降。?
RDMA 通訊會繞過內核在溝通過程中的干預，這和普通的 IP 通訊不同這可減少 CPU 開銷。RDMA 協(xié)議 讓主機適配器知道數(shù)據(jù)包何時來自網(wǎng)絡，應用程序應該接收它,并在應用程序的內存空間中保存數(shù)據(jù)包。對 于 InfiniBand，主機適配器不將數(shù)據(jù)包發(fā)送到內核，然后將其復制到用戶應用程序的內存中，而是,主機適 配器將數(shù)據(jù)包的內容直接放置在應用程序的緩沖中。此過程需要單獨的 API、InfiniBand Verbs API，應用 程序必須支持這個API才能使用 RDMA。?
Red Hat Enterprise Linux 8支持 InfiniBand 硬件和 InfiniBand Verbs API。另外，Red Hat Enterprise Linux 支持以下技術，以便在非 InfiniBand 硬件中使用 InfiniBand Verbs API:?
互聯(lián)網(wǎng)廣域 RDMA 協(xié)議(iWARP)：通過 IP 網(wǎng)絡實施 RDMA 的網(wǎng)絡協(xié)議。?
RDMA over Converged Ethernet(RoCE)，也稱為以太網(wǎng)的 InfiniBand(IBoE)：通過以太網(wǎng)實現(xiàn) RDMA 的網(wǎng)絡協(xié)議。
比如 Mellanox、Broadcom 和 QLogic 都提供 RoCE 硬件。配置細節(jié)，請參看“配置InfiniBand和RDMA網(wǎng)絡”。
RoCE 是一種網(wǎng)絡協(xié)議，可實現(xiàn)通過以太網(wǎng)的遠程直接訪問(RDMA)。以下是不同的 RoCE 版本：?
RoCE v1?
RoCE 版本 1 協(xié)議是帶有 ethertype 0x8915 的以太網(wǎng)鏈路層協(xié)議，它允許同一以太網(wǎng)廣播域中任何兩 個主機之間進行通信。
默認情況下，在使用 Mellanox ConnectX-3 網(wǎng)絡適配器時，Red Hat Enterprise Linux 使用 RoCE v1 作 為 RDMA 連接管理器（RDMA_CM）。
RoCE v2?
RoCE 版本 2 協(xié)議在 IPv4 或 IPv6 協(xié)議的 UDP 上存在。RoCE v2 保留 UDP 目標端口號 4791。默認情況下，在使用 Mellanox ConnectX-3 Pro、ConnectX-4 Lx 或 ConnectX-5 網(wǎng)絡適配器時，Red Hat Enterprise Linux將RoCE v2 用于 RDMA_CM，但硬件支持 RoCE v1 和 RoCE v2。?
RDMA_CM 設置客戶端和服務器之間用來傳輸數(shù)據(jù)的可靠連接。RDMA_CM 為建立連接提供了一個與 RDMA 傳輸相關的接口。該通信使用特定的 RDMA設備，數(shù)據(jù)傳輸是基于消息的。
在客戶端使用 RoCE v2，在服務器使用 RoCE v1 不被支持。在這種情況下，將服務器和客 戶端都配置為通過 RoCE v1 進行通信。
不支持在客戶端和服務器上的 RoCE v1 使用 RoCE v2 協(xié)議。如果您的服務器中硬件只支持 RoCE v1，請將 您的客戶端配置為使用 RoCE v1 與服務器通信。這部分論述了如何在將 mlx5_0 驅動程序用于 Mellanox ConnectX-5 Infiniband 設備的客戶端上強制實施 RoCE v1。
Soft-RoCE 是 RDMA over Ethernet 的一個軟件實現(xiàn)，它也稱為 RXE。在沒有 RoCE 主機頻道適配器 (HCA)的主機上使用 Soft-RoCE。
Soft-RoCE 功能僅作為技術預覽提供。紅帽產品服務級別協(xié)議（SLA）不支持技術預覽功 能，且其功能可能并不完善，因此紅帽不建議在生產環(huán)境中使用它們。
配置細節(jié)，請參看“配置InfiniBand和RDMA網(wǎng)絡”。
默認情況下，內核命名 IP over InfiniBand(IPoIB)設備，如 ib0,ib1 等。為避免沖突，紅帽建議在 udev 設 備管理器中創(chuàng)建一條規(guī)則來創(chuàng)建持久且有意義的名稱，如 mlx4_ib0。
RDMA 操作需要固定物理內存。這意味著內核不允許把內存寫入到 swap 空間中。如果用戶固定太多內 存，系統(tǒng)會耗盡內存，并且內核會終止進程來釋放更多內存。因此，內存固定是一個特權操作。如果非 root 用戶運行大型 RDMA 應用程序，則可能需要增加這些用戶可在系統(tǒng)中的內存量。這部分論述 了如何為 rdma 組配置無限內存。
配置RDMA服務，rdma 服務在內核中管理RDMA堆棧。如果Red Hat Enterprise Linux 檢測到 InfiniBand、iWARP 或 RoCE 設備，udev 設備管理器會指示 systemd 啟動 rdma 服務。配置細節(jié)，請參看“配置InfiniBand和RDMA網(wǎng)絡”。
所有 InfiniBand 網(wǎng)絡都必須運行子網(wǎng)管理器才能正常工作。即使兩臺機器沒有使用交換機直接進行連接， 也是如此。有可能有一個以上的子網(wǎng)管理器。在那種情況下，當主子網(wǎng)管理器出現(xiàn)故障時，另外一個作為從網(wǎng)管理器 的系統(tǒng)會接管。大多數(shù) InfiniBand 交換機都包含一個嵌入式子網(wǎng)管理器。
但是，如果您需要一個更新的子網(wǎng)管理器，需使用 Red Hat Enterprise Linux 提供的 OpenSM 子網(wǎng)管理器。配置細節(jié)，請參看“配置InfiniBand和RDMA網(wǎng)絡”。
默認情況下，InfiniBand 不使用 IP 進行通信。但是，IP over InfiniBand(IPoIB)在 InfiniBand 遠程直接訪問 (RDMA)網(wǎng)絡之上提供一個 IP 網(wǎng)絡模擬層。這允許現(xiàn)有未經(jīng)修改的應用程序通過 InfiniBand 網(wǎng)絡傳輸數(shù) 據(jù)，但性能低于應用程序原生使用 RDMA 時的數(shù)據(jù)。
互聯(lián)網(wǎng)廣域 RDMA 協(xié)議(iWARP)和 RoCE 網(wǎng)絡已基于 IP。因此，您不能在 IWARP 或 RoCE 設備之上創(chuàng)建 IPoIB 設備。Mellanox 設備從 ConnectX-4 及更高版本開始，默認使用 Enhanced IPoIB 模式（僅限數(shù) 據(jù)報）。這些設備不支持連接的模式。
IPOIB通訊模式，在 Datagram 或 Connected 模式下配置 IPoIB 設備。不同之處在，IPoIB 層試圖使用什么類型的 隊列對在通信的另一端的機器中打開：
在 Datagram 模式中，系統(tǒng)打開了一個不可靠、斷開連接的隊列對。這個模式不支持大于 InfiniBand link-layer 的最大傳輸單元(MTU)的軟件包。IPoIB 層在傳輸的 IP 數(shù)據(jù)包之上添加了一個 4 字節(jié) IPoIB 標頭。因此，IPoIB MTU 需要比 InfiniBand link-layer MTU 小 4 字節(jié)。因為 2048 是一個常見的 InfiniBand 鏈路層 MTU，數(shù)據(jù)數(shù) 報 模式中常見的 IPoIB 設備 MTU 是 2044。?
在 Connected 模式中，系統(tǒng)會打開一個可靠、連接的隊列對。此模式允許大于 InfiniBand 鏈路層 MTU 的消息，主機適配器處理數(shù)據(jù)包分段和重新傳輸。因 此，InfiniBand 適配器以 Connected 模式發(fā)送的 IPoIB 信息大小沒有限制。但是，IP 數(shù)據(jù)包會受 size 字段和 TCP/IP 標頭的限制。因此，Connected 模式中的 IPoIB MTU 最大為 65520 字節(jié)。
連接 模式模 的性能更高，但消耗的內核內存更多。?
如果系統(tǒng)被配置為使用 Connected 模式，它仍然會以 Datagram 模式發(fā)送多播流量，因為 InfiniBand 交 換機和光纖無法在 Connected 模式下傳遞多播流量。另外，當與任何未在 Connected 模式中配置的主 機通信時，系統(tǒng)將返回 Datagram 模式。
在運行將多播數(shù)據(jù)發(fā)送到接口上最大 MTU 的應用程序時，您必須將接口配置為 Datagram 模式，或者將 應用程序配置為以數(shù)據(jù)包大小數(shù)據(jù)包的大小封頂數(shù)據(jù)包發(fā)送的大小。配置細節(jié)，請參看“配置InfiniBand和RDMA網(wǎng)絡”。
下載鏈接：
來源：全棧云技術架構
???????????????? ?END ?????????????????
轉載申明：轉載本號文章請注明作者和來源，本號發(fā)布文章若存在版權等問題，請留言聯(lián)系處理，謝謝。
推薦閱讀
更多架構相關技術總結請參考“架構師全店鋪技術資料打包”相關電子書(37本技術資料打包匯總詳情可通過“閱讀原文”獲取)。
內容持續(xù)更新，現(xiàn)下單“全店鋪技術資料打包(全)”，后續(xù)可享全店更新“免費”贈閱，價格僅收198元(原總價350元)。
溫馨提示：
掃描二維碼關注公眾號，點擊閱讀原文鏈接獲取“IT技術全店資料打包匯總(全)”電子書資料詳情。
