什么是GPU多實(shí)例(MIG) ？

導(dǎo)讀：AMD收購Xilinx(點(diǎn)擊閱讀)，Intel、AMD和Nvidia三家脫穎而出，F(xiàn)PGA芯片行業(yè)完成新一輪清洗，Nvidia在協(xié)處理器芯片行業(yè)內(nèi)功深厚，三足鼎立之勢已經(jīng)形成。

隨著 GPU 的應(yīng)用越來越廣泛，應(yīng)用場景愈發(fā)多元，對 GPU 的利用率的要求也不斷提升，傳統(tǒng)虛擬化方法之下，GPU 計算資源的浪費(fèi)對計算效率造成的的影響日漸凸顯，提升算力以外，破解資源浪費(fèi)難題也已迫在眉睫。

多實(shí)例GPU（MIG）就這樣應(yīng)運(yùn)而生......

多實(shí)例 GPU (MIG) 可提升每個 NVIDIA A100 Tensor 核心 GPU 的性能和價值。MIG 可將 A100 GPU 劃分為多達(dá)七個實(shí)例，每個實(shí)例均與各自的高帶寬顯存、緩存和計算核心完全隔離。現(xiàn)在，管理員可以支持從大到小的各項工作負(fù)載，為每項工作提供規(guī)模適當(dāng)?shù)?GPU，而且服務(wù)質(zhì)量 (QoS) 穩(wěn)定可靠，從而優(yōu)化利用率，讓每位用戶都能享用加速計算資源。

若不使用 MIG，則同一 GPU 上運(yùn)行的不同工作（例如不同的 AI 推理請求）會爭用相同的資源（例如顯存帶寬）。顯存帶寬更大的工作會占用其他工作的資源，導(dǎo)致多項工作無法達(dá)成延遲目標(biāo)。借助 MIG，工作可同時在不同的實(shí)例上運(yùn)行，每個實(shí)例都有專用的計算、顯存和顯存帶寬資源，從而實(shí)現(xiàn)可預(yù)測的性能，同時符合服務(wù)質(zhì)量并盡可能提升 GPU 利用率。

利用多實(shí)例 GPU 大幅提升性能和利用率，觀看視頻：

一個 NVIDIA A100 GPU 可劃分成不同大小的 MIG 實(shí)例。例如，管理員可以創(chuàng)建兩個各有 20 千兆字節(jié) (GB) 內(nèi)存的實(shí)例、三個各有 10 GB 內(nèi)存的實(shí)例、七個各有 5 GB 內(nèi)存的實(shí)例或者它們的組合。因此，系統(tǒng)管理員可以根據(jù)不同類型的工作負(fù)載為用戶提供適當(dāng)規(guī)模的 GPU 資源。

管理員還可以動態(tài)地重新配置 MIG 實(shí)例，從而能根據(jù)不斷變化的用戶和業(yè)務(wù)需求調(diào)整 GPU 資源。例如，白天可以使用七個 MIG 實(shí)例進(jìn)行低吞吐量推理，而夜間可以重新配置為一個大型 MIG 實(shí)例，以進(jìn)行深度學(xué)習(xí)訓(xùn)練。

每個 MIG 實(shí)例都有一套專用于計算、內(nèi)存和緩存的硬件資源，從而能為工作負(fù)載提供穩(wěn)定可靠的服務(wù)質(zhì)量 (QoS) 和有效的故障隔離。這樣一來，如果某個實(shí)例上運(yùn)行的應(yīng)用程序發(fā)生故障，并不會影響其他實(shí)例上運(yùn)行的應(yīng)用程序。而且，不同的實(shí)例可以運(yùn)行不同類型的工作負(fù)載，包括交互式模型開發(fā)、深度學(xué)習(xí)訓(xùn)練、AI 推理或高性能計算應(yīng)用程序等。由于這些實(shí)例并行運(yùn)行，因此工作負(fù)載也在同一個物理 A100 GPU 上同時運(yùn)行，但它們彼此相互獨(dú)立、隔離。

MIG 非常適合 AI 模型開發(fā)和低延遲推理等工作負(fù)載。這些工作負(fù)載可以充分利用 A100 的功能，并且很適合在每個實(shí)例的已分配內(nèi)存中運(yùn)行。

每個 MIG 實(shí)例對于應(yīng)用程序都像獨(dú)立 GPU 一樣運(yùn)行，因此 CUDA? 編程模式?jīng)]有變化。容器（例如來自 NGC? 的容器）中的 AI 模型和高性能計算應(yīng)用程序可以通過 NVIDIA Container Runtime 直接在 MIG 實(shí)例上運(yùn)行。MIG 實(shí)例作為附加的 GPU 資源出現(xiàn)在 Kubernetes 等容器編排工具中，這些工具可以安排容器化工作負(fù)載在特定 GPU 實(shí)例內(nèi)運(yùn)行。這項功能很快便可通過 適用于 Kubernetes 的 NVIDIA 設(shè)備插件提供

組織可以通過 NVIDIA Virtual Compute Server (vCS) 在 MIG GPU 實(shí)例上利用基于服務(wù)器虛擬化平臺的服務(wù)器虛擬化在管理、監(jiān)控和操作方面帶來的優(yōu)勢，包括實(shí)時遷移和多租戶。

來源：麗臺科技

相關(guān)閱讀：