在新計(jì)算架構(gòu)時(shí)代，GPU能否繼續(xù)保持輝煌？

2018年6月4日，John Hennessy 和 David Patterson以2017年圖靈獎(jiǎng)（被譽(yù)為“計(jì)算機(jī)界的諾貝爾獎(jiǎng)”）的獲得者身份發(fā)表了演講《計(jì)算機(jī)架構(gòu)新的黃金時(shí)代》。講座有三個(gè)關(guān)鍵見(jiàn)解：

1、軟件的進(jìn)步將激發(fā)架構(gòu)的創(chuàng)新。

2、硬件/軟件界面的進(jìn)化為架構(gòu)創(chuàng)新創(chuàng)造了機(jī)會(huì)。

3、關(guān)于架構(gòu)的爭(zhēng)論最終將由市場(chǎng)需求解決。

我想再補(bǔ)充第四點(diǎn)，補(bǔ)全這個(gè)閉環(huán)：在競(jìng)爭(zhēng)中的首選架構(gòu)將促進(jìn)后續(xù)的軟件進(jìn)化。

?

在Hennessy/Patterson演講之后，我們發(fā)現(xiàn)市場(chǎng)幾乎已經(jīng)在AI 領(lǐng)域中實(shí)現(xiàn)了第三條見(jiàn)解 #3（關(guān)于架構(gòu)的爭(zhēng)論最終將由市場(chǎng)需求解決），并將圖形處理單元(GPU)選為推動(dòng)人工智能革命的“獲勝”架構(gòu)。在本文中，我將探討AI革命是如何激發(fā)架構(gòu)創(chuàng)新和重塑GPU的，我希望本文能夠回答這個(gè)重要問(wèn)題：GPU能否在計(jì)算機(jī)架構(gòu)新的黃金時(shí)代繼續(xù)保持輝煌？

Henessy和Patterson提出了特定領(lǐng)域架構(gòu)（DSA）的概念，旨在為計(jì)算機(jī)架構(gòu)帶來(lái)創(chuàng)新并努力邁向新的黃金時(shí)代。顧名思義，GPU是用于3D圖形領(lǐng)域的 DSA。它的目標(biāo)是在3D虛擬世界中渲染照片般逼真的圖像；然而，幾乎所有人工智能研究人員都使用 GPU 來(lái)探索超越3D 圖形領(lǐng)域的概念，并在人工智能的“軟件”，也就是神經(jīng)網(wǎng)絡(luò)架構(gòu)方面取得了一系列的突破。GPU 在3D世界仍然是不可或缺的，它已成為人工智能世界的“CPU”，因?yàn)樗龠M(jìn)了 AI 的軟件創(chuàng)新。除了3D用途之外，GPU 架構(gòu)師一直在努力將 GPU 的計(jì)算資源用于非3D用途。我們將這種設(shè)計(jì)理念稱為通用 GPU，即GPGPU。

?

如今，我們看到越來(lái)越多的AI DSA取代GPGPU，試圖用更好的性能來(lái)取代GPU。甚至GPU本身也在它的雙重人格(即AI DSA和3D DSA)之間掙扎。原因是AI DSA需要加速?gòu)埩窟\(yùn)算，這在 AI 中是很常見(jiàn)的運(yùn)算，但在 3D 世界中不是。與此同時(shí)，3D固定功能硬件對(duì)于AI來(lái)說(shuō)似乎是多余的。

?

因此，關(guān)于架構(gòu)爭(zhēng)論的主要方向應(yīng)集中在以下幾個(gè)方面：

1、GPU 能否穩(wěn)坐“AI世界CPU”的寶座？

2、GPU 是否會(huì)分成兩種 DSA，一種用于AI，另一種用于3D？

?

我的預(yù)測(cè)如下：

1、GPU硬件/軟件界面將繼續(xù)使GPU成為“AI世界的CPU”。

2、基于 AI 的渲染會(huì)讓張量加速成為GPU中的主流。

3、虛擬世界和現(xiàn)實(shí)世界互相映射的數(shù)字孿生理念將主導(dǎo)市場(chǎng)，最終解決架構(gòu)爭(zhēng)論。

我們可以將GPU在3D領(lǐng)域中的主導(dǎo)地位和在 AI 世界中取得的巨大成功歸功于它的硬件 / 軟件界面，GPU和3D圖形軟件架構(gòu)師正努力采用這種界面。這種界面是解決以下悖論的關(guān)鍵。雖然 GPU 社區(qū)在繼續(xù)優(yōu)化 GPU 的通用性，但業(yè)界的其他人已轉(zhuǎn)向更專業(yè)的硬件，以應(yīng)對(duì)摩爾定律消退的困境。

?

GPU線程（圖片來(lái)源：本文作者）

?

2.1?雙層可編程性

理論上講，GPU是處理階段的長(zhǎng)線程。不同類型的工作項(xiàng)在通過(guò)線程時(shí)被處理。在早期，每個(gè)處理階段都是一個(gè)固定的功能塊。程序員對(duì)GPU的唯一控制就是調(diào)整每個(gè)區(qū)間的參數(shù)。如今，GPU硬件/軟件界面讓程序員可以自由地處理每個(gè)工作項(xiàng)目，無(wú)論是頂點(diǎn)還是像素。沒(méi)有必要在每個(gè)頂點(diǎn)或像素回圈中處理回圈頭，因?yàn)镚PU架構(gòu)師在一個(gè)固定的函數(shù)中實(shí)現(xiàn)了它。這種架構(gòu)選擇讓程序員有責(zé)任關(guān)注他們自己的回圈體，或“著色器”，這通常以工作項(xiàng)目的類型命名，如處理頂點(diǎn)的“頂點(diǎn)著色器”和處理像素的“像素著色器”。

?

現(xiàn)代游戲如何使用這種線性線程制作出令人驚嘆的畫面？除了通過(guò)線程一次控制不同類型的著色器，程序員可以逐步通過(guò)線程多次產(chǎn)生中間圖像，最終產(chǎn)生在熒幕上看到的最終圖像。程序員有效地創(chuàng)建一個(gè)計(jì)算圖，描述中間圖像之間的關(guān)系。圖中的每個(gè)節(jié)點(diǎn)表示GPU線程的一次通過(guò)。

?

2.2 通用計(jì)算資源集成池

一個(gè)集成的通用計(jì)算資源池在處理階段之間共享，完成繁重的工作。這種方案的最初動(dòng)機(jī)是負(fù)載平衡;在不同的使用場(chǎng)景中，各個(gè)處理階段的工作負(fù)載可能有很大的變化。計(jì)算資源，被稱為著色器核心逐漸變得更具通用性，以實(shí)現(xiàn)靈活性和產(chǎn)品差異化。GPU架構(gòu)師嘗試將中央著色器池提供給非3D應(yīng)用程序，如GPGPU。這種設(shè)計(jì)方案使GPU在兼職工作時(shí)也能在運(yùn)行人工智能任務(wù)方面取得突破。

?

2.3?均衡的專業(yè)能力

GPU架構(gòu)師通過(guò)在不改變硬件/軟件界面的情況下添加協(xié)同處理單元，定期“加速”或“特殊優(yōu)化”著色器池。紋理單元就是這樣一個(gè)協(xié)處理單元，在紋理貼圖中的紋理元素被提取并過(guò)濾到著色器池中。特殊函數(shù)單元（SFU）是負(fù)責(zé)執(zhí)行超越數(shù)學(xué)函數(shù)的另一種協(xié)處理單元，處理對(duì)數(shù)、平方根倒數(shù)等函數(shù)。雖然這聽(tīng)起來(lái)很像CPU中的超標(biāo)量設(shè)計(jì)，但它們有一個(gè)顯著區(qū)別：GPU 架構(gòu)師根據(jù)著色器程序使用協(xié)處理單元的“平均”頻率來(lái)分配協(xié)處理單元的吞吐量。例如，我們可以為紋理單元提供著色器池吞吐量的八分之一，因?yàn)槲覀兗僭O(shè)紋理操作出現(xiàn)在基準(zhǔn)測(cè)試或游戲中的時(shí)間平均為八分之一。當(dāng)協(xié)處理單元處于繁忙狀態(tài)時(shí)，GPU會(huì)切換任務(wù)以讓自己的資源被充分利用。

在前文中，我指出了GPU在3D用途中難以利用張量加速。讓我們看看如果我們改變GPU 渲染典型游戲幀的方式，這種狀況能否改變。GPU首先生成并存儲(chǔ)所有必要的信息，以便為每個(gè)像素在G-buffer中著色。從 G-buffer中，我們會(huì)計(jì)算如何點(diǎn)亮一個(gè)像素,緊隨其后的是幾個(gè)處理步驟，包括：

?

1.去除鋸齒邊緣（抗鋸齒（AA））

2.將低分辨率圖像升級(jí)為高辨率圖像（超分辨率（SR））

3.將整幀畫面添加一些特定視覺(jué)效果，例如環(huán)境光遮蔽、運(yùn)動(dòng)模糊、布隆過(guò)濾器或景深等。

?

我們稱這種渲染方案為延遲著色，因?yàn)閷?duì)像素的著色是“延遲”的，直到每個(gè)像素都獲得所需的信息后才開(kāi)始。我們將光照之后的處理步驟稱為后處理。今天，后處理消耗了大約 90% 的渲染時(shí)間，這意味著 GPU 的熒幕時(shí)間主要用在2D而非3D上！

?

NVIDIA已經(jīng)為AA和SR演示了基于AI的DLSS 2.0，它聲稱可以生成比沒(méi)有DLSS 2.0的原生渲染更好看的圖像。此外，NVIDIA 還為光線追蹤提供了基于 AI 的蒙特卡羅去噪算法，這樣我們就可以使用很少的光線來(lái)實(shí)現(xiàn)原本需要更多光線才能做到的畫面質(zhì)量。另外，AI技術(shù)為其他許多后處理類型提供了一類新的解決方案，例如用于環(huán)境遮蔽的NNAO 和用于景深的 DeepLens。

?

如果基于AI的后處理成為主流，張量加速將成為GPU在3D用途上的支柱。GPU 分化為 3D DSA和AI DSA的可能性也會(huì)下降。

為了解決架構(gòu)爭(zhēng)論，我們需解決最后一個(gè)難題：我們最后是否應(yīng)該移除3D渲染中的固定功能硬件，尤其是在用于 AI 用途時(shí)這樣做？請(qǐng)注意，通過(guò)GPGPU, GPU可以作為純“軟件”來(lái)進(jìn)行3D渲染，而不需要使用任何固定的功能硬件。

?

嚴(yán)格意義上講，在給定場(chǎng)景參數(shù)的情況下，3D渲染模擬了光子如何從光源穿越空間傳輸?shù)?D虛擬世界中與物體交互。GPU的傳統(tǒng)3D渲染過(guò)程是這個(gè)過(guò)程的一個(gè)非常粗略的近似。因此，微軟將光線追蹤宣傳為“未來(lái)的完整3D效果”時(shí)表示，“[基于傳統(tǒng)光柵化的]3D圖形是一個(gè)謊言”。然而，3D 渲染純粹主義者可能仍然不會(huì)接受光線追蹤技術(shù)，因?yàn)樵诠饩€追蹤過(guò)程中，我們是將光線從像素向后追蹤到 3D 虛擬世界來(lái)實(shí)現(xiàn) 3D 渲染的，這也是不真實(shí)的。

?

這兩種方法都是基于模擬的3D渲染的近似方案。在兩種方案下，我們都會(huì)將 3D 虛擬世界的建模，或者說(shuō)內(nèi)容創(chuàng)建與渲染分離開(kāi)來(lái)。在第一種方案下，對(duì) 3D 虛擬世界建模需要工程師和藝術(shù)家進(jìn)行大量艱苦而富有創(chuàng)造性的工作，以描述每個(gè)對(duì)象及其與光線交互的物理屬性。在第二種方案下，通過(guò)渲染做到完全真實(shí)是不可能的，因?yàn)槲覀冃枰獜氐缀?jiǎn)化3D渲染以在資源預(yù)算內(nèi)滿足多個(gè)性能目標(biāo)。

?

相比使用最著名的科學(xué)知識(shí)和數(shù)學(xué)理論為給定問(wèn)題尋找解決方案，人工智能方法是從數(shù)據(jù)中“學(xué)習(xí)”計(jì)算模型，或者說(shuō)神經(jīng)網(wǎng)絡(luò)。我們通過(guò)反復(fù)試驗(yàn)迭代地調(diào)整網(wǎng)絡(luò)參數(shù)。我們通過(guò)先前的參數(shù)估計(jì)向前運(yùn)行網(wǎng)絡(luò)并測(cè)量不匹配或“損失”。然后根據(jù)其梯度調(diào)整參數(shù)以減少損失，有效地引導(dǎo)損失景觀向與梯度相反的方向移動(dòng)。這種機(jī)制稱為反向傳播，要求沿著前向路徑的所有計(jì)算都是可微的，以參與計(jì)算梯度。

?

神經(jīng)渲染是一個(gè)新興的人工智能研究領(lǐng)域，它使用上述方法來(lái)研究3D渲染。下面是我用來(lái)跟蹤神經(jīng)渲染進(jìn)展的思維導(dǎo)圖：

??

這個(gè) 3D 虛擬世界模型被隱含地表示為神經(jīng)網(wǎng)絡(luò)參數(shù)（參見(jiàn) NeRF、GRAF、GIRAFFE），這些參數(shù)是我們通過(guò)比較真實(shí)世界的圖像和我們從虛擬世界渲染的圖像來(lái)推斷的。然后我們反向傳播比較梯度來(lái)調(diào)整神經(jīng)網(wǎng)絡(luò)參數(shù)?；蛘?，我們可以從數(shù)據(jù)中學(xué)習(xí)顯式 3D 網(wǎng)格（參見(jiàn) DeepMarching Cube，GAN2Shape）。實(shí)際上，對(duì) 3D 虛擬世界建模與學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)參數(shù)是一回事。這個(gè)過(guò)程要求我們?cè)谇跋蚵窂街邪粋€(gè) 3D 渲染線程，并在緊密的回圈中集成3D虛擬世界的建模和渲染。通過(guò)對(duì)真實(shí)世界圖像的迭代渲染和測(cè)試，我們獲得了可用于渲染虛擬世界新視圖的所需模型和場(chǎng)景參數(shù)。

?

在這個(gè)框架內(nèi)，我們可以選擇不調(diào)整每個(gè)參數(shù)的整體，例如，保持物體的形狀不變但估計(jì)其位置（參見(jiàn) iNeRF）。這樣，我們可以高效地嘗試識(shí)別和定位問(wèn)題中的對(duì)象，而不是對(duì)其建模。建模和識(shí)別任務(wù)之間不再存在區(qū)別。相反，問(wèn)題在于我們想要“學(xué)習(xí)”或“估計(jì)”哪些場(chǎng)景參數(shù)。

因此，在人工智能解決問(wèn)題的范式下，3D渲染的目標(biāo)不僅是生成 3D 虛擬世界的逼真圖像，還可以根據(jù)現(xiàn)實(shí)世界來(lái)構(gòu)建虛擬世界。此外，新框架通過(guò)以下方式重新定義了 3D 和 AI：

?

1、3D 渲染成為 AI 訓(xùn)練回圈中必不可少的操作

2、訓(xùn)練，或“梯度下降”，過(guò)去只出現(xiàn)在云端神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程，現(xiàn)在則是推理的一部分。

3、真實(shí)渲染的真實(shí)感不僅是為了保持真實(shí)世界和虛擬世界之間的一致性，也是為了讓自己看起來(lái)很棒。

?

數(shù)字孿生理念要求將龐大且不斷變化的現(xiàn)實(shí)世界帶到其尚未開(kāi)發(fā)的孿生虛擬世界中，并保持孿生之間的一致性。通過(guò)神經(jīng)渲染獲得的虛擬對(duì)象需要與通過(guò)經(jīng)典方法構(gòu)建的虛擬對(duì)象共存。因此，我相信神經(jīng)渲染和傳統(tǒng)渲染將利用其成熟和高性能的3D線程在GPU上融合。數(shù)字孿生的需求將落在未來(lái)GPU的肩上。我們還需要在 GPU 端做很多工作來(lái)實(shí)現(xiàn)“可微”，以參與 AI 訓(xùn)練回圈的梯度計(jì)算。

?

假設(shè) GPU 因回應(yīng) 3D 世界中的 AI 進(jìn)展而獲得原生可微和張量加速能力，我預(yù)計(jì) GPU 的“雙重人格”將化為一體。

?

最終，GPU 會(huì)衛(wèi)冕其首選架構(gòu)的寶座，以促進(jìn) AI 軟件的進(jìn)一步發(fā)展，并最終成為計(jì)算機(jī)架構(gòu)新的黃金時(shí)代的明星。

相關(guān)知識(shí)匯總：

GPU技術(shù)專題下載鏈接

《GPU高性能計(jì)算概述》?

《GPU深度學(xué)習(xí)基礎(chǔ)介紹》?

《OpenACC基本介紹》?

《CUDA CC?編程介紹》?

《CUDA Fortr基本介紹》

深度報(bào)告：GPU研究框架

CPU和GPU研究框架合集

2021年信創(chuàng)產(chǎn)業(yè)發(fā)展報(bào)告

2020信創(chuàng)發(fā)展研究報(bào)告

信創(chuàng)研究框架

信創(chuàng)產(chǎn)業(yè)系列專題（總篇）

2021年中國(guó)信創(chuàng)生態(tài)研究報(bào)告

中國(guó)信創(chuàng)產(chǎn)業(yè)發(fā)展白皮書（2021）

中國(guó)數(shù)據(jù)處理器行業(yè)概覽（2021）

DPU在數(shù)據(jù)中心和邊緣云上的應(yīng)用

英偉達(dá)DPU集數(shù)據(jù)中心于芯片

來(lái)源：智能計(jì)算芯世界

轉(zhuǎn)載申明：轉(zhuǎn)載本號(hào)文章請(qǐng)注明作者和來(lái)源，本號(hào)發(fā)布文章若存在版權(quán)等問(wèn)題，請(qǐng)留言聯(lián)系處理，謝謝。

推薦閱讀

更多架構(gòu)相關(guān)技術(shù)知識(shí)總結(jié)請(qǐng)參考“架構(gòu)師全店鋪技術(shù)資料打包”相關(guān)電子書(37本技術(shù)資料打包匯總詳情可通過(guò)“閱讀原文”獲取)。

全店內(nèi)容持續(xù)更新，現(xiàn)下單“全店鋪技術(shù)資料打包(全)”，后續(xù)可享全店內(nèi)容更新“免費(fèi)”贈(zèng)閱，價(jià)格僅收198元(原總價(jià)350元)。

溫馨提示：

掃描二維碼關(guān)注公眾號(hào)，點(diǎn)擊閱讀原文鏈接獲取“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書資料詳情。