GPU能否在新計算機架構(gòu)時代繼續(xù)保持輝煌？
導讀：在本文中，呂堅平博士從特定領域架構(gòu)、GPU硬件/軟件界面、通用計算資源池化、GPU中的3D張量加速度以及3D/AI融合等多個方面進行了系統(tǒng)的分析和闡述。推薦給大家。
2018年6月4日，John Hennessy 和 David Patterson以2017年圖靈獎（被譽為“計算機界的諾貝爾獎”）的獲得者身份發(fā)表了演講《計算機架構(gòu)新的黃金時代》。講座有三個關鍵見解：
1、軟件的進步將激發(fā)架構(gòu)的創(chuàng)新。
2、硬件/軟件界面的進化為架構(gòu)創(chuàng)新創(chuàng)造了機會。
3、關于架構(gòu)的爭論最終將由市場需求解決。
我想再補充第四點，補全這個閉環(huán)：在競爭中的首選架構(gòu)將促進后續(xù)的軟件進化。
?
在Hennessy/Patterson演講之后，我們發(fā)現(xiàn)市場幾乎已經(jīng)在AI 領域中實現(xiàn)了第三條見解 #3（關于架構(gòu)的爭論最終將由市場需求解決），并將圖形處理單元(GPU)選為推動人工智能革命的“獲勝”架構(gòu)。在本文中，我將探討AI革命是如何激發(fā)架構(gòu)創(chuàng)新和重塑GPU的，我希望本文能夠回答這個重要問題：GPU能否在計算機架構(gòu)新的黃金時代繼續(xù)保持輝煌？
01?特定領域架構(gòu)
Henessy和Patterson提出了特定領域架構(gòu)（DSA）的概念，旨在為計算機架構(gòu)帶來創(chuàng)新并努力邁向新的黃金時代。顧名思義，GPU是用于3D圖形領域的 DSA。它的目標是在3D虛擬世界中渲染照片般逼真的圖像；然而，幾乎所有人工智能研究人員都使用 GPU 來探索超越3D 圖形領域的概念，并在人工智能的“軟件”，也就是神經(jīng)網(wǎng)絡架構(gòu)方面取得了一系列的突破。GPU 在3D世界仍然是不可或缺的，它已成為人工智能世界的“CPU”，因為它促進了 AI 的軟件創(chuàng)新。除了3D用途之外，GPU 架構(gòu)師一直在努力將 GPU 的計算資源用于非3D用途。我們將這種設計理念稱為通用 GPU，即GPGPU。
?
如今，我們看到越來越多的AI DSA取代GPGPU，試圖用更好的性能來取代GPU。甚至GPU本身也在它的雙重人格(即AI DSA和3D DSA)之間掙扎。原因是AI DSA需要加速張量運算，這在 AI 中是很常見的運算，但在 3D 世界中不是。與此同時，3D固定功能硬件對于AI來說似乎是多余的。
?
因此，關于架構(gòu)爭論的主要方向應集中在以下幾個方面：
1、GPU 能否穩(wěn)坐“AI世界CPU”的寶座？
2、GPU 是否會分成兩種 DSA，一種用于AI，另一種用于3D？
?
我的預測如下：
1、GPU硬件/軟件界面將繼續(xù)使GPU成為“AI世界的CPU”。
2、基于 AI 的渲染會讓張量加速成為GPU中的主流。
3、虛擬世界和現(xiàn)實世界互相映射的數(shù)字孿生理念將主導市場，最終解決架構(gòu)爭論。
02?GPU硬件/軟件界面
我們可以將GPU在3D領域中的主導地位和在 AI 世界中取得的巨大成功歸功于它的硬件 / 軟件界面，GPU和3D圖形軟件架構(gòu)師正努力采用這種界面。這種界面是解決以下悖論的關鍵。雖然 GPU 社區(qū)在繼續(xù)優(yōu)化 GPU 的通用性，但業(yè)界的其他人已轉(zhuǎn)向更專業(yè)的硬件，以應對摩爾定律消退的困境。
?
GPU線程（圖片來源：本文作者）
?
2.1?雙層可編程性
理論上講，GPU是處理階段的長線程。不同類型的工作項在通過線程時被處理。在早期，每個處理階段都是一個固定的功能塊。程序員對GPU的唯一控制就是調(diào)整每個區(qū)間的參數(shù)。如今，GPU硬件/軟件界面讓程序員可以自由地處理每個工作項目，無論是頂點還是像素。沒有必要在每個頂點或像素回圈中處理回圈頭，因為GPU架構(gòu)師在一個固定的函數(shù)中實現(xiàn)了它。這種架構(gòu)選擇讓程序員有責任關注他們自己的回圈體，或“著色器”，這通常以工作項目的類型命名，如處理頂點的“頂點著色器”和處理像素的“像素著色器”。
?
現(xiàn)代游戲如何使用這種線性線程制作出令人驚嘆的畫面？除了通過線程一次控制不同類型的著色器，程序員可以逐步通過線程多次產(chǎn)生中間圖像，最終產(chǎn)生在熒幕上看到的最終圖像。程序員有效地創(chuàng)建一個計算圖，描述中間圖像之間的關系。圖中的每個節(jié)點表示GPU線程的一次通過。
?
2.2 通用計算資源集成池
一個集成的通用計算資源池在處理階段之間共享，完成繁重的工作。這種方案的最初動機是負載平衡;在不同的使用場景中，各個處理階段的工作負載可能有很大的變化。計算資源，被稱為著色器核心逐漸變得更具通用性，以實現(xiàn)靈活性和產(chǎn)品差異化。GPU架構(gòu)師嘗試將中央著色器池提供給非3D應用程序，如GPGPU。這種設計方案使GPU在兼職工作時也能在運行人工智能任務方面取得突破。
?
2.3?均衡的專業(yè)能力
GPU架構(gòu)師通過在不改變硬件/軟件界面的情況下添加協(xié)同處理單元，定期“加速”或“特殊優(yōu)化”著色器池。紋理單元就是這樣一個協(xié)處理單元，在紋理貼圖中的紋理元素被提取并過濾到著色器池中。特殊函數(shù)單元（SFU）是負責執(zhí)行超越數(shù)學函數(shù)的另一種協(xié)處理單元，處理對數(shù)、平方根倒數(shù)等函數(shù)。雖然這聽起來很像CPU中的超標量設計，但它們有一個顯著區(qū)別：GPU 架構(gòu)師根據(jù)著色器程序使用協(xié)處理單元的“平均”頻率來分配協(xié)處理單元的吞吐量。例如，我們可以為紋理單元提供著色器池吞吐量的八分之一，因為我們假設紋理操作出現(xiàn)在基準測試或游戲中的時間平均為八分之一。當協(xié)處理單元處于繁忙狀態(tài)時，GPU會切換任務以讓自己的資源被充分利用。
03?3D張量加速度
在前文中，我指出了GPU在3D用途中難以利用張量加速。讓我們看看如果我們改變GPU 渲染典型游戲幀的方式，這種狀況能否改變。GPU首先生成并存儲所有必要的信息，以便為每個像素在G-buffer中著色。從 G-buffer中，我們會計算如何點亮一個像素,緊隨其后的是幾個處理步驟，包括：
?
1.去除鋸齒邊緣（抗鋸齒（AA））
2.將低分辨率圖像升級為高辨率圖像（超分辨率（SR））
3.將整幀畫面添加一些特定視覺效果，例如環(huán)境光遮蔽、運動模糊、布隆過濾器或景深等。
?
我們稱這種渲染方案為延遲著色，因為對像素的著色是“延遲”的，直到每個像素都獲得所需的信息后才開始。我們將光照之后的處理步驟稱為后處理。今天，后處理消耗了大約 90% 的渲染時間，這意味著 GPU 的熒幕時間主要用在2D而非3D上！
?
NVIDIA已經(jīng)為AA和SR演示了基于AI的DLSS 2.0，它聲稱可以生成比沒有DLSS 2.0的原生渲染更好看的圖像。此外，NVIDIA 還為光線追蹤提供了基于 AI 的蒙特卡羅去噪算法，這樣我們就可以使用很少的光線來實現(xiàn)原本需要更多光線才能做到的畫面質(zhì)量。另外，AI技術為其他許多后處理類型提供了一類新的解決方案，例如用于環(huán)境遮蔽的NNAO 和用于景深的 DeepLens。
?
如果基于AI的后處理成為主流，張量加速將成為GPU在3D用途上的支柱。GPU 分化為 3D DSA和AI DSA的可能性也會下降。
04?3D/AI融合
為了解決架構(gòu)爭論，我們需解決最后一個難題：我們最后是否應該移除3D渲染中的固定功能硬件，尤其是在用于 AI 用途時這樣做？請注意，通過GPGPU, GPU可以作為純“軟件”來進行3D渲染，而不需要使用任何固定的功能硬件。
?
嚴格意義上講，在給定場景參數(shù)的情況下，3D渲染模擬了光子如何從光源穿越空間傳輸?shù)?D虛擬世界中與物體交互。GPU的傳統(tǒng)3D渲染過程是這個過程的一個非常粗略的近似。因此，微軟將光線追蹤宣傳為“未來的完整3D效果”時表示，“[基于傳統(tǒng)光柵化的]3D圖形是一個謊言”。然而，3D 渲染純粹主義者可能仍然不會接受光線追蹤技術，因為在光線追蹤過程中，我們是將光線從像素向后追蹤到 3D 虛擬世界來實現(xiàn) 3D 渲染的，這也是不真實的。
?
這兩種方法都是基于模擬的3D渲染的近似方案。在兩種方案下，我們都會將 3D 虛擬世界的建模，或者說內(nèi)容創(chuàng)建與渲染分離開來。在第一種方案下，對 3D 虛擬世界建模需要工程師和藝術家進行大量艱苦而富有創(chuàng)造性的工作，以描述每個對象及其與光線交互的物理屬性。在第二種方案下，通過渲染做到完全真實是不可能的，因為我們需要徹底簡化3D渲染以在資源預算內(nèi)滿足多個性能目標。
?
相比使用最著名的科學知識和數(shù)學理論為給定問題尋找解決方案，人工智能方法是從數(shù)據(jù)中“學習”計算模型，或者說神經(jīng)網(wǎng)絡。我們通過反復試驗迭代地調(diào)整網(wǎng)絡參數(shù)。我們通過先前的參數(shù)估計向前運行網(wǎng)絡并測量不匹配或“損失”。然后根據(jù)其梯度調(diào)整參數(shù)以減少損失，有效地引導損失景觀向與梯度相反的方向移動。這種機制稱為反向傳播，要求沿著前向路徑的所有計算都是可微的，以參與計算梯度。
?
神經(jīng)渲染是一個新興的人工智能研究領域，它使用上述方法來研究3D渲染。下面是我用來跟蹤神經(jīng)渲染進展的思維導圖：
??
這個 3D 虛擬世界模型被隱含地表示為神經(jīng)網(wǎng)絡參數(shù)（參見 NeRF、GRAF、GIRAFFE），這些參數(shù)是我們通過比較真實世界的圖像和我們從虛擬世界渲染的圖像來推斷的。然后我們反向傳播比較梯度來調(diào)整神經(jīng)網(wǎng)絡參數(shù)?；蛘?，我們可以從數(shù)據(jù)中學習顯式 3D 網(wǎng)格（參見 DeepMarching Cube，GAN2Shape）。實際上，對 3D 虛擬世界建模與學習神經(jīng)網(wǎng)絡參數(shù)是一回事。這個過程要求我們在前向路徑中包含一個 3D 渲染線程，并在緊密的回圈中集成3D虛擬世界的建模和渲染。通過對真實世界圖像的迭代渲染和測試，我們獲得了可用于渲染虛擬世界新視圖的所需模型和場景參數(shù)。
?
在這個框架內(nèi)，我們可以選擇不調(diào)整每個參數(shù)的整體，例如，保持物體的形狀不變但估計其位置（參見 iNeRF）。這樣，我們可以高效地嘗試識別和定位問題中的對象，而不是對其建模。建模和識別任務之間不再存在區(qū)別。相反，問題在于我們想要“學習”或“估計”哪些場景參數(shù)。
05?結(jié)論
因此，在人工智能解決問題的范式下，3D渲染的目標不僅是生成 3D 虛擬世界的逼真圖像，還可以根據(jù)現(xiàn)實世界來構(gòu)建虛擬世界。此外，新框架通過以下方式重新定義了 3D 和 AI：
?
1、3D 渲染成為 AI 訓練回圈中必不可少的操作
2、訓練，或“梯度下降”，過去只出現(xiàn)在云端神經(jīng)網(wǎng)絡訓練過程，現(xiàn)在則是推理的一部分。
3、真實渲染的真實感不僅是為了保持真實世界和虛擬世界之間的一致性，也是為了讓自己看起來很棒。
?
數(shù)字孿生理念要求將龐大且不斷變化的現(xiàn)實世界帶到其尚未開發(fā)的孿生虛擬世界中，并保持孿生之間的一致性。通過神經(jīng)渲染獲得的虛擬對象需要與通過經(jīng)典方法構(gòu)建的虛擬對象共存。因此，我相信神經(jīng)渲染和傳統(tǒng)渲染將利用其成熟和高性能的3D線程在GPU上融合。數(shù)字孿生的需求將落在未來GPU的肩上。我們還需要在 GPU 端做很多工作來實現(xiàn)“可微”，以參與 AI 訓練回圈的梯度計算。
?
假設 GPU 因回應 3D 世界中的 AI 進展而獲得原生可微和張量加速能力，我預計 GPU 的“雙重人格”將化為一體。
?
最終，GPU 會衛(wèi)冕其首選架構(gòu)的寶座，以促進 AI 軟件的進一步發(fā)展，并最終成為計算機架構(gòu)新的黃金時代的明星。
《GPU高性能計算概述》?
《GPU深度學習基礎介紹》?
《OpenACC基本介紹》?
《CUDA CC?編程介紹》?
《CUDA Fortr基本介紹》
2021年信創(chuàng)產(chǎn)業(yè)發(fā)展報告
信創(chuàng)產(chǎn)業(yè)系列專題（總篇）
中國信創(chuàng)產(chǎn)業(yè)發(fā)展白皮書（2021）
中國數(shù)據(jù)處理器行業(yè)概覽（2021）
本號資料全部上傳至知識星球，更多內(nèi)容請登錄智能計算芯知識（知識星球）星球下載全部資料。
免責申明：本號聚焦相關技術分享，內(nèi)容觀點不代表本號立場，可追溯內(nèi)容均注明來源，發(fā)布文章若存在版權等問題，請留言聯(lián)系刪除，謝謝。
電子書<服務器基礎知識全解(終極版)>更新完畢，知識點深度講解，提供182頁完整版下載。
獲取方式：點擊“閱讀原文”即可查看PPT可編輯版本和PDF閱讀版本詳情。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關注公眾號實時掌握深度技術分享，點擊“閱讀原文”獲取更多原創(chuàng)技術干貨。
