亞馬遜最新Arm服務(wù)器芯片詳解
2022 年 5 月下旬，AWS 向公眾發(fā)布了 Graviton 3。Graviton 3 是第一個將 SVE 指令集引入可廣泛訪問的服務(wù)器 CPU 的 ARM CPU。
下載鏈接：
在 Graviton 3 全面上市之前，Neoverse N1 主導(dǎo)了 ARM 服務(wù)器領(lǐng)域。AWS 之前的旗艦產(chǎn)品 Graviton 2 在 2.5 GHz 下實(shí)現(xiàn)了 64 個 Neoverse N1 內(nèi)核。微軟的 Azure 和甲骨文的 OCI 都使用 Ampere Altra，它將 80 個 Neoverse N1 內(nèi)核放在網(wǎng)格上，并以 3 GHz 的頻率為它們提供時鐘。因此，我們將在 Graviton 3 和 Neoverse N1 之間進(jìn)行比較。我們將用 AMD 的 Zen 3 和英特爾的 Ice Lake SP (Sunny Cove) 的數(shù)據(jù)來補(bǔ)充這一點(diǎn)。截至 2022 年中期，這些是云環(huán)境中使用的最新廣泛部署的 x86 芯片，因此將成為 Graviton 3 最直接的競爭對手。
TheNextPlatform提出了一個令人信服的論點(diǎn)，即 Graviton 3 基于修改后的 Neoverse V1 核心。
分支預(yù)測：向前邁出的一大步
與 N1 相比，ARM 顯著改進(jìn)了分支預(yù)測器，并在速度和準(zhǔn)確性方面取得了長足的進(jìn)步。快速瀏覽一下 Graviton 3 的模式識別功能，可以清楚地看出它與 N1 完全不同。
在云市場，Graviton 3 的主要 x86 競爭對手將是英特爾的 Ice Lake SP 和 AMD 的 Zen 3 Milan。Zen 3 似乎使用了一個具有令人難以置信的能力但略慢的二級預(yù)測器，而 Ice Lake 采用與 Graviton 3 非常相似的方法。英特爾和 ARM 似乎都使用可以識別很長模式的單級預(yù)測器，盡管不是與 AMD 的程度相同。
當(dāng)有很多分支在起作用時，Ice Lake 比 Graviton 3 有一點(diǎn)優(yōu)勢。
Graviton 3 可以識別長達(dá) 16 長(long)的模式和 512 個分支，而 Ice Lake 可以在相同的分支數(shù)下處理兩倍長的模式。同樣，AMD 似乎擁有大量的分支歷史存儲，因?yàn)樗軌蛱幚矶噙_(dá) 96 個模式和 512 個分支。
Graviton 3 還具有令人印象深刻的快速 BTB（分支目標(biāo)緩沖區(qū)）設(shè)置，使其能夠以非常小的代價(jià)處理已提取的分支。微型 BTB 允許核心在每個周期處理兩個采用的分支，這是迄今為止我們僅在 Golden Cove 和 Rocket Lake 上看到的功能。但是 Graviton 3 的 micro-BTB 容量比那些 Intel CPU 上的容量要大。Golden Cove 只能跟蹤 32 個分支，每個周期處理兩個分支，而 Rocket Lake 可以處理八個。
ARM 還為 Graviton 3 配備了一個可能有 4K 條目的非常大的主 BTB，以及一個可能有多達(dá) 10K 條目的 L2 BTB。主 BTB 提供超過 Zen 3 的零冒泡分支能力。即使達(dá)到 L2 BTB 也不是很昂貴，每個分支只有一兩個pipeline 氣泡，有 10K 分支在運(yùn)行。到目前為止，我們只看到 Golden Cove 實(shí)施了更大的 BTB。
總而言之，Graviton 3 的分支預(yù)測器可與 Intel 和 AMD 的最佳預(yù)測器相媲美。每個 CPU 制造商做出不同的權(quán)衡，每個分支預(yù)測器都有其獨(dú)特的優(yōu)勢，但 Graviton 3 的預(yù)測器顯示了 ARM 與最好競爭對手競爭的決心。這與 Neoverse N1 中的平庸實(shí)現(xiàn)相去甚遠(yuǎn)，并且對于充分利用 Graviton 3 增加的重新排序能力應(yīng)該有很長的路要走。
前端：熟悉的模式，有技巧
Graviton 2 和 3 都具有四寬解碼器，但差異到此為止。在解碼器后面，ARM 實(shí)現(xiàn)了一個具有 3K 條目的大型微操作緩存。因此，Graviton 3 的前端與 Intel 和 AMD 的前端非常相似。
與 Neoverse N1 相比，Graviton 3 的解碼器功能要強(qiáng)大得多。它們能夠融合各種指令對。這包括 x86 風(fēng)格的跳轉(zhuǎn)融合，其中標(biāo)志設(shè)置指令和相鄰的條件跳轉(zhuǎn)可以融合到單個微操作中。Graviton 3 還實(shí)現(xiàn)了 CNS 式的 NOP 融合。成對的 NOP 可以融合到前端的單個微操作中。因?yàn)?Graviton 3 具有能夠緩存融合微操作的微操作緩存，所以每個周期將執(zhí)行 12 個 NOP。
Graviton 3 的 NOP 融合突破了基本的指令獲取帶寬測試，微操作緩存的結(jié)果很有趣但不切實(shí)際。
為了解決這個問題，我們用簡單地將寄存器設(shè)置為零的指令填充了測試數(shù)組。這些不能以與 NOP 相同的方式融合，但可以以每個周期 6 次通過重命名器并在那里被消除。
在取指令帶寬方面，Graviton 3 表現(xiàn)出與 Zen 3 相似的特點(diǎn)。兩者都有超大的 micro-op 緩存，都可以支持 6 個 IPC。除了 L2 之外，Zen 3 具有很大的優(yōu)勢，因?yàn)?AMD 的架構(gòu)優(yōu)先考慮 L3 性能，而不是試圖在芯片上創(chuàng)建單個統(tǒng)一緩存。與云場景中的前身 Neoverse N1 相比，Graviton 3 憑借其微操作緩存享有更高的指令帶寬。從 L1D 獲取帶寬似乎是相等的，因?yàn)閮煞N架構(gòu)（實(shí)際上是這個比較中的所有架構(gòu)）都使用 4 寬解碼器。但在緩存層次結(jié)構(gòu)的更下方，Graviton 3 享有更好的指令帶寬。
ARM 可能給 Graviton 3 提供了更深的獲取隊(duì)列，讓內(nèi)核使用其大型 BTB 來積極地預(yù)取指令。Graviton 3 出色的 L3 實(shí)現(xiàn)對此進(jìn)行了補(bǔ)充，與 Ampere Altra 和 Graviton 2 相比，它提供了更低的延遲。非常大的指令占用空間的獲取帶寬仍然無法與 Intel 的 Ice Lake SP 或 AMD 的 Milan 相比，但 ARM 肯定在進(jìn)步。
我們還看到各種消息來源表明 ，Neoverse V1 有一個 5 寬的指令解碼器。如果 Graviton 3 基于 V1，解碼器似乎已被縮減為 4 寬。一旦我們離開 3K 條目微操作緩存，即使測試循環(huán)適合 64 KB L1 指令緩存，我們每個周期也不會看到超過 4 條指令。當(dāng)從微操作緩存運(yùn)行時，相同的測試指令可以超過每周期 4 個吞吐量，這表明獲取和解碼帶寬吞吐量限制，而不是進(jìn)一步的流水線瓶頸。
Graviton 3 的Renamer：新興能力
Graviton 3 的renamer似乎是 6 寬，讓核心在整體寬度上與 Zen 3 相匹配。在renamer優(yōu)化方面，Graviton 3 對 Neoverse N1 進(jìn)行了改進(jìn)。但是作為 CPU 制造商很難，因?yàn)槟愕母偁帉κ忠部偸窃谶M(jìn)步。AMD 在 Zen 中引入了極其強(qiáng)大的移動消除功能，而英特爾在 Sunny Cove 中也做了同樣的事情。這兩個 x86 CPU 都可以以匹配重命名器寬度的速率消除寄存器到寄存器移動指令。
Graviton 3 無法做到這一點(diǎn)。MOV 顯然沒有被淘汰，因?yàn)橥掏铝克坪跏艿?ALU 端口數(shù)的限制。與 Neoverse N1 一樣，Graviton 3 有時可以打破寄存器到寄存器 MOV 之間的依賴關(guān)系，但在該領(lǐng)域的功能非常有限。
rename階段還可以打破依賴關(guān)系和/或消除將寄存器設(shè)置為零的指令，而不管其先前的值如何。據(jù)我們所知，只有將零移動到寄存器指令完全消除，并實(shí)現(xiàn)了等于renamer寬度的吞吐量。Graviton 3 在這方面比 Ice Lake 有優(yōu)勢，因?yàn)橛⑻貭柕膔enamer可以在檢測到歸零慣用語時打破依賴關(guān)系，但不能消除它們。
Zen 3 具有同等的能力——它可以識別常見的 x86 歸零慣用語并消除它們。
亂序結(jié)構(gòu)尺寸
我們?nèi)栽诿τ诓鸾?AWS 的新云 CPU。在這個預(yù)覽中，我們將展示一些原始測試結(jié)果和合理的解釋，因?yàn)榻Y(jié)果并不總是直截了當(dāng)?shù)摹?/span>
讓我們從重新排序緩沖區(qū)大小開始。這個結(jié)構(gòu)的大小對應(yīng)于 CPU 的執(zhí)行引擎可以跟蹤多少微操作。通常我們會用 NOP 進(jìn)行測試，但 Graviton 3 的 NOP 融合能力使結(jié)果解釋變得復(fù)雜。對 NOP 的測試表明，Graviton 3 的 ROB 有 512 個條目。但是 ROB 的實(shí)際容量可能是 256 個條目，如果每個條目都存儲一個代表兩個 NOP 的融合微操作。
因此，我們運(yùn)行了一個在整數(shù)和 FP 指令之間交替進(jìn)行的額外測試。該測試的重排序容量超過 256 個條目，這表明 Graviton 3 確實(shí)有 512 個 ROB 條目，并且融合的 NOP 在通過renamer后未融合。如果這個解釋是正確的，ARM 已經(jīng)給 Graviton 3 一個比 Zen 3 和 Ice Lake 更大的亂序窗口。
當(dāng)我們繼續(xù)逆向工程寄存器文件大小時，另一個情況出現(xiàn)了。Graviton 3 似乎有 125 個 256 位寬的向量寄存器，但可以使用單個向量寄存器來跟蹤兩個標(biāo)量 FP 寄存器。奇怪的是，它似乎無法使用單個 256 位 SVE 寄存器來跟蹤兩個 128 位 NEON 寄存器。
另一個奇怪的現(xiàn)象是，如果我們排除內(nèi)核對標(biāo)量浮點(diǎn)寄存器的巨大renaming能力，Graviton 3 的寄存器文件的大小更適合 256 條目的 ROB。
Graviton 3 的加載隊(duì)列容量也很突出。其他結(jié)構(gòu)尺寸仍然適中，大致與我們在 Zen 2 和 Zen 3 上看到的一致。
調(diào)度程序布局
試圖弄清楚調(diào)度程序的大小需要太多的測試
對分布式調(diào)度程序布局進(jìn)行逆向工程非常困難、耗時且容易出錯。這就是為什么這是一個預(yù)覽而不是一個適當(dāng)?shù)纳钊胙芯俊Ｎ覀儾粫y試大量指令類型和組合以得出一個最合理的調(diào)度程序布局，而是提供一些指令類型的近似測量調(diào)度程序容量。
Graviton 3 有很多調(diào)度程序條目可供常見操作使用。雖然我們?nèi)匀徊淮_定調(diào)度程序的確切布局，但很明顯，Graviton 3 比 Neoverse N1 有了很大的飛躍。乍一看，它似乎與 Zen 3 和 Ice Lake 大致相當(dāng)，至少在可用于常見操作的調(diào)度程序條目方面。
這是 Graviton 3 調(diào)度程序的一種合理布局：
執(zhí)行單位
Graviton 3 的執(zhí)行單元相當(dāng)強(qiáng)大，符合我們對高性能內(nèi)核的期望。與 Neoverse N1 的三個相比，有四個整數(shù) ALU，三個內(nèi)存pipeline( Neoverse N1 只有兩個)。Graviton 3 的浮點(diǎn)和向量執(zhí)行端得到了最大的升級，感覺就像是 Neoverse N1 的向量/FP 執(zhí)行資源加了一個大的統(tǒng)一調(diào)度器的兩倍。256 位 SVE 浮點(diǎn)加法和乘法每個時鐘最多可以執(zhí)行兩次，從而使 Graviton 3 的浮點(diǎn)吞吐量與支持 AVX 的 x86 內(nèi)核相當(dāng)。
Graviton 3 還繼承了 Neoverse N1 的向量和浮點(diǎn)執(zhí)行延遲，只是略微降低了整數(shù)乘法延遲。
循環(huán)中某些操作的延遲。無論向量寬度如何，延遲似乎都是相同的，盡管我們尚未測試 SVE FMA 案例
兩個周期浮點(diǎn)加法延遲非?？捎^，與英特爾的 Golden Cove 相匹配。當(dāng)然，這對于 ARM 來說要容易得多，因?yàn)?Graviton 3 運(yùn)行在非常低的時鐘上。FP 乘法延遲與其他服務(wù)器 CPU 的延遲大致相當(dāng)，并沒有什么特別突出的。向量整數(shù)執(zhí)行延遲也很好，如果比 Zen 3 高一點(diǎn)，并且可能高于 Graviton 3 的低時鐘速度。
就執(zhí)行吞吐量而言，Graviton 3 可能有 4 個 128 位向量/FP pipeline ，因?yàn)樗軌驗(yàn)槲覀儨y試的所有操作（FP 加法、FP 乘法、整數(shù)加法）在每個周期執(zhí)行一條以上的 SVE 指令。從理論上講，這將使 Graviton 3 為 NEON 和標(biāo)量 FP 操作實(shí)現(xiàn)令人印象深刻的吞吐量，但對于 NEON FP 加法/乘法和整數(shù)加法，我們無法超過每周期三條指令的吞吐量。這可以通過寄存器文件帶寬限制來解釋，即每個周期所需的輸入。
高速緩存和內(nèi)存訪問
潛伏
Graviton 3 保留了 4 個循環(huán)，64 KB L1D。但是，ARM 改進(jìn)了整個緩存層次結(jié)構(gòu)的延遲。L2 容量保持不變，而延遲下降了兩個周期。L3 延遲在 Ampere Altra 上非常糟糕，謝天謝地，Graviton 3 的延遲要好得多。
Graviton 2 和 Ampere Altra 使用相同的內(nèi)核和相同的 L2 實(shí)現(xiàn)。這兩種設(shè)計(jì)主要在 L3 中有所不同，其中 Graviton 2 實(shí)現(xiàn)的延遲稍小一些，這可能要?dú)w功于更小的網(wǎng)格。如果我們實(shí)時繪制延遲，Graviton 3 降低的周期計(jì)數(shù)在某種程度上被 Ampere Altra 的更高時鐘抵消了。
在內(nèi)存方面，與 Ampere Altra 和 Graviton 2 相比，Graviton 3 的延遲明顯下降。這可能是由于 DDR5 的延遲特性比 DDR4 更差。Graviton 3 還將內(nèi)存控制器放置在單獨(dú)的 IO 小芯片上。這可能會加劇 DDR5 的延遲問題。
Ice Lake 和 Graviton 3 采用大致并行的緩存策略。兩者都實(shí)現(xiàn)了芯片范圍內(nèi)的統(tǒng)一 L3。并且兩者都為它們的內(nèi)核提供了大型私有 L2 緩存，以使它們免受 L3 延遲的影響。AMD 采取了不同的方法，放棄了芯片級緩存，轉(zhuǎn)而為每個核心集群提供非?？斓?L3。
x86 競爭對手也使用多用途架構(gòu)。Sunny Cove（在 Ice Lake 中使用）和 Zen 3 在客戶端平臺中提供雙重任務(wù)，它們可以達(dá)到遠(yuǎn)遠(yuǎn)超過 4 GHz 的時鐘速度，以最大限度地提高線程受限的性能。這種設(shè)計(jì)特征也出現(xiàn)在云中，Milan的 Epyc 和 Ice Lake Xeons 的時鐘明顯高于 Graviton 3。因此，在查看實(shí)際時間而不是時鐘周期時，我們看到了巨大的差異。
Xeon 運(yùn)行在 3.5 GHz，而 Epyc 運(yùn)行在 3.23 GHz，基于寄存器到寄存器的附加延遲
Zen 3 和 Ice Lake 都有更小、更快的 L1 緩存。在 L2，模式重復(fù)。Ice Lake 較高的周期計(jì)數(shù)延遲完全被其較高的時鐘所逆轉(zhuǎn)，使其超越了 Graviton 3。英特爾和 ARM 的基于網(wǎng)格的 L3 大致相當(dāng)，具體取決于您在延遲圖中查看的位置。同樣，AMD 選擇了速度非?？斓姆墙y(tǒng)一 L3。
當(dāng)我們查看更大的測試規(guī)模時，DDR5 的延遲回歸再次出現(xiàn)。英特爾在單片芯片上使用 DDR4 控制器，為服務(wù)器芯片實(shí)現(xiàn)了極低的內(nèi)存延遲。AMD 的 Epyc 使用小芯片，因此是與 Graviton 3 的一個非常有趣的比較。盡管兩者都會產(chǎn)生跨小芯片的損失，但 AMD 的內(nèi)存訪問延遲比 Graviton 3 低大約 10 ns。我將這種差異歸結(jié)為 DDR5。
帶寬
在核心數(shù)量匹配的情況下，Graviton 3 的緩存提供了合理的性能，與 Ampere Altra 相比，提供了全面的帶寬改進(jìn)。如果 SVE 發(fā)揮作用，Graviton 3 的 L1 和 L2 緩存帶寬將比 Neoverse N1 高出不少。
借助廣泛支持的 NEON 指令，Ampere Altra 因其更高的時鐘而保持接近，但如果使用 SVE，Graviton 3 可能會失控
但與其 x86 競爭對手相比，它并沒有那么令人印象深刻。由于高時鐘和同樣寬的矢量寬度，Zen 3 的緩存遠(yuǎn)遠(yuǎn)領(lǐng)先于 Graviton。Ice Lake 以更高的時鐘頻率和兩倍的矢量寬度更進(jìn)一步，使其具有無與倫比的每核 L1D 帶寬。英特爾的服務(wù)器架構(gòu)還具有到 L2 的寬 64 字節(jié)/周期路徑。使用 256 位 SVE 加載指令可以稍微縮小差距，但無法繞過低時鐘。
DDR5 在我們的內(nèi)存延遲測試中表現(xiàn)不佳，但它的優(yōu)勢在帶寬測試中確實(shí)體現(xiàn)出來了。Graviton 3 的內(nèi)存帶寬領(lǐng)先于其 x86 競爭對手。
我們沒有太多關(guān)于整個服務(wù)器芯片的數(shù)據(jù)，主要是因?yàn)槲覀儾皇且粋€可以輕松獲得服務(wù)器東西的大型技術(shù)網(wǎng)站。但這是與我們擁有的數(shù)據(jù)的比較：
正如預(yù)期的那樣，Graviton 3 比 Neoverse N1 具有巨大的優(yōu)勢。與帶有 V-Cache 的 Epyc 相比，它在 L1、L2 和內(nèi)存帶寬方面領(lǐng)先。然而，AMD 巨大、快速的 L3 仍然使其在某些測試規(guī)模上處于領(lǐng)先地位。
最初的想法
SVE 支持
Graviton 3 之所以引人注目，是因?yàn)樗堑谝粋€支持 SVE 的通用 64 位 ARM 服務(wù)器 CPU。富士通的 A64FX 最先出現(xiàn)，但那是專為超級計(jì)算機(jī)設(shè)計(jì)的芯片，而非通用用途。我們還在一些最近發(fā)布的高端手機(jī)上看到了 SVE2 支持，但在其他服務(wù)器芯片上卻沒有。
在不久的將來，這可能是一個有限的優(yōu)勢。幾乎沒有支持 SVE 的軟件。GCC 將完全拒絕發(fā)出 SVE 指令（至少在我們有限的經(jīng)驗(yàn)中），即使您使用匯編，所以我們使用 Clang 來匯編我們的測試代碼。在接下來的幾年里，吸收可能會很緩慢。SVE 的市場滲透率遠(yuǎn)不及 AVX(2)，這讓 SVE 的情況讓人想起 2017 年 Skylake-X 面世時的 AVX-512。
所以 Graviton 3 將不得不等待幾年才能判斷 SVE 是否給它帶來了顯著的優(yōu)勢。但這也有問題。SVE2 已經(jīng)推出，如果軟件使用 SVE2 中不存在的指令，那么 Graviton 3 將被拋在后面。
對抗競爭
AWS 的 Graviton 3 使用比 Neoverse N1 更強(qiáng)大的核心架構(gòu)。N1 是當(dāng)前 ARM 服務(wù)器產(chǎn)品的中流砥柱，這意味著 Graviton 3 是云中性能最高、廣泛可用的 ARM CPU。在接下來的幾年里，它很可能會留在那個位置。
在 x86 的競爭中，Graviton 3 的單核性能可能比N1更接近 Zen 3 和 Ice Lake 。在分支預(yù)測、重新排序能力、執(zhí)行資源和內(nèi)核寬度方面，ARM 的 V1 微架構(gòu)（假設(shè)這是 Graviton 3 的基礎(chǔ)）與英特爾和 AMD 當(dāng)前的服務(wù)器產(chǎn)品處于同一水平。但我不指望 Graviton 3 能與 AMD 和 Intel 匹敵。Graviton 3 與其 x86 競爭對手之間存在巨大的時鐘速度差異，而且 V1 并不是更大更強(qiáng)大。
從亞馬遜的角度來看
該設(shè)計(jì)似乎非常狹隘地針對最大化云中的計(jì)算密度。為此，AWS 選擇了非常保守的核心時鐘。在 2.6 GHz 時，Graviton 3 的時鐘頻率僅比其前身 Graviton 2 高 100 MHz，而沒有增加每個芯片的核心數(shù)量。因此，Graviton 3 幾乎所有的性能優(yōu)勢都來自每時鐘性能的提升。
亞馬遜因此選擇使用臺積電最先進(jìn)的 5 納米工藝來降低功耗。臺積電的 7 nm 工藝已經(jīng)為低功耗設(shè)計(jì)創(chuàng)造了奇跡，而 5 nm 將進(jìn)一步發(fā)展。雖然 Graviton 3 的核心比 N1 更強(qiáng)大，但它遠(yuǎn)不如英特爾的 Golden Cove 雄心勃勃，仍應(yīng)被視為中等設(shè)計(jì)。這樣一個在 5 nm 上以 2.6 GHz 運(yùn)行的內(nèi)核絕對可以降低功耗。這反過來又讓 AWS 將其中三個芯片打包到一個節(jié)點(diǎn)中，從而提高了計(jì)算密度。最終的結(jié)果是一種芯片可以讓 AWS 以更低的價(jià)格銷售每個 Graviton 3 內(nèi)核，同時仍然比之前的 Graviton 2 芯片提供顯著的性能提升。
來源：半導(dǎo)體行業(yè)觀察
原文鏈接：
https://chipsandcheese.com/2022/05/29/graviton-3-first-impressions/
本號資料全部上傳至知識星球，更多內(nèi)容請登錄智能計(jì)算芯知識（知識星球）星球下載全部資料。
免責(zé)申明：本號聚焦相關(guān)技術(shù)分享，內(nèi)容觀點(diǎn)不代表本號立場，可追溯內(nèi)容均注明來源，發(fā)布文章若存在版權(quán)等問題，請留言聯(lián)系刪除，謝謝。
電子書<服務(wù)器基礎(chǔ)知識全解(終極版)>更新完畢。
獲取方式：點(diǎn)擊“閱讀原文”即可查看182頁?PPT可編輯版本和PDF閱讀版本詳情。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關(guān)注公眾號實(shí)時掌握深度技術(shù)分享，點(diǎn)擊“閱讀原文”獲取更多原創(chuàng)技術(shù)干貨。
