HBM、HBM2、HBM3和HBM3e技術(shù)對比

HBM即高帶寬存儲，由多層DRAM Die垂直堆疊，每層Die通過TSV穿透硅通孔技術(shù)實(shí)現(xiàn)與邏輯Die連接，使得8層、12層Die封裝于小體積空間中，從而實(shí)現(xiàn)小尺寸于高帶寬、高傳輸速度的兼容，成為高性能AI服務(wù)器GPU顯存的主流解決方案。

目前迭代至HBM3的擴(kuò)展版本HBM3E，提供高達(dá)8Gbps的傳輸速度和16GB內(nèi)存，由SK海力士率先發(fā)布，將于2024年量。

HBM主要應(yīng)用場景為AI服務(wù)器，最新一代HBM3e搭載于英偉達(dá)2023年發(fā)布的H200。根據(jù)Trendforce數(shù)據(jù)，2022年AI服務(wù)器出貨量86萬臺，預(yù)計(jì)2026年AI服務(wù)器出貨量將超過200萬臺，年復(fù)合增速29%。

AI服務(wù)器出貨量增長催化HBM需求爆發(fā)，且伴隨服務(wù)器平均HBM容量增加，經(jīng)測算，預(yù)期25年市場規(guī)模約150億美元，增速超過50%。

HBM供給廠商主要聚集在SK海力士、三星、美光三大存儲原廠，根據(jù)Trendforce數(shù)據(jù)，2023年SK海力士市占率預(yù)計(jì)為53%，三星市占率38%、美光市占率9%。HBM在工藝上的變化主要在CoWoS和TSV。

• 算力競賽，開啟AI芯片、光模塊和光芯片需求
  
• AI算力租賃行業(yè)深度研究（2023）
  
• 大模型算力：AI服務(wù)器行業(yè)（2023）
  
• 計(jì)算設(shè)備算力報(bào)告（2023年）
  
• UCIe封裝與異構(gòu)算力集成
  
• 算力技術(shù)未來發(fā)展路徑概述（2023）
  
• AI算力研究框架：時(shí)勢造英雄，謀定而后動（2023）
  
• 算力網(wǎng)絡(luò)：在網(wǎng)計(jì)算（NACA）技術(shù)
  
• 一文理解“高廣深”先進(jìn)算力網(wǎng)絡(luò)
  
• 聯(lián)邦學(xué)習(xí)算力加速方案（2023）
  
• 中國AI服務(wù)器算力市場規(guī)模及空間測算（2023）
  
• 多樣性算力：新一代超異構(gòu)計(jì)算架構(gòu)
  
• 大模型AI算力劇增，誰來扛國產(chǎn)GPU大旗？
  
• 超級芯片GH200發(fā)布，AI算力是H100兩倍
  
• 中國綠色算力發(fā)展研究報(bào)告（2023年）
  
• 詳解：算力網(wǎng)絡(luò)基礎(chǔ)知識（2023）
  
• AIGC算力全景與趨勢報(bào)告（2023）
  
• AI科普報(bào)告（2023）：算法、算力、數(shù)據(jù)和應(yīng)用
  
• 國內(nèi)外AI芯片、算力綜合對比
  
• 華為算力編年史（2023）
  
• AI算力研究框架（2023）
  
• 大模型訓(xùn)練，英偉達(dá)Turing、Ampere和Hopper算力分析
  
• AI大語言模型原理、演進(jìn)及算力測算
• 大算力模型，HBM、Chiplet和CPO等技術(shù)打破技術(shù)瓶頸
  
• 走進(jìn)芯時(shí)代：AI算力GPU行業(yè)深度報(bào)告

HBM1最早于2014年由AMD與SK海力士共同推出，作為GDDR競品，為4層die堆疊，提供128GB/s帶寬，4GB內(nèi)存，顯著優(yōu)于同期GDDR5。

HBM因其高帶寬、低功耗、小體積等特性，廣泛應(yīng)用于AI服務(wù)器場景中。HBM的應(yīng)用主要集中在高性能服務(wù)器，最早落地于2016年的NVP100GPU（HBM2）中，后于2017年應(yīng)用在V100（HBM2）、于2020年應(yīng)用在A100（HBM2）、于2022年應(yīng)用在H100（HBM2e/HBM3），最新一代HBM3e搭載于英偉達(dá)2023年發(fā)布的H200，為服務(wù)器提供更快速度及更高容量。

HBM供給廠商主要聚集在SK海力士、三星、美光三大廠，SK海力士領(lǐng)跑。三大存儲原廠主要承擔(dān)DRAMDie的生產(chǎn)及堆疊，展開技術(shù)升級競賽，其中SK海力士與AMD合作發(fā)布全球首款HBM，23年率先供應(yīng)新一代HBM3E，先發(fā)奠定市場地位，主要供應(yīng)英偉達(dá)，三星供應(yīng)其他云端廠商，根據(jù)TrendForce數(shù)據(jù)，2022年SK海力士市占率50%、三星市占率40%、美光市占率10%左右，2023年SK海力士市占率預(yù)計(jì)為53%，三星市占率38%、美光市占率9%。

HBM在封裝工藝上的變化主要在CoWoS和TSV。

1）CoWoS：是將DRAMDie一同放在硅中介層上，通過過ChiponWafer（CoW）的封裝制程連接至底層基板上，即將芯片通過ChiponWafer（CoW）的封裝制程連接至硅晶圓，再把CoW芯片與基板連接，整合成CoWoS。當(dāng)前，HBM與GPU集成的主流解決方案為臺積電的CoWoS，通過縮短互連長度實(shí)現(xiàn)更高速的數(shù)據(jù)傳輸，已廣泛應(yīng)用于A100、GH200等算力芯片中。

2）TSV：TSV硅通孔是實(shí)現(xiàn)容量和帶寬擴(kuò)展的核心，通過在整個(gè)硅晶圓厚度上打孔，在芯片正面和背面之間形成數(shù)千個(gè)垂直互連。在HBM中多層DRAMdie堆疊，通過硅通孔和焊接凸點(diǎn)連接，且只有最底部的die能向外連接到存儲控制器，其余管芯則通過內(nèi)部TSV實(shí)現(xiàn)互連。

• GPU分析：全球競爭格局與未來發(fā)展
  
• 2023年GPU顯卡技術(shù)詞條報(bào)告
  
• 英偉達(dá)GPU龍頭穩(wěn)固，國內(nèi)逐步追趕（詳解）
  
• GPU/CPU領(lǐng)域散熱工藝的發(fā)展與路徑演繹
  
• 探析ARM第五代GPU架構(gòu)
  
• 新型GPU云桌面發(fā)展白皮書
  
• 十大國產(chǎn)GPU產(chǎn)品及規(guī)格概述
  
• GPU平臺生態(tài)：英偉達(dá)CUDA和AMD ROCm對比分析
  
• GPU競爭壁壘：微架構(gòu)和平臺生態(tài)
  
• GPU微架構(gòu)、性能指標(biāo)、場景、生態(tài)鏈及競爭格局（2023）
  
• 大模型訓(xùn)練，繞不開GPU和英偉達(dá)
  
• Nvidia/AMD競爭：GPU架構(gòu)創(chuàng)新和新興領(lǐng)域前瞻探索
  
• 走進(jìn)芯時(shí)代：AI算力GPU行業(yè)深度報(bào)告
  
• 獨(dú)立GPU市場，AMD份額大跌？
  
• CPU渲染和GPU渲染優(yōu)劣分析
  
• NVIDIA Hopper GPU：芯片三圍、架構(gòu)、成本和性能分析
  
• 國內(nèi)GPU廠商及細(xì)分行業(yè)前景（2023）
  
• ChatGPT對GPU算力的需求測算與分析
  
• AMD RDNA2 GPU架構(gòu)詳解
  
• GPU研究框架（2023）

更新提醒：“存儲系統(tǒng)基礎(chǔ)知識全解（終極版）”和“服務(wù)器基礎(chǔ)知識全解(終極版)”已經(jīng)更新發(fā)布，還沒有獲取的讀者，請?jiān)邳c(diǎn)擊“原文鏈接”在微店留言獲取（PDF閱讀版本）。

溫馨提示：

掃描二維碼關(guān)注公眾號，點(diǎn)擊閱讀原文鏈接獲取“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書資料詳情。