AMD MI300絕殺英偉達(dá)H100？跑GPT-4性能超25%，AI芯片大決戰(zhàn)一觸即發(fā)
新智元報(bào)道
新智元報(bào)道
【新智元導(dǎo)讀】面對(duì)即將到來(lái)的AI芯片大決戰(zhàn)，不少芯片初創(chuàng)公司躍躍欲試，希望一舉打破英偉達(dá)的壟斷地位。而AMD的MI300，在部署32K上下文窗口的GPT-4模型時(shí)，居然比H100效果更好？
AI芯片大決戰(zhàn)，即將來(lái)臨！
AI硬件開(kāi)發(fā)商初創(chuàng)公司的未來(lái)會(huì)怎樣？
Tenstorrent CEO David Bennett直言不諱地表示，在我們這個(gè)行業(yè)，大部分初創(chuàng)公司的結(jié)局就是倒閉。
該如何生存？他建議初創(chuàng)企業(yè)應(yīng)該保持靈活性，避免將自己局限在狹隘的用例中。
這里，Bennett指的并不是某個(gè)小眾市場(chǎng)， 而是由SiMa.ai到Cerebras等數(shù)十家公司組成的一個(gè)廣泛集團(tuán)。他們共同籌集了數(shù)十億美元的風(fēng)投，來(lái)對(duì)抗這個(gè)市場(chǎng)的領(lǐng)導(dǎo)者——英偉達(dá)。
Bennett深諳此道。他曾在AMD從事銷售工作十多年。
而他目前的雇主Tenstorrent的CEO，是Jim Keller，一位硬件傳奇人物。他曾開(kāi)發(fā)出支持iPhone 4和iPad 2的蘋(píng)果A4和A5處理器，并在2016年至2018年負(fù)責(zé)特斯拉自動(dòng)駕駛汽車的硬件工作。
Tenstorrent公司已經(jīng)從富達(dá)風(fēng)投和現(xiàn)代汽車等投資者籌集了超過(guò)3億美元的資金，它遵循了Bennett的建議：從芯片到云計(jì)算等，提供一切服務(wù)。
Bennett表示，如今的芯片初創(chuàng)公司，大致都是在「為AI制造專用硬件」和「依賴當(dāng)下流行模式」這兩者之間徘徊。
英偉達(dá)的劣勢(shì)：很難從頭制造芯片
圖形處理單元起初是為計(jì)算機(jī)圖形學(xué)提供動(dòng)力的，但由于它能并行執(zhí)行多種計(jì)算，才在AI應(yīng)用領(lǐng)域大放異彩。
不過(guò)，但這一意外也給英偉達(dá)帶來(lái)了不利因素——現(xiàn)在，英偉達(dá)很難在不影響現(xiàn)有GPU業(yè)務(wù)的情況下，從頭開(kāi)始制造芯片了，而這，就給了新興初創(chuàng)公司提供了機(jī)會(huì)，制造專為AI打造的新硬件。
比如，Tenstorrent的工程師就為未來(lái)的稀疏神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了Grayskull芯片，在這種網(wǎng)絡(luò)中，冗余信息可以被去除。
盡管如此，Bennett認(rèn)為，專注于為大語(yǔ)言模型構(gòu)建芯片的初創(chuàng)公司，和Transformer架構(gòu)捆綁得太緊了。
在這種架構(gòu)下，基于Transformer的模型基本是在預(yù)測(cè)最有可能出現(xiàn)的下一個(gè)單詞，因此它們一直被詬病生成的回答是基于概率，而非基于推理。
這也就意味著，在當(dāng)前的AI熱潮中，這些模型架構(gòu)可能無(wú)法幸存下來(lái)。
畢竟，由于發(fā)展速度太快，如今的LLM壽命相對(duì)較短。昨天還炙手可熱的模型，一兩周后可能就會(huì)銷聲匿跡。
另一個(gè)對(duì)硬件公司來(lái)說(shuō)風(fēng)險(xiǎn)很大的領(lǐng)域，就是制造專門(mén)用于推理的芯片。
這方面的代表是芯片開(kāi)發(fā)商d-Matrix，它計(jì)劃在明年上半年發(fā)布推理專用芯片。
乍一看，這個(gè)策略似乎不錯(cuò)。生成式AI應(yīng)用的用戶現(xiàn)在會(huì)越來(lái)越多地利用現(xiàn)有的專有或開(kāi)源模型，而不是從頭開(kāi)始構(gòu)建自己的模型。
正因如此，許多人認(rèn)為，應(yīng)該在模型推理上花更多錢(qián)，而非模型訓(xùn)練上。
雖然從商業(yè)角度來(lái)看，這可能是一個(gè)明智之舉，但Bennett認(rèn)為，過(guò)于狹隘地專注于推理，會(huì)阻礙硬件開(kāi)發(fā)人員為其他可能更受歡迎的用例提供服務(wù)。
例如，對(duì)于運(yùn)行模型所需的低精度計(jì)算，純推理芯片就夠了。
但是，如果開(kāi)發(fā)者想要微調(diào)大模型，就很可能需要能處理更高精度計(jì)算的芯片了。
尖端芯片，把GPU和CPU放在一起
今天，大多數(shù)芯片都是把GPU和CPU分開(kāi)的。前者能夠同時(shí)執(zhí)行多種計(jì)算，后者負(fù)責(zé)執(zhí)行更多的通用指令，管理更廣泛的系統(tǒng)操作。
然而越來(lái)越多的尖端芯片（如英偉達(dá)的Grace Hopper 超級(jí)芯片和AMD即將推出的MI300A），都將GPU和CPU放在一起。
這種布局可以讓CPU更快地準(zhǔn)備數(shù)據(jù)，將數(shù)據(jù)加載到GPU上，從而加快模型的訓(xùn)練。
另外，硬件初創(chuàng)公司想要打破英偉達(dá)的市場(chǎng)主導(dǎo)地位，還面臨著一個(gè)最大的障礙，就是軟件優(yōu)勢(shì)。
英偉達(dá)用于編寫(xiě)機(jī)器學(xué)習(xí)應(yīng)用程序的Cuda軟件，只能在自家芯片上運(yùn)行。而這實(shí)際上就把開(kāi)發(fā)者鎖定在了英偉達(dá)GPU上。
AMD MI300跑GPT-4更6
Semianalysis記者Dylan Patel和Myron Xie最近就發(fā)文稱，AMD的MI300在性價(jià)比方面，將會(huì)明顯優(yōu)于英偉達(dá)的H100！
他們表示，隨著新一代MI300的推出，AMD即將成為英偉達(dá)和谷歌在LLM推理領(lǐng)域唯一的競(jìng)爭(zhēng)對(duì)手。
相比之下，Groq、SambaNova、英特爾、亞馬遜、微軟等公司仍無(wú)法與之抗衡。
此外，為了應(yīng)對(duì)英偉達(dá)基于CUDA構(gòu)建的護(hù)城河，AMD一直在大力投資自己的RoCM軟件、PyTorch生態(tài)系統(tǒng)和OpenAI的Triton。
隨著Databricks、AI21、Lamini、Moreph等公司開(kāi)始使用AMD GPU進(jìn)行推理/訓(xùn)練，AMD自己的生態(tài)也愈發(fā)完善。
據(jù)業(yè)內(nèi)人士透露，擁有更大顯存的MI300，在部署32K上下文窗口的GPT-4模型時(shí)效果更好。
具體來(lái)說(shuō)，與H100相比，MI300的性能優(yōu)勢(shì)在20%到25%之間，具體取決于上下文長(zhǎng)度和提示長(zhǎng)度/每次查詢輸出的token數(shù)量。
再加上更低廉的價(jià)格，MI300在性價(jià)比方面，將會(huì)明顯優(yōu)于英偉達(dá)的H100，甚至是H200。
大廠紛紛下單
在這之中，有120,000臺(tái)專門(mén)供應(yīng)給微軟，25,000臺(tái)給Meta，12,000臺(tái)給甲骨文，8,000臺(tái)給谷歌，5,000臺(tái)給亞馬遜公司，35,000臺(tái)給其他公司。
而且由于數(shù)量巨大，微軟購(gòu)買MI300的價(jià)格預(yù)計(jì)要比其他客戶低上不少。
為了計(jì)算MI300在明年為AMD帶來(lái)的收入，需要從兩個(gè)角度進(jìn)行分析：AMD能確保多少供應(yīng)量，以及主要客戶會(huì)訂購(gòu)多少。
在供應(yīng)方面，MI300的產(chǎn)能將在年內(nèi)逐步提升，但由于英偉達(dá)B100會(huì)在第二季度開(kāi)始出貨，并在第三季度隨著性價(jià)比更高的風(fēng)冷版的推出而大幅提升，這將在很大程度上影響AMD在第四季度的出貨量。
同時(shí)，還需要考慮內(nèi)存制造商的HBM產(chǎn)量、CoWoS產(chǎn)量、封裝產(chǎn)量以及使用CoWoS生產(chǎn)的每種加速器的情況，包括英偉達(dá)、AMD、Google/Broadcom、Meta/Broadcom、Intel/Al Chip、Amazon/Al Chip、Amazon/Marvell、Microsoft/GUC等。
即便如此，業(yè)內(nèi)依然認(rèn)為MI300X第四季度的出貨量可以達(dá)到110,000臺(tái)。
客戶方面，微軟、Meta、甲骨文、谷歌、Supermicro/Quantadirect和亞馬遜是訂單的主要來(lái)源，但也有一些訂單來(lái)自供應(yīng)鏈的其他部分，包括一些用于HPC型應(yīng)用的MI300A。
利潤(rùn)方面，英偉達(dá)并沒(méi)有降價(jià)的跡象，只是在價(jià)格不變的情況下增加了HBM容量/帶寬。而與英偉達(dá)超過(guò)80%的利潤(rùn)率相比，AMD在MI300上的利潤(rùn)率僅勉強(qiáng)超過(guò)了50%。
AMD首席執(zhí)行官蘇姿豐表示，基于公司在AI方面的快速進(jìn)展以及云計(jì)算客戶的購(gòu)買承諾，數(shù)據(jù)中心GPU的收入預(yù)計(jì)將在第四季度達(dá)到4億美元，2024年將超過(guò)20億美元。
這一增長(zhǎng)也將使MI300成為AMD歷史上銷售額最快達(dá)到10億美元的產(chǎn)品。
對(duì)此，業(yè)內(nèi)對(duì)于MI300X的銷售額則更加樂(lè)觀——預(yù)期可以達(dá)到35億美元。
從AMD目前在LLM訓(xùn)練和推理領(lǐng)域小于0.1%的市場(chǎng)份額來(lái)看，AMD在數(shù)據(jù)中心領(lǐng)域的市場(chǎng)份額依然會(huì)穩(wěn)步增長(zhǎng)。
