Anthropic CEO：大模型訓練成本暴漲，2027年將達1000億美元！
共 4133字，需瀏覽 9分鐘
·
2024-07-08 13:03
新智元報道
新智元報道
【新智元導讀】Anthropic首席執(zhí)行官表示，當前AI模型訓練成本是10億美元，未來三年，這個數(shù)字可能會上升到100億美元甚至1000億美元。要知道，GPT-4o這個曾經(jīng)最大的模型也只用了1億美元。千億美刀，究竟花在了哪里？
目前來看，能夠商業(yè)化落地并實現(xiàn)大額盈利的「巨物」還未誕生，但是AI訓練的成本卻還在攀升，并且會逐年呈指數(shù)級增長。
Anthropic首席執(zhí)行官Dario Amodei在In Good Company播客節(jié)目中表示，目前正在開發(fā)的人工智能模型的訓練成本高達10億美元。
GPT-4o已經(jīng)成為了歷史，因為像它這樣的模型「僅」需花費約1億美元，跟現(xiàn)在正在開發(fā)的模型相比，可謂是小巫見大巫了。
Dario Amodei預(yù)計，從現(xiàn)在開始，短短三年內(nèi)，AI模型的訓練成本將上升到100億美元甚至1000億美元。
Dario Amodei，OpenAI前研究副總裁，2021年創(chuàng)立Claude大模型母公司Anthropic
預(yù)測來自于Amodei在討論AI如何從生成式人工智能（GenAI）發(fā)展到通用人工智能（AGI）時的一段分析。
他說，「我們不會在某一點上突然達到 AGI，這將是一個循序漸進的發(fā)展過程，模型建立在過去模型發(fā)展的基礎(chǔ)上，就像人類兒童的學習方式一樣」。
如果人工智能模型每年強大十倍，我們可以合理地預(yù)期訓練它們所需的硬件也至少強大十倍。
因此，硬件可能是人工智能訓練中最大的成本驅(qū)動因素。「賣鏟子」的英偉達又要賺得盆滿缽滿了。
早在2023年，就有報道稱ChatGPT將需要超過30000個GPU，Sam Altman證實GPT-4的訓練成本為1億美元。
去年，超過380萬個GPU交付給數(shù)據(jù)中心。鑒于英偉達最新的B200 AI芯片的成本約為 30000-40000 美元，兩個數(shù)字相乘，我們就能明白Dario所言非虛——2024年AI訓練成本已經(jīng)高達10億美元。
如果模型繼續(xù)以當前的指數(shù)速度增長，那硬件資源也得跟上，缺口會越來越大，除非像Sohu人工智能芯片這樣更高效的技術(shù)變得更加普遍。
我們已經(jīng)可以看到這種指數(shù)級增長的發(fā)生。
埃隆·馬斯克計劃采購30萬個B200 AI芯片，據(jù)報道OpenAI和微軟正在計劃建造一個價值1000億美元的 AI 數(shù)據(jù)中心。
考慮到所有這些需求，如果英偉達和其他供應(yīng)商能夠跟上市場的步伐，明年GPU數(shù)據(jù)中心的交付量將激增至3800萬個，是去年的10倍！
芯片硬件不是唯一掣肘的因素，電力和相關(guān)基礎(chǔ)設(shè)施也是重要的成本損耗之一。
據(jù)估計，去年售出的所有數(shù)據(jù)中心GPU的總耗電量可為130萬戶家庭供電。
如果數(shù)據(jù)中心的電力需求繼續(xù)呈指數(shù)級增長，那么當前足夠的價格經(jīng)濟的電力將會被消耗殆盡。
此外，這些數(shù)據(jù)中心不僅需要發(fā)電廠，它們還需要一個完全升級的電網(wǎng)，以處理耗電量巨大的人工智能芯片運行所需的所有電子。
因此，包括微軟在內(nèi)的許多科技公司現(xiàn)在都在考慮為其數(shù)據(jù)中心采用模塊化核電，微軟正在尋找一位關(guān)鍵人物來領(lǐng)導其核技術(shù)戰(zhàn)略，重點是為其數(shù)據(jù)中心實施小型模塊化反應(yīng)堆 (SMR) 和微反應(yīng)堆。
那么，3年之內(nèi)，AI訓練成本真的會達到Anthropic所預(yù)測的1000億美元嗎？有沒有更多的證據(jù)支撐呢？我們一起來算筆賬看看——
1000億美元怎么花？
根據(jù)斯坦福大學《人工智能指數(shù)數(shù)據(jù)報告2024》顯示，AI模型的訓練成本呈現(xiàn)飛速增長，短短幾年間從四位數(shù)躍升至九位數(shù)。
例如，2017年訓練最初的Transformer模型的成本僅為約900美元，而到了2019年，RoBERTa Large模型的訓練成本已經(jīng)升至約160000美元。
到了2023年，OpenAI的GPT-4和Google的Gemini Ultra的訓練成本更是分別達到了約7800萬美元和近2億美元。
報告指出，隨著AI模型參數(shù)數(shù)量的激增，其訓練所需的算力和能耗也隨之水漲船高。
大參數(shù)模型通常意味著更高的訓練成本，因為它們需要更強大的硬件設(shè)施、更長的訓練時間以及更大的數(shù)據(jù)集來支撐。
這種關(guān)聯(lián)性在報告中通過圖表清晰地顯示出參數(shù)數(shù)量與訓練成本之間成正比例關(guān)系，參數(shù)越大，訓練成本越高。
2億已經(jīng)數(shù)額頗為驚人了，那么十個指頭都數(shù)不過來的千億美刀會怎么花？
首先大頭必定花在硬件成本上。
主要包括購置和維護高性能計算設(shè)備（如GPU、TPU、CPU集群等）的費用。這些設(shè)備是執(zhí)行大量計算以訓練大規(guī)模模型所必需的。
硬件成本占比較高，尤其是在需要大規(guī)模并行計算和高吞吐量存儲的情況下。
前幾天馬斯克剛透露花40億美元購買10萬張H100訓練Grok 3，這會兒Amodei預(yù)言千億訓練模型，老黃屏幕背后微微一笑，又可以靠賣鏟子買新皮衣了！
reddit網(wǎng)友也指出，千億美元一大半要被老黃賺走。
黃仁勛：（興奮地搓手手）
老黃家GPU產(chǎn)生的熱量，把億萬資金燒的付之一炬。
也有網(wǎng)友打趣到，不管是GPU燒的熱量還是未來百億大單讓人想想就紅溫，皮衣戰(zhàn)神可以脫下他的經(jīng)典皮膚散散熱。
其次成本的重頭還在于能源消耗。
有數(shù)據(jù)顯示，全美AI數(shù)據(jù)中心的耗電量占全美總用電量的2.5％，足以點亮整個紐約市。
GPT-3的訓練約消耗1300兆瓦時電力，如果連續(xù)播放視頻可持續(xù)播放約186年。
由此可見，AI模型訓練是一個高度能源密集的過程，涉及到大量的計算操作和數(shù)據(jù)交換。
數(shù)據(jù)中心的電力消耗、冷卻設(shè)施運行以及潛在的碳排放成本構(gòu)成了能源成本。隨著對可持續(xù)性和碳中和目標的關(guān)注增加，這部分成本的重要性愈發(fā)凸顯。
奧特曼曾經(jīng)就表示，AGI的盡頭可能是能源問題，核聚變或是AI能源戰(zhàn)的最終方案。
微軟已經(jīng)表示，他們正在考慮建造一座價值1000億美元的設(shè)施，其中最令人震驚的是對電力的投入。
首先需要解決能源問題，否則就不會有 AGl。大腦使用約20瓦特的功率，而粗放的使用方法消耗的功率相當于一個國家的使用量。
第三是人力資源的支出。
訓練AI模型需要一支專業(yè)的工程師和科學家團隊，包括數(shù)據(jù)工程師、AI研究員、軟件工程師等。他們的薪資、福利、培訓和發(fā)展成本構(gòu)成了人力資源成本。
AI人才也是AI軍備競賽中一個不可忽視的兵家必爭之地。大佬們紛紛開百萬年薪，親自發(fā)郵件挖人，親自打電話留人等等，只為獲得AI人才青睞。
第四就是數(shù)據(jù)成本的花銷，高質(zhì)量、大規(guī)模的訓練數(shù)據(jù)對于AI模型的性能至關(guān)重要。
數(shù)據(jù)采集、標注、清洗、存儲和傳輸?shù)拳h(huán)節(jié)會產(chǎn)生相應(yīng)的成本，包括人力、工具、平臺使用費等。
對于某些特定領(lǐng)域的數(shù)據(jù)（如醫(yī)療影像、金融交易數(shù)據(jù)），數(shù)據(jù)獲取可能涉及購買許可證、支付版權(quán)費等額外支出。
例如，Scale AI CEO就開出時薪40美元招聘高學歷博士訓練AI數(shù)據(jù)標注，只為獲得專業(yè)性強的高質(zhì)量數(shù)據(jù)。
最后要考慮運行維護和管理成本。
包括數(shù)據(jù)中心運維、網(wǎng)絡(luò)帶寬、安全防護、故障恢復(fù)、備份系統(tǒng)等的建設(shè)和維護費用。
隨著模型規(guī)模的擴大和模型復(fù)雜度的提升，對基礎(chǔ)設(shè)施的穩(wěn)定性和可靠性要求更高。
其中，硬件成本和能源消耗占比較大，特別是在訓練超大規(guī)模模型時，這兩部分成本可能會占到總成本的大頭。
隨著AI技術(shù)的發(fā)展和應(yīng)用規(guī)模的擴大，能源消耗問題的解決迫在眉睫。許多研究和實踐已經(jīng)開始探討如何通過優(yōu)化算法、提高硬件能效、采用可再生能源、采用液冷系統(tǒng)等方式降低AI訓練的能源成本。
總體來說，資金在未來大規(guī)模流向AI領(lǐng)域早就可以預(yù)見，不過也有人懷疑如此大規(guī)模的千億巨單錢從哪兒來？投入產(chǎn)出比又會如何？
雖說AI被類比為人類兒童的學習方式，但它可比「訓練」人類小孩花費多得多，網(wǎng)友在投入產(chǎn)出比這塊兒調(diào)侃道「請訓練我好不好」。
誰在我身上花一千億我搞不好也能達到一樣的目標，訓的比大多數(shù)人厲害呢。