谷歌自證清白？Jeff Dean 團(tuán)隊(duì)發(fā)文佐證AI模型不會(huì)產(chǎn)生大量碳足跡

---

  新智元報(bào)道  

來源：venturebeat

編輯：yaxin

【新智元導(dǎo)讀】近日，谷歌研究人員發(fā)表的一篇論文認(rèn)為大型人工智能模型不會(huì)產(chǎn)生大量碳排放，并通過對(duì)5大NLP模型進(jìn)行訓(xùn)練評(píng)估來佐證這一觀點(diǎn)。

 

谷歌本周發(fā)表了一篇論文駁斥了先前的研究結(jié)果，即大型人工智能模型可以產(chǎn)生海量碳排放。

 

在由谷歌人工智能首席科學(xué)家 Jeff Dean 合著的一篇論文中，模型、數(shù)據(jù)中心和處理器的選擇可以減少多達(dá)100倍的碳足跡，并且對(duì)模型生命周期的「誤解」導(dǎo)致了碳排放影響的錯(cuò)誤估算。

 

論文地址：https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf

人工智能碳排放的影響有多大？

二氧化碳、甲烷和一氧化二氮的含量達(dá)到了80萬(wàn)年來的最高水平。再加上其他因素，溫室氣體可能催化了自20世紀(jì)中期以來我們觀察到的全球變暖。

 

人們普遍認(rèn)為，機(jī)器學(xué)習(xí)模型也存在導(dǎo)致環(huán)境變壞的趨勢(shì)。

 

 

這是因?yàn)樗鼈冃枰罅康挠?jì)算資源和能量ーー模型通常要在數(shù)據(jù)中心的專門硬件加速器上經(jīng)過數(shù)千小時(shí)的訓(xùn)練，估計(jì)每年使用200太瓦時(shí)。美國(guó)家庭平均每年消耗約1萬(wàn)千瓦時(shí)，只是總消耗量的一小部分。

 

2020年6月，馬薩諸塞大學(xué)的研究人員發(fā)布了一份報(bào)告，估算出訓(xùn)練和搜索某個(gè)模型所需的能量大約需要626,000磅的二氧化碳排放量，相當(dāng)于美國(guó)汽車平均壽命排放量的近5倍。

 

 

另外，谷歌人工智能科學(xué)家 Timnit Gebru 合著了一篇論文，強(qiáng)調(diào)了大語(yǔ)言模型的碳足跡對(duì)邊緣化社區(qū)的影響。

 

Timnit Gebru因此也被谷歌人工智能倫理團(tuán)隊(duì)解雇。而Jeff Dean在給她的一封電子郵件中指出， Timnit 忽視了模型在訓(xùn)練方面顯示出更高效率，并有可能減輕碳排放的影響。

 

訓(xùn)練5種NLP模型，碳足跡量并不多

這項(xiàng)由谷歌牽頭的最新研究是由加州大學(xué)伯克利分校的研究人員進(jìn)行的，主要研究自然語(yǔ)言模型訓(xùn)練。

 

該研究將模型的碳足跡定義為幾個(gè)變量的函數(shù)。

 

 

這些因素包括算法的選擇、執(zhí)行算法的程序、運(yùn)行程序處理器數(shù)量、處理器的速度和功率、數(shù)據(jù)中心提供電力和冷卻處理器的效率，以及能源供應(yīng)組合(如可再生能源、天然氣或煤炭)。

 

谷歌的工程師們通常是在提高現(xiàn)有模型的質(zhì)量，而不是從零開始，這樣可以最大限度地減少訓(xùn)練模型對(duì)環(huán)境的影響。

 

例如，論文指出，谷歌的演化變壓器模型是對(duì)原始變壓器的改進(jìn)，每秒使用的浮點(diǎn)運(yùn)算(FLOPS)減少了1.6倍，訓(xùn)練時(shí)間減少了1.1-1.3倍。

 

而另一項(xiàng)改進(jìn)是稀疏優(yōu)化，與高密度替代品相比，它可以減少55倍的能源消耗，減少約130倍的凈碳排放量。

 

 

這篇論文聲稱，谷歌的人工智能處理器，即張量處理單元(TPUs) ，使得云計(jì)算節(jié)省的能源遠(yuǎn)遠(yuǎn)超過以前的研究所指出的。

 

研究人員認(rèn)為平均云數(shù)據(jù)中心的能源效率大約是企業(yè)數(shù)據(jù)中心的兩倍。

 

他們指出，《科學(xué)》雜志最近的一篇論文發(fā)現(xiàn)，盡管計(jì)算能力在同一時(shí)期內(nèi)增長(zhǎng)了550% ，但全球數(shù)據(jù)中心的能源消耗與2010年相比僅增長(zhǎng)了6% 。

 

早期的研究對(duì)類似神經(jīng)結(jié)構(gòu)搜索這樣的模型訓(xùn)練方法做出了錯(cuò)誤的假設(shè)，神經(jīng)結(jié)構(gòu)搜索通過為特定任務(wù)尋找最佳模型來自動(dòng)化系統(tǒng)的設(shè)計(jì)。

 

 

合著者使用他們自己的計(jì)算公式，評(píng)估了最近五個(gè)大型自然語(yǔ)言處理模型的能源使用量和碳排放量。

 

 

 

他們得出的結(jié)論是:

 

1 谷歌預(yù)先訓(xùn)練的語(yǔ)言模型T5使用86兆瓦，產(chǎn)生了47噸的二氧化碳排放

2 開放域聊天機(jī)器人米娜使用了232兆瓦，產(chǎn)生了96噸的二氧化碳排放

3 語(yǔ)言翻譯框架 GShard 使用了24兆瓦的電力，產(chǎn)生了4.3噸的二氧化碳排放

4 谷歌開發(fā)的路由算法Switch Transformer使用179兆瓦，產(chǎn)生了59噸二氧化碳排放量

5 OpenAI 的自然語(yǔ)言模型GPT-3使用了1287兆瓦，產(chǎn)生了552噸的二氧化碳排放

 

 

研究人員稱，「為了幫助減少機(jī)器學(xué)習(xí)的碳足跡，我們相信能源使用和二氧化碳排放應(yīng)該是評(píng)估模型的一個(gè)關(guān)鍵指標(biāo)?！?/span>

論文只是為了谷歌的商業(yè)利益？

 

這篇論文徹底掩蓋了谷歌的商業(yè)利益與第三方研究所表達(dá)的觀點(diǎn)之間的沖突。

 

該公司開發(fā)的許多模型都是面向客戶的產(chǎn)品，包括云翻譯 API 和自然語(yǔ)言 API。2021年第一季度，谷歌云部門的收入同比增長(zhǎng)了近46% ，達(dá)到40.4億美元。

 

盡管谷歌牽頭的研究對(duì)此提出了質(zhì)疑，但至少有一項(xiàng)研究顯示，用于訓(xùn)練自然語(yǔ)言處理和其他應(yīng)用程序的最大模型的計(jì)算機(jī)數(shù)量在6年內(nèi)增長(zhǎng)了30萬(wàn)倍，比摩爾定律還要快。

 

最近麻省理工學(xué)院的一項(xiàng)研究的合著者說，這表明深度學(xué)習(xí)正在接近它的計(jì)算極限。麻省理工學(xué)院的合著者說，「我們并不期望目標(biāo)所隱含的計(jì)算需求硬件、環(huán)境和金錢成本將是高得令人望而卻步的。」

 

以谷歌為首的這份論文的數(shù)據(jù)只是表面價(jià)值，谷歌模型的訓(xùn)練產(chǎn)生的二氧化碳排放總量也超過了200噸。

 

這相當(dāng)于一年中約43輛汽車或24個(gè)家庭的平均溫室氣體排放量。僅僅通過訓(xùn)練OpenAI 的 GPT-3就能達(dá)到排放閾值，這就需要駕駛一輛客車行駛130萬(wàn)英里。

 

 

參考資料：

 https://venturebeat.com/2021/04/29/google-led-paper-pushes-back-against-claims-of-ai-inefficiency/

AI家，新天地。西山新綠，新智元在等你！

【新智元高薪誠(chéng)聘】主筆、高級(jí)編輯、商務(wù)總監(jiān)、運(yùn)營(yíng)經(jīng)理、實(shí)習(xí)生等崗位，歡迎投遞簡(jiǎn)歷至[email protected] (或微信: 13520015375)

辦公地址：北京海淀中關(guān)村軟件園3號(hào)樓1100