【前沿技術(shù)】AI芯片的未來之戰(zhàn)：英偉達真“霸主”？

正文共：9711字-10圖

預(yù)計閱讀時間：25分鐘

英偉達的 GPU 統(tǒng)治了 AI 芯片市場。但眾多初創(chuàng)企業(yè)表示，快速發(fā)展的人工智能領(lǐng)域需要新的架構(gòu)。

英偉達，AI 芯片市場的統(tǒng)治者

業(yè)內(nèi)有一個傳說，講的是英偉達怎樣從游戲和圖形硬件轉(zhuǎn)向了 AI 芯片市場的統(tǒng)治者 — 這個故事中有貓的身影。

早在 2010 年，現(xiàn)任英偉達首席科學(xué)家 Bill Dally 有一天正與斯坦福大學(xué)的前同事、計算機科學(xué)家吳恩達共進早餐，當時吳正在與谷歌合作一個項目。“他試圖在互聯(lián)網(wǎng)上找貓 — 他描述的不是那樣，但他就是那樣做的，”Dally 說。

吳當時在谷歌 X 實驗室從事一個項目，旨在構(gòu)建一個可以自行學(xué)習的神經(jīng)網(wǎng)絡(luò)。這個神經(jīng)網(wǎng)絡(luò)在 YouTube 上觀看了 1000 萬個視頻，并學(xué)會了如何認出人臉、身體和貓 — 但要準確做到這一點，系統(tǒng)需要數(shù)千個 CPU（中央處理器），即為計算機提供動力的主要處理器。

“我說，‘我敢打賭，我們只需要幾個 GPU 就可以做到同樣的事情，’”Dally 說。GPU（圖形處理單元）專門用于處理更密集的負載，例如 3D 渲染 — 這讓它們比 CPU 更適合用來為 AI 提供算力。

Dally 找到了現(xiàn)在在英偉達領(lǐng)導(dǎo)深度學(xué)習研究的 Bryan Catanzaro 來實現(xiàn)這一目標。他做到了——只用了 12 個 GPU——就證明 GPU 提供的并行處理能力可以比 CPU 更快、更高效地訓(xùn)練吳的貓識別模型。

但 Catanzaro 想讓人們知道，英偉達開始在 AI 領(lǐng)域投入的契機并非只是那一次早餐。 事實上，在 2008 年加入英偉達之前，他還是伯克利分校的研究生時就一直在為 AI 開發(fā) GPU。“英偉達在這個市場上的地位并非偶然，”他說。

現(xiàn)在英偉達主導(dǎo)了 AI 芯片市場，當初的契機和開始的時間看起來也就不那么重要了。

英偉達由首席執(zhí)行官黃仁勛于 1993 年與他人共同創(chuàng)立，其主要收入來源仍然是圖形和游戲。但在上一個財政年度，公司用于數(shù)據(jù)中心的 GPU 銷售額攀升至 67 億美元。

2019 年，前四大云供應(yīng)商 AWS、谷歌、阿里巴巴和 Azure 中 97.4% 的 AI 加速器實例（用于提高處理速度的硬件）部署了英偉達 GPU。Cambrian AI Research 的分析師 Karl Freund 表示，它占據(jù)了人工智能算法訓(xùn)練市場“近 100%”的份額。Top 500 超級計算機中近 70% 使用了它的 GPU。

幾乎所有 AI 里程碑都發(fā)生在英偉達硬件上。

吳的 YouTube cat finder、DeepMind 的圍棋游戲冠軍 AlphaGo、OpenAI 的語言預(yù)測模型 GPT-3 都運行在英偉達硬件上。它是人工智能研究人員安身立命的基礎(chǔ)。

盡管取得了驕人的成績，但 Catanzaro 很不爽那些說英偉達只是偶然從游戲轉(zhuǎn)向人工智能市場并取得成功的暗示。“我發(fā)誓，幾乎我讀過的每一個故事都在說 GPU 只是恰好被發(fā)現(xiàn)在人工智能領(lǐng)域表現(xiàn)出色，而英偉達向新市場出售已有芯片時幸運地獲得了短期的意外收獲，很快它們就會被由初創(chuàng)公司提供的硬件取而代之，”Catanzaro 說。“但英偉達進軍 AI 市場的戰(zhàn)略已經(jīng)布局十年之久了。”

十年過去了，這個市場已經(jīng)足夠成熟，到了變革的前夜。

越來越多的企業(yè)開始使用人工智能來理解他們收集的海量數(shù)據(jù)，而各國政府則在向深度學(xué)習研究領(lǐng)域投入資金以保持領(lǐng)先地位。中美之間的競爭尤為激烈；德勤分析師 Costi Perricos 表示，人工智能將成為各國競爭“下一個超級大國”的焦點領(lǐng)域。與此同時，深度學(xué)習模型的規(guī)模和復(fù)雜性不斷增加，需要更多的計算能力。

OpenAI 的 GPT-3 是一個可以編寫有意義文本段落的深度學(xué)習系統(tǒng)，它就是一個極端的例子；它由 1750 億個參數(shù)組成，這些參數(shù)是構(gòu)成模型的變量。它的計算成本約為 460 萬美元，之后被具有 1.6 萬億個參數(shù)的谷歌語言模型超越。

行業(yè)需要更高效的硬件來處理更多參數(shù)和更多數(shù)據(jù)以提高準確性，同時還要防止人工智能成為環(huán)境災(zāi)難，丹麥研究人員計算出訓(xùn)練 GPT-3 所需能量的碳足跡相當于駕車行駛 700,000 公里。

我們需要更多、更好的人工智能芯片。

雖然英偉達的早期工作為這家 GPU 制造商提供了領(lǐng)先優(yōu)勢，但挑戰(zhàn)者正在競相迎頭趕上。

谷歌于 2015 年開始制造自己的芯片；在 2016 年收購 Annapurna Labs 后，亞馬遜去年開始將 Alexa 的大腦轉(zhuǎn)移到自己的 Inferentia 芯片上；百度擁有昆侖，最近估值為 20 億美元；高通擁有 Cloud AI 100；IBM 正在致力研發(fā)一種節(jié)能設(shè)計。AMD 收購了 Xilinx 用于 AI 數(shù)據(jù)中心產(chǎn)品，英特爾在 2019 年為其 Xeon 數(shù)據(jù)中心 CPU 添加了 AI 加速模塊；它還收購了兩家初創(chuàng)公司，2016 年以 4.08 億美元收購了 Nervana，2019 年以 20 億美元收購了 Habana Labs。

尚未被搶購走的初創(chuàng)公司則紛紛發(fā)布了他們自己的硬件：在過去幾年中，Graphcore、SambaNova、Cerebras、Mythic AI、Blaize 和 TensTorrent 等公司都發(fā)布或展示了自己的 AI 芯片。

我們?nèi)蕴幱谌斯ぶ悄艿脑缙陔A段。 那些貓是十年前才算出來的；這些初創(chuàng)公司中多數(shù)只有幾年的歷史。

隨著智能物聯(lián)網(wǎng)設(shè)備開始掀起一場機器對機器的革命，越來越多的數(shù)據(jù)將匯聚起來，奔流不息。所有人都在渴望實現(xiàn)同一個目標：掌控人工智能芯片的未來。

Bryan Catanzaro，英偉達應(yīng)用深度學(xué)習副總裁

機器學(xué)習是一種與眾不同的計算負載，需要使用不是特別精確的數(shù)字進行大量數(shù)學(xué)運算。傳統(tǒng)的高性能計算（HPC）是將多個系統(tǒng)連接在一起以構(gòu)建超級計算機來處理復(fù)雜負載，例如科學(xué)模擬或金融建模，而這種負載需要高精度的數(shù)學(xué)計算 — 至少 64 位精度。

AI 計算也需要龐大的計算基礎(chǔ)設(shè)施，但所使用的數(shù)字不那么精確，精度只有 16 位甚至 8 位—這和 HPC 比起來就像是 80 年代像素游戲碰上了超現(xiàn)實圖像。人工智能芯片初創(chuàng)公司 Cerebras 的首席執(zhí)行官 AndrewFeldman 說：“用到的數(shù)學(xué)很簡單，但計算量很大。”

AI 芯片指的是經(jīng)過優(yōu)化以通過谷歌的 TensorFlow 和 Facebook 的 PyTorch 等編程框架運行機器學(xué)習負載的處理器。 在訓(xùn)練或運行深度學(xué)習模型時，AI 芯片不一定會完成所有工作，而是扮演加速器的角色，快速處理最密集的負載。例如，英偉達的成品 AI 系統(tǒng) DGX A100 使用 8 個自研的 A100“安培”GPU 作為加速器，但還配備了 128 核的 AMD CPU。

AI 并不是什么新概念，但我們以前缺乏讓深度學(xué)習模型跑起來的算力，研究人員只能等待硬件發(fā)展趕上他們的想法。“GPU 的引入打開了大門，”另一家制造 AI 芯片的初創(chuàng)公司 SambaNova 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Rodrigo Liang 說。

2012 年，多倫多大學(xué)的研究員 Alex Krizhevsky 在一年一度的 ImageNet 計算機視覺挑戰(zhàn)賽中擊敗了其他競爭對手。這個挑戰(zhàn)賽讓研究人員相互競爭，以開發(fā)可以識別圖像或圖像內(nèi)物體的算法。Krizhevsky 首次使用由 GPU 驅(qū)動的深度學(xué)習技術(shù)來擊敗手工編碼的競爭算法。到 2015 年，ImageNet 比賽的所有頂級玩家都用上了 GPU。

深度學(xué)習研究迎來了爆炸式增長。

英偉達的技術(shù)太優(yōu)秀了，可以提供 20 倍或更多的性能提升，以至于當英國芯片初創(chuàng)公司 Graphcore 的聯(lián)合創(chuàng)始人開始創(chuàng)業(yè)時，他們都找不到投資人開會。

“我們從風投那里聽到的是：‘什么是人工智能？’”聯(lián)合創(chuàng)始人兼首席技術(shù)官 Simon Knowles 回憶起 2015 年去加利福尼亞尋求風投資金的旅行時說。“這真的很令人驚訝。”幾個月后，也就是 2016 年初，一切都變了。“一下子，所有人都開始熱衷于人工智能，”Knowles 說。“然而，他們對芯片并不感冒。”新的芯片架構(gòu)被認為是沒有必要的；英偉達已經(jīng)覆蓋了行業(yè)需求。

這些名詞都是什么意思？

GPU、IPU、RPU — 它們都用于處理深度學(xué)習的數(shù)據(jù)集，但它們名稱的不同確實反映了各自架構(gòu)層面的差異。

Graphcore

Graphcore 的 Colossus MK2 IPU 的核心是大量獨立運行、并行工作的處理器，這種技術(shù)稱為多指令多數(shù)據(jù)。軟件是按順序編寫的，但神經(jīng)網(wǎng)絡(luò)算法需要一次性完成所有工作。

Graphcore 的 CTO Simon Knowles 說，為了解決這個問題，一種解決方案是列出所有數(shù)據(jù)及其約束，比如聲明問題的結(jié)構(gòu)。這是一個圖 — 這也是他的公司的命名來源。

但在 2016 年 5 月，谷歌改變了一切 —— Cerebras 的 Feldman 稱之為“虛張聲勢的戰(zhàn)略決策” ——宣布它已經(jīng)為人工智能應(yīng)用開發(fā)了自己的芯片。這些芯片被稱為張量處理單元（TPU），旨在與該公司的 TensorFlow 機器學(xué)習編程框架搭配使用。

Knowles 表示，此舉向投資者發(fā)出了一個信號，即新的處理器設(shè)計可能存在市場空間。“一夜之間，所有的風投都在想：那些瘋狂的英國人在哪里？”他說。從那時起，Graphcore 已經(jīng)籌集了 7.1 億美元（5.15 億英鎊）。

英偉達的競爭對手辯稱，GPU 是為圖形而非機器學(xué)習設(shè)計的，盡管其強大的處理能力意味著它們在人工智能任務(wù)領(lǐng)域比 CPU 表現(xiàn)更好，但由于精心的優(yōu)化和復(fù)雜的軟件層，它們的市場主導(dǎo)地位也只能到此為止了。

“英偉達在隱藏 GPU 的復(fù)雜性方面做得非常出色，”Graphcore 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Nigel Toon 說。“它之所以如此成功，歸功于他們創(chuàng)建的軟件庫、框架和隱藏復(fù)雜性的種種優(yōu)化。英偉達在底層做了非常繁重的工作。”

但就算不考慮 GPU，爭論也還是會繼續(xù)下去，你可能會從頭開始設(shè)計一個具有全新架構(gòu)的 AI 芯片。有很多選項可供選擇。谷歌的 TPU 是專用集成電路（ASIC），專為特定負載而設(shè)計；Cerebras 制造了一個晶圓規(guī)模的引擎，這是一個比其他任何芯片大至少 56 倍的龐然大物；IBM 和 BrainChip 基于人腦模型制造神經(jīng)形態(tài)芯片；Mythic 和 Graphcore 都做的是智能處理單元（IPU），但它們的設(shè)計有所不同。此外還有很多例子。

但 Catanzaro 認為，許多芯片只是 AI 加速器的變體 — 任何能提升 AI 性能的硬件都可以叫這個名字。“我們會談 GPU、TPU 或 IPU 或其他各種名詞，但人們對這些字母過于執(zhí)著了，”他說。“我們之所以叫 GPU 是因為我們過去做的事情……但 GPU 一直就是用于加速計算的，只是人們關(guān)心的負載性質(zhì)在不斷變化。”

任何人都可以參與這場競爭嗎？英偉達在核心基準測試，也是深度學(xué)習芯片的黃金標準 MLPerf 中占主導(dǎo)地位，要知道這種基準測試里很難保持領(lǐng)先。

Cambrian AI Research 的分析師 Karl Freund 指出，由包括谷歌在內(nèi)的學(xué)術(shù)界和行業(yè)參與者設(shè)計的基準測試工具 MLPerf 是由谷歌和英偉達主導(dǎo)的，但初創(chuàng)公司通常不會費心完成所有測試，因為系統(tǒng)的研發(fā)成本最好花在刀刃上。

英偉達確實很在意這個測試 — 而且每年的成績都超過谷歌的 TPU。“谷歌發(fā)明了 MLPerf 來證明他們的 TPU 有多好，”英偉達解決方案架構(gòu)和工程負責人 Marc Hamilton 說，“黃總說，如果我們每次運行 MLPerf 基準測試時都能向谷歌證明我們的 GPU 比 TPU 只快一點點，那就太好了。”

之前，為了確保它在這個基準測試的一個版本中拔得頭籌，英偉達將一臺自研超級計算機從 36 個 DGX 模塊升級到了驚人的 96 個。這需要重新布線整個系統(tǒng)。為了盡快做到這一點，他們直接把電線都剪斷了 — Hamilton 說這是價值約 100 萬美元的套件 — 并發(fā)來了新設(shè)備。這可能進一步說明了爭奪測試冠軍的戰(zhàn)斗有多瘋狂，但它也激發(fā)了 DGX 的新設(shè)計：現(xiàn)在這一代模塊無需任何重新布線就可以將 20 個組成一組。

對于基準測試和超級計算機來說，你可以隨時添加更多芯片。但對于 AI 計算的另一領(lǐng)域 — 邊緣推理，情況就不是這么一回事了。

一個英偉達 SuperPOD，Cambridge-1 超級計算機是用很多機柜的這種模塊搭建而成的

英偉達在 2020 年以 400 億美元的價格收購了英國芯片設(shè)計公司ARM，引起了全世界的關(guān)注， 因為ARM 的架構(gòu)為全球 95% 的智能手機提供支持。

但隨之而來的反應(yīng)并不都是積極的。ARM 聯(lián)合創(chuàng)始人 Hermann Hauser 不再在公司任職，但仍保留了股份。他稱這是一場“災(zāi)難”，可能會破壞 ARM 在市場上的中立性。 世界各地的監(jiān)管機構(gòu)——歐盟、英國、中國和美國—正在密切研究這項交易。

ARM 設(shè)計芯片，并將知識產(chǎn)權(quán)授權(quán)給其他公司以供它們使用。如果 AI 芯片制造商需要在系統(tǒng)中搭載 CPU，它們可以從 ARM 獲得芯片設(shè)計許可，并按照自己的規(guī)格制造芯片。競爭對手擔心英偉達控制的 ARM 可能會限制這些合作伙伴關(guān)系，盡管黃“明確”表示英偉達會尊重 ARM 的開放模式。

據(jù)報道，英國政府正在考慮該交易對國家安全是否有任何影響，盡管 ARM 目前歸日本軟銀所有；而中國則擔心 ARM 歸一家美國公司所有后，可能意味著其設(shè)計在現(xiàn)有貿(mào)易限制下被禁止出口到列入黑名單的中國公司。

Cerebras

在 Cerebras，首席執(zhí)行官 Andrew Feldman 意識到片上通信是很快的，但跨芯片之間的通信速度會變慢。那么為什么不建造一個足夠大的芯片，這樣你的數(shù)據(jù)就永遠不必離開片上了呢？Cerebras 晶圓級引擎將 400,000 個內(nèi)核塞進了 46,225 平方毫米的芯片上。“GPU 的內(nèi)核很棒，但通信架構(gòu)是不夠好的，”他說。

ARM 是邊緣推理芯片的一家主要設(shè)計者，這種芯片將深度學(xué)習技術(shù)應(yīng)用在了現(xiàn)實世界。這意味著這筆交易可能會對市場形態(tài)產(chǎn)生巨大影響；英偉達可以憑借其 GPU 和來自 ARM 的邊緣推理優(yōu)勢在數(shù)據(jù)中心領(lǐng)域占據(jù)主導(dǎo)地位。

什么是邊緣推理？英偉達強大的高性能系統(tǒng)會處理數(shù)據(jù)以訓(xùn)練和應(yīng)用模型，但還有另一種 AI 負載稱為推理，這種更輕量級的任務(wù)使用經(jīng)過訓(xùn)練的模型來解釋某些東西，例如無人駕駛汽車理解它的相機看到的事物、智能手機應(yīng)用找到你的臉部邊緣，從而將貓耳朵貼在你的自拍照上，或者醫(yī)學(xué)成像模型在掃描結(jié)果中發(fā)現(xiàn)癌癥的跡象。需要大量算力的訓(xùn)練過程是在數(shù)據(jù)中心完成的，但推理過程在數(shù)據(jù)中心和終端設(shè)備上都存在。

推理的第一步也在數(shù)據(jù)中心處理：當你向 Alexa 或 Siri 提問時，它會被發(fā)送回亞馬遜和蘋果的服務(wù)器進行解碼和回復(fù)。第二步推理發(fā)生在用戶終端設(shè)備中，例如相機、汽車和智能手機，這被稱為邊緣計算。這一步只需要較少的處理能力，但速度必須很快（沒有人愿意看到他們的無人駕駛汽車思考一陣兒后再決定是否剎車）。

英偉達目前在數(shù)據(jù)中心市場占據(jù)主導(dǎo)地位。 它的 A100 處理用于訓(xùn)練的數(shù)據(jù)，而推理則被虛擬化到更小的微型服務(wù)器上，在同一硬件上可以同時進行 50 個或更多推理負載。這對于像 AWS 這樣提供 AI 即服務(wù)的科技巨頭來說很有幫助，因為多家公司可以使用相同的硬件而無需擔憂數(shù)據(jù)泄露的風險。

在邊緣場景，英偉達有用于無人駕駛汽車的 DRIVE 和用于現(xiàn)場推理的 EGX，但低功耗芯片不是它的傳統(tǒng)優(yōu)勢所在。如果你曾用過游戲筆記本電腦，你會注意到它插電的次數(shù)要比 Chromebook 頻繁許多。低功耗芯片是 ARM 的優(yōu)勢領(lǐng)域，這也是英偉達斥資 400 億美元收購該公司的原因所在。

談到人工智能，ARM 的努力主要集中在兩個領(lǐng)域。首先，它正在將很多軟件框架適配到其現(xiàn)有的 CPU 上。對于更密集的負載，它開發(fā)了一種稱為 Ethos 的神經(jīng)處理單元（NPU）用作加速器。ARM 的 IP 產(chǎn)品部總裁 Rene Haas 表示，使用 Ethos-U55 的設(shè)備應(yīng)該很快就會面市，因為獲得對應(yīng)設(shè)計許可的公司已經(jīng)生產(chǎn)了芯片。

有了邊緣人工智能，語音助手將不再需要將語音上傳到 AWS 或蘋果服務(wù)器進行處理，而是可以基于本地智能算力做出響應(yīng)。“它讓工作可以在靠近源頭的地方完成，這在很多層面上都有助于提高效率，”Haas 說，并指出設(shè)備與云端之間來回發(fā)送數(shù)據(jù)會消耗電池電量。

英偉達歐洲、中東和非洲地區(qū)副總裁 David Hogan 表示：“我們談?wù)撐锫?lián)網(wǎng)已經(jīng)很長時間了，但直到現(xiàn)在才實現(xiàn)這一愿景。”“這種轉(zhuǎn)型是我們收購 ARM 計劃的核心訴求。”

Cambridge-1 超級計算機受控環(huán)境內(nèi)的技術(shù)人員

去年，當我們其他人在烤香蕉面包和追 Netflix 時，英偉達解決方案架構(gòu)和工程負責人 Marc Hamilton 花了一年中大部分時間建造了一臺價值 4000 萬英鎊的超級計算機。他解決了疫情造成的供應(yīng)短缺，基本按時完成了這臺 Cambridge-1 的組裝。英偉達的樂高式系統(tǒng)簡化了構(gòu)建工作。八個 A100 芯片構(gòu)成了稱為 DGX 的核心計算系統(tǒng)，就像是筆記本電腦里面的英特爾或 AMD 芯片。D

GX 成本 199,000 美元，是一臺完整的 AI 計算機，具有內(nèi)存和網(wǎng)絡(luò)以及其他所有功能，基本設(shè)計成即插即用式的。Cambridge-1 由成機柜的金盒子組成，每個盒子里有 20 個 DGX，稱為 SuperPod。

Hamilton 說，Cambridge-1 將成為英國最大、最強大的人工智能超級計算機，在世界上排名第 30 位（盡管排名可能會發(fā)生變化）。但它只會是英偉達自研系列中的第五大。Cambridge-1 使用 80 個 DGX A100 建造，而最大的 Selene 則用了 560 個。

英偉達在英國建造 Cambridge-1 的部分原因是收購 ARM 的交易，因為這單收購意味著該公司新增了很多英國員工。雖然它不是最快的，也不是最大的超級計算機，但 Cambridge-1 聲稱自己實現(xiàn)了兩個第一。

Hamilton 稱其為世界上第一臺云原生超級計算機，因為它具有類似于 AWS 的分區(qū)功能，讓不同公司可以使用相同的硬件而無需擔憂安全漏洞或數(shù)據(jù)泄露的風險。這還讓 Cambridge-1 拿到了第二個第一頭銜：這是英偉達將向外部合作伙伴開放的唯一超級計算機，可以讓各個大學(xué)和醫(yī)療保健巨頭 Astra Zeneca、Oxford Nanopore 和 GSK 運行自己的深度學(xué)習模型。

為什么英偉達要建造自己的超級計算機？ 原因之一是它需要很多大“玩具”來吸引最優(yōu)秀的人才。

早在 2016 年，英偉達還沒有造過超級計算機，F(xiàn)acebook 和谷歌彼時正在搶奪最優(yōu)秀的人工智能研究人員。“這不是因為他們給的錢更多，”Hamilton 說。“這是因為谷歌和 Facebook 擁有數(shù)以千計的 GPU 來運營他們的業(yè)務(wù)，并且他們的 AI 研究人員可以訪問這些 GPU。”

SambaNova

SambaNova Systems 的軟件定義方法將數(shù)據(jù)放在首位，用過濾和減少指令代替加法和減法等整數(shù)計算。SambaNova 將其設(shè)計稱為可重新配置的數(shù)據(jù)流，這是通過在每個“Cardinal”芯片上搭載 1.5TB 內(nèi)存實現(xiàn)的，而每個 DataScale SN10-8R 系統(tǒng)中有 8 個這種芯片。

現(xiàn)在，英偉達的超級計算機 Selene 是世界第五大計算機，僅次于日本一臺、中國一臺和美國政府擁有的兩臺。Hamilton 說，這意味著如果你是一名想要獲得最快 AI 硬件的研究人員，你可以為中國、美國或英偉達工作。中國的目標是到 2030 年成為人工智能產(chǎn)業(yè)的全球領(lǐng)導(dǎo)者，而美國則希望保持其在技術(shù)上的領(lǐng)先地位；

在人工智能前沿領(lǐng)域，局勢已經(jīng)很緊張了，但最近兩國之間的貿(mào)易戰(zhàn)可能會將它變成一場軍備競賽。作為一家美國公司，英偉達并不能完全避免此類問題。

Catanzaro 的 40 人實驗室的研究人員開發(fā)了可在英偉達自己的系統(tǒng)中使用的 AI，但這個實驗室還充當系統(tǒng)架構(gòu)師的“玻璃容器”，可以窺視未來的深度學(xué)習模型的工作方式。“如果你想為未來制造芯片，你希望它能滿足未來需求，你必須有能力預(yù)測未來最重要的負載是什么 — 它們在計算層面是什么樣子，”Catanzaro 說。“如果你搞砸了，你就會制造出錯誤的芯片。”芯片的設(shè)計和制造需要數(shù)年時間，因此這種遠見是必要的。

如果行業(yè)開發(fā)的模型不再在 GPU 上運行，或者至少不能在 GPU 上運行，會發(fā)生什么事情？ 英偉達的 Dally 承認這是一種可能性，但由于大多數(shù)研究人員都在使用 GPU 做研究，他認為這不太可能。“在新模型崛起之前，我們應(yīng)該已經(jīng)聽說過它了，也有機會測試它，并確保它在我們的 GPU 上運行良好，”他說。

其他人并不同意這一觀點 —還認為 GPU 可能會阻礙深度學(xué)習模型發(fā)揮其全部潛力。Cerebras 的 Feldman 說：“大家都在將他們的模型轉(zhuǎn)向當今的技術(shù)。”“最讓我們高興和興奮的事情之一是一群客戶正在編寫全新的模型。”他說，今年 Cerebras 將展示它所謂“GPU 不可能完成的工作”的例子 — 也就是根本無法在 GPU 上完成的負載。

Graphcore 的 Toon 說，很多研究人員早就告訴他，今天的硬件阻礙了他們的進步。他的搭檔 Knowles 將其比作著名作家奧威爾發(fā)明的“新語”，這是一種簡單的語言，可以預(yù)防人們思考更復(fù)雜的想法。

“有一些想法（例如概率機器學(xué)習）的發(fā)展仍然受阻，因為今天像 GPU 這樣的硬件不允許它繼續(xù)前進，”Toon 說。“英偉達能夠以多快的速度發(fā)展 GPU，還是會有新的東西來實現(xiàn)這一點？這將是競賽的焦點。”

麻省理工學(xué)院計算機科學(xué)和人工智能實驗室研究員 Neil Thompson 在一次 AI 會議上注意到一種趨勢，就是 研究人員暗示計算限制阻礙了他們的模型發(fā)展，限制了他們的選擇和數(shù)據(jù)集，并迫使一些人在他們的工作中留下錯誤，因為他們沒錢重新運行模型來解決問題。“這種現(xiàn)象真的很普遍，如果我們要像迄今為止一樣繼續(xù)實踐深度學(xué)習，這種局面對深度學(xué)習的未來來說是一個非常大的問題，”他說。

Thompson 及其同事分析了 1,058 篇 AI 論文，發(fā)現(xiàn) 機器學(xué)習的計算需求遠遠超過了硬件改進或模型訓(xùn)練效率提升帶來的增益。這樣下去，系統(tǒng)遲早要花費數(shù)億甚至數(shù)十億美元來訓(xùn)練 —并且還有其他成本。“使用更多 GPU 的問題在于，GPU 數(shù)量每增加一倍，成本就會增加一倍，環(huán)境足跡、碳和污染也會增加一倍，”Thompson 說。

他認為，僅靠硬件解決方案— 無論是來自英偉達還是挑戰(zhàn)者的 — 都無法阻止人工智能創(chuàng)新陷入困境。相反，我們需要構(gòu)建更高效的模型并更好地利用我們已有的模型。 諸如稀疏性之類的想法— 忽略數(shù)據(jù)集中的零以節(jié)省計算需求 — 可以提供幫助，因為它可以更有效地利用數(shù)據(jù)，只將其對比相關(guān)參數(shù)。另一個想法是將我們從模型中學(xué)到的東西提煉成更輕量級的方程，只運行模型的相關(guān)部分而不是大量的通用部分。

如果沒有這些努力，我們將需要更大的數(shù)據(jù)中心。但人工智能不應(yīng)該只讓那些買得起超級計算機的人們來研究。Thompson 說，“沒有強大計算機的大學(xué)已經(jīng)遠遠落后于那些進行高端深度學(xué)習的大學(xué)。”“能玩的人還是不少的，但是隨著計算量的增加，玩家的數(shù)量越來越少。我們已經(jīng)到了一些人被排除在外的地步。”

成本是可以削減的，這可能是初創(chuàng)公司贏得客戶并對抗現(xiàn)有企業(yè)的一種方式。AWS 去年在自己的云中加入了 Habana Labs 的芯片，稱這家英特爾擁有的以色列設(shè)計企業(yè)將運行成本降低了 40%。Habana Labs 首席商務(wù)官 Eitan Medina 表示：“為了讓 AI 惠及所有人，而不僅僅是富人，你確實需要提高性價比。”

AI 本就存在著偏見問題，而對硬件的不平等訪問加劇了這一問題。“這意味著我們只會看到硬幣的一面，”英偉達新興領(lǐng)域負責人 Kate Kallot 說。

“如果你不考慮世界上的大部分人口……我們將如何解決世界各地的挑戰(zhàn)？”她提到了聯(lián)合國的可持續(xù)發(fā)展目標：許多人工智能研究人員正在將他們的工作轉(zhuǎn)向應(yīng)對貧困和氣候危機等挑戰(zhàn)，但這些問題將在很大程度上影響新興市場。

要考慮的還有其他挑戰(zhàn)。疫情期間處理器的制造受到限制，而去年中美之間的貿(mào)易摩擦引發(fā)了人們對全球芯片工廠主要集中在亞洲的擔憂。 歐盟最近承諾到 2030 年生產(chǎn)全球五分之一的高端芯片。芯片設(shè)計企業(yè)大都將制造外包——英偉達芯片是由臺灣臺積電制造的——不過英特爾有自己的代工廠。今年 3 月，英特爾宣布計劃在美國開設(shè)兩家新工廠，首次為外部設(shè)計企業(yè)生產(chǎn)芯片，這或許可以讓美國在制造方面擁有更多控制權(quán)。

隨著這些障礙得到克服，芯片不斷發(fā)展，人工智能繼續(xù)擴張，直到觸及所有事物。這一趨勢很像連接革命，其中從烤面包機到冰箱的各種事物都加上了 Wi-Fi 和應(yīng)用支持。

但在未來，智能不僅意味著連接互聯(lián)網(wǎng)，還意味著嵌入人工智能。“它將無處不在，”ARM 的 Haas 說。“在未來幾年內(nèi)，它的身影將出現(xiàn)在每一個計算應(yīng)用中。”

來源 | 智能研究院

版權(quán)聲明：本號內(nèi)容部分來自互聯(lián)網(wǎng)，轉(zhuǎn)載請注明原文鏈接和作者，如有侵權(quán)或出處有誤請和我們聯(lián)系。