【行業(yè)資訊】2021年將是“人工智能硬件年”
正文共：5152字-8圖
預計閱讀時間：13分鐘
未來，誰將改變機器學習硬件的格局。
在本文中，我將討論專為機器學習 / 人工智能應(yīng)用開發(fā)的硬件，以及該領(lǐng)域的機遇。并簡要介紹英偉達是如何在機器學習硬件領(lǐng)域?qū)崿F(xiàn)近乎壟斷的地位，以及為什么幾乎沒有人能成功挑戰(zhàn)它。
在過去的 10 年中，專用于機器學習應(yīng)用的硬件研究迅猛發(fā)展，硬件與機器學習棧的每個部分都有關(guān)系。這種硬件可加速訓練和推理，減少延遲時間，降低功耗，并降低這些設(shè)備的零售成本。當前通用的機器學習硬件解決方案是英偉達 GPU，這使得英偉達在市場上占據(jù)主導地位，并使其估值超越英特爾。
隨著前景廣闊的研究不斷涌現(xiàn)，英偉達繼續(xù)通過出售 GPU 和它的專有 CUDA 工具箱來主導這個領(lǐng)域。不過，我認為有四個因素將挑戰(zhàn)英偉達的統(tǒng)治地位，并且最快今年，也肯定會在 2~3 年內(nèi)改變機器學習硬件的格局。
這個領(lǐng)域的學術(shù)研究正在成為主流。 摩爾定律已死。隨著它的消亡，“技術(shù)和市場力量正在將計算推向相反的方向，使得計算機處理器不再是通用的，而是更加專業(yè)化的。”（出處） 投資人和創(chuàng)始人都認識到，人工智能不僅能開辟新的領(lǐng)域，而且能增加他們的預算。 人工智能產(chǎn)生的碳排放量過高，而且越來越高。我們需要讓計算更加節(jié)能。 背景
下面是典型的機器學習管道的樣子：
對于大多數(shù)數(shù)據(jù)科學工作流而言，在訓練和部署大型模型之前，通用芯片，如 CPU，就已經(jīng)足夠了。GPU 在“深度學習”（涉及視覺和自然語言處理等任務(wù)的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)）中幾乎總是必不可少的。為深度學習提供 GPU 工作站的 Lambda Labs 公司估計，包括英偉達的頂級 GPU 集群在內(nèi)，訓練 GPT-3 的費用大約為 460 萬美元。
使用 GPU 的主要優(yōu)點是，與傳統(tǒng) CPU 相比， GPU 可以并行地執(zhí)行計算，數(shù)據(jù)吞吐量更高。計算過程中，機器學習的核心計算部分是矩陣乘法，并行運行時能大大提高運算速度。專有的英偉達 CUDA 提供了 API 和工具，以便開發(fā)者可以利用這種并行化。像 TensorFlow 和 PyTorch 這樣的流行庫將其抽象出來，其中一行代碼會自動檢測 GPU，然后利用 CUDA 后端。若要設(shè)計一種新的算法或庫，需要利用并行計算的優(yōu)勢，CUDA 提供的工具會使這一工作更加簡單。
上世紀 90 年代初，英偉達作為一家視頻游戲公司起家，希望能提供能快速繪制 3D 圖像的圖像芯片。它在這一業(yè)務(wù)上取得了成功，在與另一家顯卡制造商 AMD 的不斷交鋒中，始終如一地制造出一些最強大的 GPU。巧合的是，同樣的圖形硬件竟然成了深度學習騰飛不可或缺的因素。CUDA 讓英偉達比其他 GPU 更有優(yōu)勢。
2006 年，英偉達發(fā)布了第一個 CUDA 工具包，它提供了一個 API，可以讓使用 GPU 變得非常簡單。3 年后，2009 年，斯坦福大學人工智能教授吳恩達及其合作者發(fā)表了一篇題為《使用圖形處理器的大規(guī)模無監(jiān)督式深度學習》（Large-scale Deep Unsupervised Learning using Graphics Processors）的論文，指出如果 GPU 用于訓練，大規(guī)模的深度學習就有可能實現(xiàn)。
一年后，吳恩達和斯坦福大學的另一位教授，Google X 的共同創(chuàng)始人，Sebastian Thrun，向拉里·佩奇提出了在谷歌成立深度學習研究團隊的想法，該團隊后來成為 Google Brain。伴隨著 Google Brain 的崛起和“Imagenet 時刻”的到來，英偉達的 GPU 已經(jīng)成為人工智能 / 機器學習行業(yè)事實上的計算標準。如需更多信息，請參閱這篇文章《新的英特爾：英偉達如何從驅(qū)動視頻游戲到革新人工智能》（The New Intel: How Nvidia Went From Powering Video Games To Revolutionizing Artificial Intelligence）。
概述：現(xiàn)狀
英偉達憑借其 GPU 在深度學習硬件領(lǐng)域占據(jù)主導地位，這在很大程度上要歸功于 CUDA。據(jù) 福布斯報道，“2019 年 5 月，前四大云計算供應(yīng)商在 97.4% 的基礎(chǔ)設(shè)施即服務(wù)（IaaS）計算實例類型中部署了英偉達 GPU，并配備了專用加速器”。面對 競爭，它也 沒有坐以待斃。 谷歌早在 2015 年就開發(fā)了專門為神經(jīng)網(wǎng)絡(luò)開發(fā)的人工智能加速器芯片 TPU。在其作為特定領(lǐng)域加速器的狹義用例中，TPU 比 GPU 更快，也更便宜，但在谷歌的 GCP 生態(tài)系統(tǒng)中，TPU 被隔離起來，僅有 TensorFlow 和 PyTorch 支持（其他庫需要自己編寫 TPU 編譯器）。 AWS 正在對自己的芯片下賭注，尤其是機器學習。到目前為止，AWS Inferentia 芯片 似乎是最成功的。這在很大程度上取決于開發(fā)者從 CUDA 切換到亞馬遜 Inferentia 和其他芯片的工具包的難易程度。 2019 年 12 月，英特爾以 20 億美元的價格收購了 Habana Labs，這是一家以色列公司，為訓練和推理工作負載制造芯片和硬件加速器。英特爾的投資似乎得到了回報，上個月，AWS 宣布 將提供運行 Habana 芯片的新 EC2 實例，“與當前基于 GPU 的 EC2 實例相比，為機器學習工作負載提供高達 40% 的價格性能”。英特爾還推出了新的 Xeon CPU 系列，它認為可與英偉達的 GPU 競爭。 Xilinx 是一家發(fā)明 FPGA 的上市公司，最近又涉足人工智能加速器芯片領(lǐng)域，2020 年 10 月被 AMD 收購。 對人工智能計算能力的需求正在加速。 變化與機遇
正如我在上面提到的，我的設(shè)想是，到 2021 年及以后，英偉達的主導地位將會受到越來越多的挑戰(zhàn)和侵蝕。造成這種情況的原因有四個：
1. 學術(shù)研究變成真正的產(chǎn)品
學術(shù)界和工業(yè)界研究人員創(chuàng)立的一些初創(chuàng)公司已經(jīng)開始研究機器學習專用硬件，而且還有更多的開發(fā)空間。在這個領(lǐng)域發(fā)表的論文并不只是提出理論上的保證，它還展示了真正的硬件原型，這些原型實現(xiàn)了比商業(yè)可用選項更好的指標。（實例 1、實例 2 和 實例 3）
芯片和硬件加速器的種類很多，每一種都有其蓬勃發(fā)展的研究社區(qū)。簡單地列舉一些：
專用集成電路（ASIC）。谷歌 TPU 和 AWS Inferentia 都是 ASIC 的例子。ASIC 產(chǎn)品的研發(fā)和生產(chǎn)成本可能高達 5000 萬美元，但是復制產(chǎn)品的邊際成本通常很低。ASIC 可以被設(shè)計成低功耗的，而且不會對性能有太大的影響。 現(xiàn)場可編程邏輯門陣列（FPGA）。FPGA 對于高頻交易者來說已稀松平常，但在機器學習方面的例子包括微軟的 Brainwave 和英特爾的 Arria。單個 FPGA 的生產(chǎn)成本較低，但多個 FPGA 的 生產(chǎn)邊際成本要高于 ASIC。 神經(jīng)形態(tài)計算。該領(lǐng)域試圖對人腦的生物結(jié)構(gòu)進行建模，并將其轉(zhuǎn)換成硬件。盡管神經(jīng)形態(tài)學的思想可以追溯到 20 世紀 80 年代，但該領(lǐng)域仍處于起步階段。在《自然》上有一篇很好的 綜述性論文。 更多內(nèi)容請參閱此項調(diào)查報告《機器學習加速芯片綜述》（Survey of Machine Learning Accelerators），并關(guān)注 ISCAS。使用上述研究結(jié)果的一些有前途的初創(chuàng)公司。 Blaize 于 2019 年 宣稱 已經(jīng)開發(fā)出一種完全可編程的低功耗處理器，可實現(xiàn) 10 倍的低延遲，并且“系統(tǒng)效率最高可提高 60%”。 SambaNova Systems 是由斯坦福大學教授和甲骨文前高管創(chuàng)立的初創(chuàng)公司，由谷歌風投和英特爾資本出資組建。它 剛剛宣布 了一項新產(chǎn)品，該產(chǎn)品是一個“完整、集成的軟件和硬件系統(tǒng)平臺，可以對從算法到芯片的數(shù)據(jù)流進行優(yōu)化”。 Graphcore 是一家英國初創(chuàng)公司，由紅杉、微軟、寶馬和 DeepMinds 創(chuàng)始人領(lǐng)投。 2. 摩爾定律已死，專用硬件是未來的趨勢
摩爾定律預測，集成電路上的晶體管數(shù)量每兩年就會增加一倍。自 20 世紀 70 年代以來，這在經(jīng)驗上一直是正確的，并且是我們從那時起所看到的技術(shù)進步的代名詞：個人計算革命、傳感器和攝像頭的改進、移動設(shè)備的興起，以及為人工智能提供充足資源的崛起，凡是你能想到的一切。唯一的問題是，摩爾定律即將結(jié)束，如果它還沒有結(jié)束的話。“縮小芯片的難度越來越大，這已經(jīng)不是什么秘密了，而且這樣做的好處也今非昔比了。去年，英偉達的創(chuàng)始人黃仁勛直言不諱地認為，‘摩爾定律已不再可能了’。”《經(jīng)濟學人》（The Economist）寫道。
麻省理工學院經(jīng)濟學家 Neil Thompson 在《麻省理工科技評論》（MIT Technology Review）上解釋說：“軟件和專業(yè)架構(gòu)方面的進步現(xiàn)在將開始有選擇地針對特定的問題和商業(yè)機會，對那些有充足資金和資源的人有利，而不是像摩爾定律那樣‘水漲船高’，通過提供速度更快、成本更低的芯片來普及。”一些人，包括 Thomspon 在內(nèi)的，都 認為，“這是一個消極的發(fā)展，因為計算硬件將開始分裂為“‘快車道’應(yīng)用和‘慢車道’應(yīng)用程序，前者使用功能強大的定制芯片，而后者則被卡在使用通用芯片上，而且其進展緩慢。”
對于這個問題，分布式計算常常是一種解決方案：讓我們使用功能更少、成本更低的資源，但要使用大量的資源。但是，就連這種方案也越來越昂貴（更別提分布式梯度下降算法的復雜性了）。
那么，接下來會發(fā)生什么呢？2018 年，CMU 的研究人員在《自然》上發(fā)表了一篇論文，題為《摩爾定律末期的科學研究政策》（Science and research policy at the end of Moore’s law），該論文指出，私營部門將重點放在短期盈利上，這使得摩爾定律很難找到通用的繼承者。他們呼吁公私合作，共同創(chuàng)造計算硬件的未來。
雖然我并不反對公私合作（給予他們更多的權(quán)利），但我認為未來的計算硬件將是專用芯片的集合，當它們協(xié)同工作時，它們比現(xiàn)在的 CPU 更能勝任通用任務(wù)。我相信 蘋果向自己的芯片過渡 是朝著這個方向邁出的一步，這證明了軟硬件集成系統(tǒng)將優(yōu)于傳統(tǒng)芯片。特斯拉也在自動駕駛中采用了 自己的硬件。我們需要的是大量的新玩家涌入硬件生態(tài)系統(tǒng)，這樣專業(yè)芯片的好處就可以實現(xiàn)大眾化，并分布在昂貴的筆記本電腦、云服務(wù)器和汽車之外。（我敢說……是時候打造了嗎？）
3. 創(chuàng)始人和投資者擔心成本上漲
Andreessen Horowitz 的 Martin Casado 和 Matt Bornstein 在去年年初發(fā)表了一篇題為《人工智能的新業(yè)務(wù)（及其與傳統(tǒng)軟件的區(qū)別》（The New Business of AI (and How It’s Different From Traditional Software)）的文章，他們認為人工智能的業(yè)務(wù)與傳統(tǒng)軟件是不同的。說到底，一切都與利潤有關(guān)。“云計算基礎(chǔ)設(shè)施對人工智能公司來說是一個巨大的成本，有時甚至是隱性成本”。
正如我所提到的那樣，訓練人工智能模型可能需要花費數(shù)千美元（如果你是 OpenAI，你就得花數(shù)百萬美元），但成本并不止于這些。人工智能系統(tǒng)必須得到持續(xù)監(jiān)控和改進。如果你的模型是“離線”訓練的，那么它很容易出現(xiàn)概念漂移，即現(xiàn)實世界中的數(shù)據(jù)分布隨著時間的推移與你訓練的數(shù)據(jù)發(fā)生變化。這種情況可能是自然發(fā)生的，也可能是對抗性的，比如當用戶試圖欺騙信用風險算法時。出現(xiàn)這種情況時，就必須對模型進行再訓練。
對于降低概念漂移和創(chuàng)建與現(xiàn)有模型具有相同性能保證的更小的模型有一些積極的研究，但這是另一篇文章的主題。同時，該行業(yè)也正在推進更大的模型和更大的計算支出。更便宜、更專業(yè)的人工智能芯片無疑會降低這些成本。
4. 訓練大型模型有助于氣候變化
由馬薩諸塞大學阿默斯特分校進行的 一項研究 發(fā)現(xiàn)，訓練一個現(xiàn)成的自然語言處理模型所產(chǎn)生的碳排放量相當于從舊金山飛往紐約的一次航班。在三大云計算供應(yīng)商中，只有谷歌的數(shù)據(jù)中心超過 50% 的能源來自可再生能源。
但我認為，我不必列出我們?yōu)槭裁匆獪p少人工智能的碳排放。我想說的是，現(xiàn)有的芯片耗電量過大，而且研究表明，其他類型的硬件加速器，如 FPGA 和超低能耗芯片（如谷歌 TPU Edge），對于機器學習和其他任務(wù)來說，可以更加節(jié)能。
即使是地理也會影響到人工智能的碳排放。斯坦福大學的研究人員估計，“在主要依賴頁巖油的愛沙尼亞舉行一次會議，其產(chǎn)生的碳排放量是在魁北克舉行的會議的 30 倍，而魁北克主要依靠水力發(fā)電。”
已露端倪
我已經(jīng)提到了人工智能的硬件，但是人工智能的硬件怎么樣？谷歌最近 申請了一項專利，該專利是關(guān)于一種利用強化學習來確定跨多個硬件設(shè)備的機器學習模型操作的位置的方法。這項專利背后的研究人員之一是 Azalea Mirhoseini，她在 Google Brain 負責機器學習硬件 / 系統(tǒng)的登月計劃。
來源 | AI前線
版權(quán)聲明：本號內(nèi)容部分來自互聯(lián)網(wǎng)，轉(zhuǎn)載請注明原文鏈接和作者，如有侵權(quán)或出處有誤請和我們聯(lián)系。