下載鏈接：人工智能核心技術(shù)產(chǎn)業(yè)白皮書（2021）
人工智能本輪爆發(fā)初期主要在探討算法理論的可能性，聚焦探索強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)等新的學(xué)習(xí)方式以及 AlexNet、VGG、GooqLeNet等結(jié)構(gòu)多樣的算法模型，算法理論的不確定性和技術(shù)的不成熟耗費(fèi)產(chǎn)業(yè)界大量精力和時(shí)間，阻礙人工智能大規(guī)模應(yīng)用進(jìn)程。
人工智能企業(yè)增速明顯放緩，產(chǎn)業(yè)生態(tài)已現(xiàn)加速構(gòu)建態(tài)勢(shì)資本寒冬已經(jīng)出現(xiàn)。2019、2020 年全球每年新增人工智能企業(yè)數(shù)量已不足 100 家，且投融資的輪次后移趨勢(shì)不斷擴(kuò)大。
從技術(shù)基礎(chǔ)理論突破到工程化落地應(yīng)用，既有技術(shù)紅利已為產(chǎn)業(yè)發(fā)展奠定堅(jiān)實(shí)基礎(chǔ)。當(dāng)前，雖然資本市場(chǎng)的泡沫逐步破裂，但優(yōu)質(zhì)企業(yè)的估值仍在持續(xù)增長(zhǎng)，獨(dú)角獸企業(yè)不斷出現(xiàn)，產(chǎn)業(yè)呈現(xiàn)良性發(fā)展態(tài)勢(shì)。深度學(xué)習(xí)技術(shù)局限性似乎導(dǎo)致人工智能產(chǎn)業(yè)發(fā)展將遇天花板，然而事實(shí)并非如此。
雖然，可解釋性、理解推理等局限性確已顯現(xiàn)，但這是下一時(shí)期理論技術(shù)突破重點(diǎn)，不能因此否定圖像識(shí)別、語(yǔ)音合成、機(jī)器翻譯等感知類任務(wù)上的應(yīng)用技術(shù)成就和產(chǎn)業(yè)應(yīng)用前景。
目前，基于深度學(xué)習(xí)理論的優(yōu)化技術(shù)層出不窮，RegNet、GPT-3 等模型不斷提升視覺處理、閱讀理解等基礎(chǔ)智能任務(wù)水平，虛擬助手、多語(yǔ)種翻譯等智能應(yīng)用已開始進(jìn)入規(guī)模化應(yīng)用階段。
任務(wù)場(chǎng)景愈加復(fù)雜，倒逼學(xué)習(xí)方式多元化發(fā)展。有監(jiān)督學(xué)習(xí)建立在嚴(yán)苛條件之上，已不能完全滿足模型學(xué)習(xí)需求，面對(duì)更為復(fù)雜的任務(wù)場(chǎng)景，業(yè)內(nèi)加速探索強(qiáng)化學(xué)習(xí)、自監(jiān)督學(xué)習(xí)等多元學(xué)習(xí)方式，試圖縮小與通用智能的距離。深度強(qiáng)化學(xué)習(xí)不斷演進(jìn)，加速提升自主決策能力。深度強(qiáng)化學(xué)習(xí)加速拓展任務(wù)邊界，突破性解決多人棋牌、即時(shí)戰(zhàn)略游戲等多智能體非完全信息博弈任務(wù)。目前，OpenAl、谷歌、微軟等企業(yè)相繼攻克即時(shí)戰(zhàn)略、德州撲克、麻將等復(fù)雜游戲，并加速向無(wú)人機(jī)群體飛行等更為實(shí)際的應(yīng)用場(chǎng)景拓展。另一方面，深度強(qiáng)化學(xué)習(xí)不斷提升處理復(fù)雜任務(wù)的能力，逐步拓展至芯片設(shè)計(jì)、音樂編曲等對(duì)知識(shí)技能要求更高的專業(yè)領(lǐng)域。
谷歌、臉書等多家企業(yè)先后發(fā)布使用自監(jiān)督學(xué)習(xí)的算法模型，通過挖掘無(wú)標(biāo)注數(shù)據(jù)的監(jiān)督信息，顯著減少人為干預(yù)，在自然語(yǔ)言理解（NLP）領(lǐng)域取得顯著成效，如谷歌 BFRT、臉書 RoBFRTa、OpenAL GPT-3 等。訓(xùn)訓(xùn)練模型參數(shù)已至萬(wàn)億級(jí)，訓(xùn)練成本之高幾乎成為業(yè)內(nèi)頭部玩家的專屬技術(shù)路徑。2020年，OpenAl 發(fā)布 GPT-3 模型，模型參數(shù)多達(dá) 1750 億個(gè)，高達(dá) 1200 萬(wàn)美元的訓(xùn)練費(fèi)用為預(yù)訓(xùn)練模型的構(gòu)建構(gòu)筑壁壘，中小型人工智能企業(yè)難以望其項(xiàng)背。2021年，谷歌發(fā)布 Switch Transformer模型，再次將模型參數(shù)推至 1.6 萬(wàn)億新高。此外，微軟宣布與 OpenAl 達(dá)成合作協(xié)議，獲得 GPT-3 語(yǔ)言模型源碼的獨(dú)家授權(quán)，升級(jí)巨型模型的寡頭格局形勢(shì)，預(yù)示著未來(lái)超大規(guī)模預(yù)訓(xùn)練模型或?qū)⒄莆赵谏贁?shù)頭部企業(yè)手中。
預(yù)訓(xùn)練模型已進(jìn)入可直接用于多種自然語(yǔ)言處理任務(wù)的"通用"智能階段。預(yù)訓(xùn)練模型再次升級(jí)，頭部人工智能企業(yè)先后發(fā)布通用預(yù)訓(xùn)練模型，可直接面向多種自然語(yǔ)言處理任務(wù)使用，不再需要針對(duì)不同任務(wù)進(jìn)行微調(diào)。目前，谷歌 T5、OpenAl GPT-3 等通用預(yù)訓(xùn)練模型進(jìn)一步提升文本理解能力，在包含閱讀理解、問答等任務(wù)的基準(zhǔn)測(cè)試中接近人類水平。另一方面，通用預(yù)訓(xùn)練模型加速步入產(chǎn)業(yè)應(yīng)用階段， OpenAl 公司發(fā)布 GPT-3 商用應(yīng)用程序接口（API），提供問答、翻譯、文本生成等服務(wù)，搜索服務(wù)提供商 Al golia、社交媒體平臺(tái) Reddit等多家企業(yè)已開始使用。
模型小型化成為提升模型運(yùn)行效率的主要方向。開發(fā)框架中的模型壓縮功能創(chuàng)新活躍，模型壓縮已成為開發(fā)框架必不可少的關(guān)鍵能力，臉書、騰訊、谷歌等頭部人工智能企業(yè)以及英偉達(dá)、英特爾等芯片大廠加速構(gòu)建完善模型壓縮能力，依托自身算法技術(shù)與硬件芯片優(yōu)勢(shì)，在其主導(dǎo)的TensorFIow、PyTorch、TensorRT 等開發(fā)框架中提供剪枝、量化等算法壓縮工具，并針對(duì) GPU、CPU 等硬件芯片進(jìn)行特定壓縮優(yōu)化。
以谷歌 TensorFlow、臉書 PyTorch 等為代表的開源框架格局初顯清晰，框架格局已從百花齊放轉(zhuǎn)向幾家分爭(zhēng)。目前，業(yè)界開源開發(fā)框架主導(dǎo)權(quán)基本被 TensorFlow（谷歌）、PyTorch（臉書）等掌握；微軟 CNTK、日本初創(chuàng)企業(yè)首選網(wǎng)絡(luò)（preferred networks）Chainer、加拿大蒙特利爾大學(xué)主導(dǎo)的 Theano 等早期熱點(diǎn)框架已通過與主流框架合并或直接停止更新的方式退出歷史舞臺(tái)。TensorFIow 依托工業(yè)界的部署優(yōu)勢(shì)持續(xù)位于第一，市場(chǎng)關(guān)注度達(dá)15萬(wàn)，超過第二名3倍以上，臉書的 PyTorch（合并 Caffe2）憑借其易用性迅速突起，在各大頂級(jí)學(xué)術(shù)會(huì)議論文中占比超過 50%，有趕超勢(shì)頭。
同時(shí)，我國(guó)正在快速進(jìn)行開源開發(fā)框架的系統(tǒng)化布局，百度飛槳、曠視 MeqEnqine、華為 MindSpore、清華大學(xué) Jittor 等國(guó)產(chǎn)框架加速升級(jí)，其中，百度飛槳作為最早推出的開放框架之一，已初步應(yīng)用于工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)等業(yè)務(wù)場(chǎng)景，服務(wù) 230 余萬(wàn)開發(fā)者，整體應(yīng)用廣度和深度正在不斷成熟和完善。端側(cè)推理框架遇碎片化挑戰(zhàn)。隨著各行業(yè)終端智能化需求加速增加，算法模型的終端推理性能引起業(yè)內(nèi)重視。目前，推理框架面臨碎片化挑戰(zhàn)，一方面，計(jì)算終端所使用的芯片類型多樣，CPU、GPU 雖為主流架構(gòu)，但 NPU、DSP、FPGA 等多樣的人工智能芯片也在不斷涌現(xiàn)，終端推理框架對(duì)底層硬件的適配難以統(tǒng)一；另一方面，算法架構(gòu)尚不穩(wěn)定，算子（卷積、激活函數(shù)-ReLU等）及組合方式的多樣化和持續(xù)演化使得單一的推理框架短時(shí)間內(nèi)難以覆蓋所有的可能性，推理框架顯現(xiàn)出各為其主的發(fā)展格局。技術(shù)工具鏈成為研發(fā)平臺(tái)的競(jìng)爭(zhēng)核心。目前，研發(fā)平臺(tái)整體呈現(xiàn)三類發(fā)展特點(diǎn)∶ 一是工具體系化，打造全面的技術(shù)工具鏈成為了這一時(shí)期研發(fā)平臺(tái)的競(jìng)爭(zhēng)核心，技術(shù)工具鏈提供數(shù)據(jù)處理、模型構(gòu)建、部署、監(jiān)測(cè)分析等全生命周期的工具服務(wù)，如 SagelMaker Autopilot、谷歌 AutoML、微軟 MLOps 等；
二是開放框架開放化，研發(fā)平臺(tái)基本均同時(shí)支持 TensorFlow、PyTorch、MXNet 等多個(gè)主流框架；
三是分布式計(jì)算不斷優(yōu)化，研發(fā)平臺(tái)圍繞人工智能技術(shù)的特點(diǎn)和開發(fā)框架對(duì)自身的云計(jì)算架構(gòu)進(jìn)行深度優(yōu)化，如 SageMaker 在 256 個(gè) GPU下的TensorFlow擴(kuò)展效率可達(dá) 90%，并同時(shí)支持多種類型人工智能芯片。
智能計(jì)算已初步形成智能芯片、軟硬協(xié)同、多樣化算力供給模式的產(chǎn)業(yè)形態(tài)。目前，人工智能芯片架構(gòu)百花齊放，云側(cè)雖仍以 GPU 為主，但端側(cè)涌現(xiàn)出面向不同場(chǎng)景的芯片架構(gòu)，英偉達(dá)、英特爾等芯片廠商面向人工智能應(yīng)用的軟硬件工具生態(tài)日益完善，面向深度學(xué)習(xí)的大規(guī)模分布式計(jì)算平臺(tái)不斷成熟，云智能服務(wù)、公共智能超算中心、自建數(shù)據(jù)中心等多種計(jì)算供給模式逐步形成。圍繞智能計(jì)算芯片的軟件工具開始從基礎(chǔ)計(jì)算向場(chǎng)景計(jì)算轉(zhuǎn)變。早期，以英偉達(dá)為代表的芯片企業(yè)不斷構(gòu)建以 CUDA 編程模型為核心的高性能算子庫(kù)、通信算法、推理加速引擎等多層次基礎(chǔ)軟件工具生態(tài)。當(dāng)前，隨著智能技術(shù)在傳統(tǒng)行業(yè)中滲透的不斷深入，頭部智能芯片企業(yè)開始構(gòu)建面向差異化場(chǎng)景的軟硬一體平臺(tái)，實(shí)現(xiàn)底層芯片、編程框架、行業(yè)算法庫(kù)、細(xì)分場(chǎng)景研發(fā)平臺(tái)等全棧高效整合，試圖培育多樣化行業(yè)場(chǎng)景的計(jì)算生態(tài)、搶占細(xì)分市場(chǎng)。例如，2020 年，英偉達(dá)圍繞機(jī)器人和自動(dòng)駕駛場(chǎng)景，打造 Jarvis 對(duì)話系統(tǒng)、ISAAC 機(jī)器人等軟硬一體計(jì)算平臺(tái)，寶馬公司使用英偉達(dá) ISSAC 機(jī)器人平臺(tái)、 Jetson AGX Xavier 芯片平臺(tái)以及 EGX 邊緣計(jì)算機(jī)等。數(shù)據(jù)集建設(shè)需求更為專業(yè)。監(jiān)督學(xué)習(xí)仍是產(chǎn)業(yè)界人工智能算法訓(xùn)練的主要方式，因此大規(guī)模、高質(zhì)量的人工標(biāo)注數(shù)據(jù)集是產(chǎn)業(yè)發(fā)展剛需。目前，數(shù)據(jù)標(biāo)注從簡(jiǎn)單、重復(fù)的拉框標(biāo)注向精細(xì)化方向發(fā)展，呈現(xiàn)三類發(fā)展特點(diǎn)∶一是數(shù)據(jù)標(biāo)注流程趨于智能化，通過預(yù)標(biāo)注技術(shù)和半自動(dòng)化校驗(yàn)的方式輔助人工標(biāo)注已成為當(dāng)前發(fā)展重點(diǎn)，業(yè)內(nèi)涌現(xiàn)出一批標(biāo)注工具，可對(duì)未標(biāo)記圖像直接生成分割輪廓，并借助人工進(jìn)行微調(diào)；
二是標(biāo)注數(shù)據(jù)質(zhì)量要求不斷提升，自動(dòng)駕駛、工業(yè)制造等智能任務(wù)場(chǎng)景愈之復(fù)雜，高質(zhì)量、精細(xì)化的標(biāo)注數(shù)據(jù)直接影響算法魯棒性和準(zhǔn)確性，標(biāo)注準(zhǔn)確率需求從 90%提升至 99%；
三是醫(yī)療、工業(yè)等差異化垂直應(yīng)用驅(qū)動(dòng)數(shù)據(jù)標(biāo)注服務(wù)進(jìn)一步貼合個(gè)性化、多元化的場(chǎng)景需求，如數(shù)據(jù)服務(wù)企業(yè) Scale AI 為自動(dòng)駕駛場(chǎng)景提供標(biāo)注服務(wù)，對(duì)車道、煙塵、尾氣、雨水等更為個(gè)性化的目標(biāo)物體進(jìn)行標(biāo)注。
產(chǎn)業(yè)主體以自身優(yōu)勢(shì)切入，初步形成四種小生態(tài)模式。一是人工智能全面融入云服務(wù)體系，云服務(wù)廠商積極構(gòu)建 Al 基礎(chǔ)設(shè)施生態(tài)。亞馬遜、微軟、谷歌為代表的廠商布局人工智能專用硬件、開源開發(fā)工具、研發(fā)平臺(tái)、技術(shù)服務(wù)、行業(yè)使能方案等全棧 Al 技術(shù)支撐體系。
二是人工智能技術(shù)服務(wù)企業(yè)、互聯(lián)網(wǎng)企業(yè)以視覺、語(yǔ)音等技術(shù)優(yōu)勢(shì)切入，加速打造垂直行業(yè)技術(shù)服務(wù)平臺(tái)和解決方案生態(tài)。
三是傳統(tǒng)企業(yè)以行業(yè)經(jīng)驗(yàn)切入，強(qiáng)調(diào)解決問題的實(shí)際應(yīng)用能力，積極構(gòu)建圍繞基礎(chǔ)科研、成果轉(zhuǎn)化、產(chǎn)業(yè)培育多維度的創(chuàng)新生態(tài)。傳統(tǒng)行業(yè)頭部企業(yè)針對(duì)顛覆性、前沿性技術(shù)展開系統(tǒng)布局，鞏固行業(yè)領(lǐng)先地位和優(yōu)勢(shì)。
四是硬件廠商以芯片設(shè)計(jì)、整機(jī)集成為切入點(diǎn)，加速構(gòu)建軟硬協(xié)同產(chǎn)業(yè)生態(tài)。英偉達(dá)、英特爾、華為、浪潮等芯片、設(shè)備廠商圍繞其芯片和計(jì)算設(shè)備積極豐富性能庫(kù)、編譯器、編程框架、編程工具等配套軟件，通過多樣化方式壯大開發(fā)者社區(qū)及產(chǎn)業(yè)合作伙伴規(guī)模，力圖構(gòu)建軟硬協(xié)同的產(chǎn)業(yè)生態(tài)體系。
本號(hào)資料全部上傳至知識(shí)星球，更多內(nèi)容請(qǐng)登錄智能計(jì)算芯知識(shí)（知識(shí)星球）星球下載全部資料。
免責(zé)申明：本號(hào)聚焦相關(guān)技術(shù)分享，內(nèi)容觀點(diǎn)不代表本號(hào)立場(chǎng)，可追溯內(nèi)容均注明來(lái)源，發(fā)布文章若存在版權(quán)等問題，請(qǐng)留言聯(lián)系刪除，謝謝。
電子書<服務(wù)器基礎(chǔ)知識(shí)全解(終極版)>更新完畢，知識(shí)點(diǎn)深度講解，提供182頁(yè)完整版下載。
獲取方式：點(diǎn)擊“閱讀原文”即可查看PPT可編輯版本和PDF閱讀版本詳情。
溫馨提示：
請(qǐng)搜索“AI_Architect”或“掃碼”關(guān)注公眾號(hào)實(shí)時(shí)掌握深度技術(shù)分享，點(diǎn)擊“閱讀原文”獲取更多原創(chuàng)技術(shù)干貨。
