拿下AI測試四項(xiàng)全球第一！平頭哥玄鐵CPU的布局與RISC-V的未來

4月7日，全球權(quán)威AI基準(zhǔn)測試MLPerf發(fā)布最新榜單，在聚焦低功耗、高能效的IoT領(lǐng)域Tiny v0.7榜單中，基于平頭哥玄鐵RISC-V C906處理器的軟硬件聯(lián)合優(yōu)化方案，取得了全部4個(gè)指標(biāo)的第一，并且達(dá)到了其他競品同類最優(yōu)性能的10倍以上。這也意味著，玄鐵RISC-V C906處理器成為了目前最高能效比的AIoT計(jì)算內(nèi)核。

在該測試結(jié)果公布的次日，芯智訊專訪了阿里平頭哥副總裁孟建熠，以及平頭哥生態(tài)負(fù)責(zé)人楊靜，希望為大家揭開平頭哥玄鐵RISC-V C906處理器此次在AI基準(zhǔn)測試當(dāng)中以絕對(duì)優(yōu)勢獲得4項(xiàng)全球第一背后的秘密。同時(shí)，對(duì)于平頭哥在RISC-V領(lǐng)域最新的技術(shù)及生態(tài)進(jìn)展，以及對(duì)于RISC-V產(chǎn)業(yè)未來的發(fā)展，孟建熠與楊靜也做了進(jìn)一步的分享。

RISC-V架構(gòu)的新機(jī)遇：CPU的高能效AI計(jì)算

眾所周知，目前在CPU市場，英特爾的X86架構(gòu)及Arm架構(gòu)仍然是最為主流的指令集架構(gòu)。其中，x86架構(gòu)統(tǒng)治著PC及服務(wù)器市場，而Arm架構(gòu)則完全占據(jù)了移動(dòng)市場。不過，在IoT（物聯(lián)網(wǎng)）市場，由于需求非常碎片化、對(duì)功耗、成本也更為敏感，目前不論是X86架構(gòu)還是Arm架構(gòu)的處理器，都難以很好的滿足IoT市場各種定制化的需求。

相比之下，近幾年來興起的RISC-V架構(gòu)，由于具有指令非常精簡、模塊化、可擴(kuò)展、開源、免費(fèi)等優(yōu)點(diǎn)，使得它在IoT市場有著天然的優(yōu)勢，可以更容易地針對(duì)物聯(lián)網(wǎng)市場開發(fā)出低功耗、高能效、低成本、滿足各種定制化需求的處理器產(chǎn)品。更為關(guān)鍵的是，在IoT市場，x86或Arm都沒有絕對(duì)的生態(tài)上的優(yōu)勢，RISC-V的發(fā)展并不會(huì)受到壓制。再加上開源的RISC-V既能讓企業(yè)參與全球RISC-V技術(shù)協(xié)同創(chuàng)新，又能滿足相對(duì)獨(dú)立的自主可控發(fā)展需求，使得RISC-V受到了眾多中國廠商的追捧。

近年來，隨著邊緣計(jì)算以及人工智能（AI）技術(shù)的興起，更多原本放在云端的AI計(jì)算被下放到邊緣端，這樣一方面可以減少對(duì)于網(wǎng)絡(luò)帶寬的消耗，同時(shí)也能降低數(shù)據(jù)處理的延時(shí)，保障用戶數(shù)據(jù)的安全性，提升用戶的整體的AI體驗(yàn)。在此背景之下，AIoT（智能物聯(lián)網(wǎng)）市場對(duì)于邊緣AI的能力也提出了更高的要求。

由于AIoT芯片對(duì)于成本和功耗都比較敏感，不同的細(xì)分市場也有著不同的個(gè)性化的需求，這也使得AIoT芯片大多無法像云端或移動(dòng)端的芯片那樣，直接外掛或集成定制的AI加速來負(fù)責(zé)AI計(jì)算，更多是依賴于CPU來進(jìn)行AI計(jì)算。

孟建熠也表示，面對(duì)IoT領(lǐng)域的AI需求，其實(shí)很多場景都不需要用AI加速器去做，尤其是在面對(duì)1Tops以下算力需求的應(yīng)用當(dāng)中，通過優(yōu)化提升CPU的AI能力就已經(jīng)可以應(yīng)對(duì)，這對(duì)于芯片的成本、功耗、可調(diào)試性、可開發(fā)性都是非常友好的。

相對(duì)于x86及Arm等CPU架構(gòu)來說，由于RISC-V架構(gòu)CPU本就有著低功耗、低成本的優(yōu)勢，這也使得進(jìn)一步挖掘RISC-V CPU的AI能力，成為了不少AIoT芯片廠商重點(diǎn)拓展的新方向。特別是在控制功耗的前提下，RISC-V CPU的AI能效的表現(xiàn)則更為關(guān)鍵。

玄鐵C906奪得四項(xiàng)AI測試全球第一，意義何在？

此次平頭哥半導(dǎo)體玄鐵RISC-V C906參與的MLPerf基準(zhǔn)測試，是目前全球最權(quán)威的AI基準(zhǔn)測試之一。Tiny是MLPerf近年新增的聚焦于低功耗、高性價(jià)比的IoT場景的性能測試分類，主要用于展示各芯片廠商在應(yīng)用日益廣泛的IoT智能市場情景中的軟硬件性能和優(yōu)化能力。

據(jù)了解，此次在本次Tiny v0.7的測試中，參與競爭的CPU架構(gòu)多樣，涵蓋了Arm、RISC-V架構(gòu)和自研架構(gòu)等。在不使用加速器的情況下，阿里基于平頭哥玄鐵RISC-V C906處理器內(nèi)核——全志D1提交的軟硬件性能優(yōu)化結(jié)果，在滿足精度要求的同時(shí)，刷新了全部4個(gè)benchmark（主要是視覺喚醒、圖像分類、語音喚醒及異常監(jiān)測）性能指標(biāo)的紀(jì)錄，創(chuàng)造了RISC-V架構(gòu)在MLPerf Tiny基準(zhǔn)測試有史以來的最好成績。

△MLPerf網(wǎng)站展示的玄鐵C906的四項(xiàng)測試

從Tiny v0.7推理性能數(shù)據(jù)對(duì)比來看，玄鐵C906的四項(xiàng)測試得分分別達(dá)到了其他機(jī)構(gòu)最優(yōu)性能的12.6倍、20.8倍、16.2倍和10.9倍以上。足見玄鐵C906在AIoT領(lǐng)域的性能優(yōu)勢。

△權(quán)威AI榜單MLPerf?Tiny?V0.7性能數(shù)據(jù)對(duì)比

據(jù)了解，在AI Benchmark領(lǐng)域，過去大家看重的都是芯片的AI性能，在這塊MLPerf已經(jīng)做到了國際公認(rèn)的權(quán)威。經(jīng)過近幾年的發(fā)展，特別是在IoT領(lǐng)域，芯片的AI能效表現(xiàn)越來越受到重視，MLPerf也對(duì)應(yīng)的推出了針對(duì)IoT領(lǐng)域的AI能效的基準(zhǔn)測試Tiny。

孟建熠告訴芯智訊：“由于此前阿里在AI能效方面一直有較多的布局和積累，當(dāng)Tiny這個(gè)測試推出之后，我們自然就想來反映一下自身的能力，于是就去參與了測試，結(jié)果四個(gè)指標(biāo)都拿到了第一，證明了我們的技術(shù)路線是正確的?！?/p>

需要特別指出的是，該測試成績是在不使用加速器的情況下取得的，也就是說，這個(gè)測試的成績完全反映的是平頭哥C906的AI處理能力。

“從平頭哥的角度來說，我們的定位就是提供RISC-V原生的AI支持，而不是去做AI加速器，所以我們?nèi)慷际怯肅PU來跑的，通過軟硬件的協(xié)同創(chuàng)新證明我們的整體能力?？蛻艨梢曰诖耍偃パ邪l(fā)更定制化的AI加速器?！泵辖趶?qiáng)調(diào)：“我們覺得這件事真正的價(jià)值在于對(duì)RISC-V產(chǎn)業(yè)發(fā)展的推動(dòng)，它不僅證明了RISC-V在AI的高能效處理上是可行的，而且相比其它架構(gòu)還更具領(lǐng)先優(yōu)勢，大家可以持續(xù)地往這個(gè)方向做得更好?！?/p>

RISC-V國際基金會(huì)CEO Calista Redmond也表示:??“物聯(lián)網(wǎng)領(lǐng)域的AI技術(shù)競爭激烈，不同層面的定向優(yōu)化對(duì)于以極低功耗取得新突破至關(guān)重要。阿里此次的工作證明了其在RISC-V產(chǎn)業(yè)的領(lǐng)導(dǎo)者地位，也給全球RISC-V社區(qū)和生態(tài)的發(fā)展提供了信心?！?/p>

軟硬協(xié)同優(yōu)化是關(guān)鍵

那么，平頭哥玄鐵C906此次成功拿下四項(xiàng)AI測試的全球第一，并且相比友商的最優(yōu)性能得分均高出了10倍以上，其背后又有著哪些秘密呢？

據(jù)介紹，此番玄鐵C906這一成績的取得，主要是得益于阿里軟硬件協(xié)同創(chuàng)新優(yōu)化的實(shí)力，包括了從硬件，到編譯，到算法，再到應(yīng)用的各個(gè)方面。

首先，在硬件層面，玄鐵C906處理器是業(yè)界最早量產(chǎn)的向量擴(kuò)展RISC-V指令集處理器。采用5~8級(jí)流水線設(shè)計(jì)，配備性能優(yōu)異的單雙精度浮點(diǎn)和128位矢量運(yùn)算單元，支持INT8 / INT16 / INT32 / INT64 以及 BF16 / FP16 / FP32 / FP64多種格式的矢量運(yùn)算。同時(shí)，C906在數(shù)據(jù)預(yù)取上也做了優(yōu)化，采用多通道多模式的數(shù)據(jù)預(yù)取技術(shù)，可大幅提升數(shù)據(jù)訪問帶寬。

其次，在編譯層面，平頭哥進(jìn)一步優(yōu)化了針對(duì)玄鐵CPU平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型部署工具集HHB（Heterogeneous Honey Badger）?及開源神經(jīng)網(wǎng)絡(luò)加速庫CSI-NN2，將AI算子更好地與硬件適配，使得玄鐵CPU實(shí)現(xiàn)了AI性能升級(jí)。目前，HHB及CSI-NN2均已開源。

第三，在算法層面，借助阿里云震旦異構(gòu)計(jì)算加速平臺(tái)SinianML對(duì)各個(gè)benchmark的神經(jīng)網(wǎng)絡(luò)進(jìn)行了壓縮、蒸餾、伸縮、網(wǎng)絡(luò)結(jié)構(gòu)搜索等多方位的優(yōu)化，在保證達(dá)到要求精度目標(biāo)的情況下，得到遠(yuǎn)高于標(biāo)準(zhǔn)模型的計(jì)算效率，同時(shí)集成阿里IoT、螞蟻IoT、達(dá)摩院語音實(shí)驗(yàn)室等在各自領(lǐng)域的優(yōu)化經(jīng)驗(yàn)和能力，進(jìn)一步拓展細(xì)分領(lǐng)域的優(yōu)化的效果。

第四，在應(yīng)用層面，玄鐵RISC-V處理器經(jīng)過數(shù)年的發(fā)展，目前已覆蓋低功耗、高能效、高性能等各類場景，并支持了OpenXuantie的多操作系統(tǒng)（AliOS、FreeRTOS、RT-Thread、Linux、Android等），廣泛應(yīng)用于智能家電、車載、工業(yè)控制、邊緣計(jì)算等領(lǐng)域。這也使得玄鐵RISC-V處理器能夠針對(duì)各種不同應(yīng)用端的需求進(jìn)行持續(xù)優(yōu)化。

總結(jié)來說，玄鐵RISC-V的硬件更多的是處理器這塊，而軟件則更多的是AI的編譯框架以及上層的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的工具。軟硬協(xié)同優(yōu)化，則得益于阿里云AI團(tuán)隊(duì)與平頭哥團(tuán)隊(duì)之間的協(xié)同。

早在2019年8月的云棲大會(huì)上，阿里達(dá)摩院就發(fā)布了首款針對(duì)云端的自研的AI芯片——全球最強(qiáng)的AI推理芯片含光800。在當(dāng)時(shí)的MLPerf基準(zhǔn)聯(lián)盟公布首輪AI推理基準(zhǔn)測試中，含光800在適用于圖像分類任務(wù)的Resnet50 v1.5基準(zhǔn)測試的四個(gè)場景中均都取得了單芯片第一的成績。

孟建熠告訴芯智訊：“阿里云對(duì)AI編譯能力、AI框架的優(yōu)化經(jīng)驗(yàn)豐富，AI模型優(yōu)化的能力是非常強(qiáng)的。平頭哥則在RISC-V處理器層面，通過優(yōu)化庫來優(yōu)化我們的硬件結(jié)構(gòu)，從而最終實(shí)現(xiàn)了更好的AI能力的提升?！?/p>

那么其他的RISC-V芯片廠商能否通過類似的軟硬件協(xié)同優(yōu)化的方式來實(shí)現(xiàn)對(duì)于平頭哥玄鐵RISC-V C906在AI能效上的追趕呢？

孟建熠認(rèn)為，這其中的關(guān)鍵在于它能不能打破其已有軟硬件分離的體系，在系統(tǒng)層面進(jìn)行優(yōu)化，實(shí)現(xiàn)軟硬件的協(xié)同。RISC-V作為開放的架構(gòu)體系，在軟硬協(xié)同優(yōu)化上有著天然的優(yōu)勢，其他廠商也都可以在各自的應(yīng)用場景里面把它優(yōu)化好。當(dāng)然，這其中也是有著較高門檻的。

“要對(duì)于AI的框架、模型等有著深入理解，才能把上層優(yōu)化做好，同時(shí)上層優(yōu)化也需要底層硬件配合。這是一個(gè)系統(tǒng)能力，不能只看硬件和軟件，還要看應(yīng)用。阿里的優(yōu)勢在于，阿里云和平頭哥多年來在這一領(lǐng)域的深厚積累?！泵辖谡f道。

據(jù)介紹，目前所有的基于玄鐵9系列的處理器，都可以通過平頭哥提供的軟硬件工具的升級(jí)，具備這個(gè)軟硬協(xié)同的能力，以大幅提升整體的AI能效。

需要指出的是，目前包括平頭哥玄鐵RISC-V E902、E906、C906、C910等4款量產(chǎn)處理器IP，以及針對(duì)玄鐵RISC-V處理器AI方面的神經(jīng)網(wǎng)絡(luò)模型部署工具集HHB和神經(jīng)網(wǎng)絡(luò)加速庫CSI-NN2，都是完全開源開放的。所以，在此基礎(chǔ)上，客戶在面向特定領(lǐng)域的時(shí)候，還可以自己做更深度的優(yōu)化。

據(jù)了解，玄鐵9系列在跟客戶的產(chǎn)品迭代過程中，在指令架構(gòu)、硬件架構(gòu)上面基本都是保持穩(wěn)定的，在底層的庫和上層的應(yīng)用配套、資源使用、算法與硬件架構(gòu)匹配上面，則會(huì)持續(xù)更新，幫助客戶進(jìn)行適配。

孟建熠表示：“玄鐵RISC-V提供的是一個(gè)基礎(chǔ)的軟硬件的能力。隨著合作伙伴對(duì)于場景不斷地深入理解，完全可以在我們的基礎(chǔ)上做得更好。我覺得RISC-V芯片未來應(yīng)該能夠在低功耗、低成本、高能效、AI這些方面體現(xiàn)出更多優(yōu)勢?！?/p>

?

楊靜也強(qiáng)調(diào)：“玄鐵RISC-V軟硬協(xié)同的能力是可以復(fù)制的，我們希望在更多的在行業(yè)里面，幫助客戶從應(yīng)用出發(fā)，通過軟硬件協(xié)同創(chuàng)新的方式不斷優(yōu)化，把能效進(jìn)一步提升起來?！?/p>

RISC-V在移動(dòng)及服務(wù)器市場的未來

正如我們?cè)谇拔漠?dāng)中所指出的，由于RISC-V所具有的低功耗、低成本的優(yōu)勢，使得其非常適合IoT市場。目前RISC-V生態(tài)的發(fā)展也主要是圍繞著各種IoT的應(yīng)用。但是，這并不代表RISC-V就沒有機(jī)會(huì)進(jìn)入Arm架構(gòu)統(tǒng)治的移動(dòng)市場，以及x86架構(gòu)統(tǒng)治的服務(wù)器市場。

2021年10月13日，平頭哥就宣布其基于RISC-V架構(gòu)的玄鐵C910成功兼容安卓系統(tǒng)，可運(yùn)行Chrome瀏覽器等應(yīng)用。這也是當(dāng)時(shí)業(yè)界首次實(shí)現(xiàn)RISC-V架構(gòu)對(duì)安卓的支持，意味著RISC-V架構(gòu)有望打破場景壁壘，成為移動(dòng)端芯片設(shè)計(jì)的新選擇。

據(jù)芯智訊了解，目前平頭哥正持續(xù)推動(dòng)基于RISC-V CPU架構(gòu)的Android生態(tài)發(fā)展，未來將有更多新的進(jìn)展和發(fā)布值得期待。

雖然，RISC-V的高能效、低成本等優(yōu)勢，可能會(huì)給移動(dòng)設(shè)備帶來更好的體驗(yàn)以及成本的降低。但是，RISC-V的劣勢也很明顯，因?yàn)樗且粋€(gè)新的架構(gòu)，不論是在移動(dòng)端、還是在PC/服務(wù)器端都缺乏生態(tài)的支持。

另外，RISC-V架構(gòu)的完備性和處理的能力也需要進(jìn)一步完善，以適應(yīng)移動(dòng)市場或PC/服務(wù)器市場的要求。但是，隨著RISC-V CPU內(nèi)核不斷向高性能方向發(fā)展，以及各種復(fù)雜功能的加入，可能也會(huì)將使得RISC-V CPU內(nèi)核變得越來越臃腫，功耗也會(huì)大幅增加，開發(fā)的門檻也會(huì)大幅提高。目前高性能的RISC-V CPU IP也主要是由一些RISC-V開發(fā)商（比如SiFive、平頭哥）通過IP授權(quán)形式提供的。在此情況下，RISC-V原本的指令精簡、低功耗、低成本的優(yōu)勢或?qū)⒉辉倜黠@，恐怕很難與在移動(dòng)市場占據(jù)絕對(duì)生態(tài)優(yōu)勢的Arm架構(gòu)進(jìn)行競爭，也難以在服務(wù)器市場與x86架構(gòu)競爭。

對(duì)此，孟建熠也坦言，RISC-V架構(gòu)向高性能領(lǐng)域發(fā)展，隨著架構(gòu)體系越來越大，確實(shí)可能會(huì)丟失掉諸如低功耗、低成本的一些優(yōu)勢。但是，RISC-V依然有著與Arm及x86競爭的巨大潛力。

“RISC-V是一個(gè)面向未來的新架構(gòu)，其內(nèi)部采用的是模塊化的設(shè)計(jì)，雖然在IoT領(lǐng)域已經(jīng)比較完備，但如果要拓展到移動(dòng)端和數(shù)據(jù)中心市場，就需要增加很多相應(yīng)的模塊，所以它必然有一個(gè)從小到大的發(fā)展過程。我們今天在發(fā)展和補(bǔ)全整個(gè)RISC-V架構(gòu)的時(shí)候，會(huì)審視過去Arm架構(gòu)及x86架構(gòu)中存在的問題，會(huì)批判地繼承過去的一些經(jīng)驗(yàn)，在新的RISC-V架構(gòu)里將它完善。盡管整個(gè)RISC-V的架構(gòu)會(huì)變大，但它是一個(gè)新的、更完善的架構(gòu)，至少是當(dāng)前業(yè)界我們可以重新定義的一個(gè)全新的、極具潛力的新架構(gòu)?！泵辖谡f道。

據(jù)了解，目前RISC-V基金會(huì)已經(jīng)有超過2000家會(huì)員企業(yè)，其內(nèi)部有著多達(dá)60個(gè)左右的技術(shù)委員會(huì)，都在積極的從各個(gè)維度來完善RISC-V技術(shù)。這其中不僅有硬件的開發(fā)人員，還有軟件開發(fā)者，以及各行各業(yè)里原來就在用Arm架構(gòu)的芯片廠商。就連x86架構(gòu)的處理器大廠英特爾也加入了RISC-V基金會(huì)。同時(shí)，英特爾和AMD也都投資了知名的RISC-V IP廠商SiFive。

孟建熠表示：“RISC-V的技術(shù)發(fā)展有著全球化的協(xié)同，這樣開放的架構(gòu)，讓大家都能夠參與到其中，將其不斷完善，并避免過去Arm及x86架構(gòu)中所存在的問題。這也使得RISC-V架構(gòu)隨著功能不斷完備，未來可能會(huì)變的很大，但并不臃腫，我們會(huì)讓它依然保持精簡。我想這是我們這些做RISC-V架構(gòu)的技術(shù)人的一個(gè)共同目標(biāo)?！?/p>

?

“目前服務(wù)器市場仍是以x86架構(gòu)為主，但發(fā)展非?？欤⑶疫€有Arm的加入，廠商們不斷地對(duì)基礎(chǔ)設(shè)施提出新的要求。RISC-V作為一個(gè)新的架構(gòu)，能夠快速地去跟進(jìn)數(shù)據(jù)中心的需求，比如新的數(shù)據(jù)量和新的一些模型的要求上的變化。”楊靜進(jìn)一步解釋到：“相比x86和Arm架構(gòu)，RISC-V擁有更高的靈活性和開放性，可以伴隨著數(shù)據(jù)中心有新的突破和成長，不斷地去更好地適應(yīng)變化?！?/p>

RISC-V IP未來路在何方？

近兩年來，隨著RISC-V架構(gòu)的火爆，以及資本的追捧，市場上涌現(xiàn)出了眾多的RISC-V IP供應(yīng)商，比如平頭哥、SiFive、芯來、晶芯、賽昉等。

但是從市場角度來看，半導(dǎo)體IP市場規(guī)模本并不大，特別是在CPU IP領(lǐng)域。即便是壟斷了整個(gè)移動(dòng)市場CPU IP的Arm，其2020年的營收規(guī)模也只有19.80億美元左右。更何況市場上本就有很多的開源RISC-V IP，還有一些終端廠商選擇自研RISC-V IP。這些都將使得未來的RISC-V IP市場或?qū)⒚媾R極為激烈的競爭。

對(duì)此，孟建熠表示，RISC-V作為一個(gè)開源的架構(gòu)，它的商業(yè)模式也必然不同于x86和Arm。目前包括平頭哥在內(nèi)的很多主流的RISC-V IP廠商都在探索一條新的商業(yè)模式。

“平頭哥其實(shí)已經(jīng)把自己的幾個(gè)IP都開源了，在逐步地走向更加開放的這條路上。我們也在探索如何能夠讓我們的客戶受益，幫助他們?cè)赗ISC-V上面得到原有技術(shù)所不具備的能力，這是我們始終在技術(shù)和商業(yè)創(chuàng)新的路上一直在努力的嘗試。”孟建熠說道。

?

在芯智訊看來，平頭哥目前的所走的路，并不是一家純粹的RISC-V IP公司所走的路。因?yàn)镮P的研發(fā)需要很多的投入，而研發(fā)出來的IP卻又拿來開源，這顯然是一樁賠本的買賣的。那么為何平頭哥還會(huì)這樣去做呢？顯然，阿里更看重RISC-V生態(tài)發(fā)展。

?

“今天在核心IP上每投入1塊錢，整個(gè)生態(tài)系統(tǒng)能夠跟著增加20塊錢的產(chǎn)出。所以我們不要局限于去看自己的IP能賺多少錢，我們要參與到更大的生態(tài)系統(tǒng)里面去，去幫助合作伙伴發(fā)掘更多的商業(yè)化和生態(tài)化的可能性。只有大家在這個(gè)生態(tài)里都能取得發(fā)展，都能夠得到自己想要得到的東西，才能更好地幫助RISC-V 整體生態(tài)成長，玄鐵處理器也才能更快地成熟起來。”楊靜解釋說。

作者：芯智訊-浪客劍