集成全球最大AI芯片，Cerebras發(fā)布全球首個(gè)人類大腦規(guī)模的AI解決方案
8月25日凌晨，曾推出“全球最大”的AI芯片Wafer Scale Engine（以下簡稱“WSE”）的芯片初創(chuàng)公司Cerebras Systems，宣布推出了世界上第一個(gè)人類大腦規(guī)模的AI解決方案——CS-2 AI計(jì)算機(jī)，可支持超過120萬億參數(shù)規(guī)模的訓(xùn)練。相比之下，人類大腦大約有100萬億個(gè)突觸。此外，Cerebras還實(shí)現(xiàn)了192臺(tái)CS-2 AI計(jì)算機(jī)近乎線性的擴(kuò)展，從而打造出包含高達(dá)1.63億個(gè)核心的計(jì)算集群。
資料顯示，Cerebras成立于2016年，迄今在14個(gè)國家擁有超過350位工程師，2019年Cerebras推出了世界最大AI芯片WSE，2020年Cerebras又推出了新一代的7nm的WSE-2，晶體管數(shù)量達(dá)到2.6萬億個(gè)，震驚業(yè)界。
根據(jù)官方公布的數(shù)據(jù)，WSE-2與上一代一樣，依然是基于一整張12吋晶圓制造，面積依然是462.25平方厘米，但是制程工藝由臺(tái)積電16nm工藝提升到了7nm工藝，這也使得WSE-2的晶體管數(shù)量提高到了2.6萬億個(gè)，同時(shí)他的人工智能內(nèi)核數(shù)量也達(dá)到了85萬個(gè)，打破首代WSE 處理器創(chuàng)造的世界紀(jì)錄。無論是核心數(shù)還是片上內(nèi)存容量均遠(yuǎn)高于迄今性能最強(qiáng)的GPU。
此次發(fā)布的Cerebras CS-2 AI計(jì)算機(jī)正是采用了WSE-2芯片。同時(shí)，Cerebras還將單臺(tái)CS-2機(jī)器可支持的神經(jīng)網(wǎng)絡(luò)參數(shù)規(guī)模，擴(kuò)大至現(xiàn)有最大模型的100倍——達(dá)到120萬億參數(shù)。
在國際芯片架構(gòu)頂級(jí)峰會(huì)Hot Chips上，Cerebras聯(lián)合創(chuàng)始人兼首席硬件架構(gòu)師Sean Lie詳細(xì)展示了實(shí)現(xiàn)這一突破的新技術(shù)組合，包括4項(xiàng)創(chuàng)新：
（1）Cerebras Weight Streaming：一種新的軟件執(zhí)行架構(gòu)，首次實(shí)現(xiàn)在芯片外存儲(chǔ)模型參數(shù)的能力，同時(shí)提供像片上一樣的訓(xùn)練和推理性能。這種新的執(zhí)行模型分解了計(jì)算和參數(shù)存儲(chǔ)，使得擴(kuò)展集群大小和速度更加獨(dú)立靈活，并消除了大型集群往往面臨的延遲和內(nèi)存帶寬問題，極大簡化工作負(fù)載分布模型，使得用戶無需更改軟件，即可從使用1臺(tái)CS-2擴(kuò)展到192臺(tái)CS-2。
（2）Cerebras MemoryX：一種內(nèi)存擴(kuò)展技術(shù)，為WSE-2提供高達(dá)2.4PB的片外高性能存儲(chǔ)，能保持媲美片上的性能。借助MemoryX，CS-2可以支持高達(dá)120萬億參數(shù)的模型。
（3）Cerebras SwarmX：是一種高性能、AI優(yōu)化的通信結(jié)構(gòu)，將片上結(jié)構(gòu)擴(kuò)展至片外，使Cerebras能夠連接多達(dá)192臺(tái)CS-2的1.63億個(gè)AI優(yōu)化核，協(xié)同工作來訓(xùn)練單個(gè)神經(jīng)網(wǎng)絡(luò)。
（4）Selectable Sparsity：一種動(dòng)態(tài)稀疏選擇技術(shù)，使用戶能夠在模型中選擇權(quán)重稀疏程度，并直接減少FLOP和解決時(shí)間。權(quán)重稀疏在機(jī)器學(xué)習(xí)研究領(lǐng)域一直頗具挑戰(zhàn)性，因?yàn)樗贕PU上效率極低。該技術(shù)使CS-2能夠加速工作，并使用包括非結(jié)構(gòu)化和動(dòng)態(tài)權(quán)重稀疏性在內(nèi)的各種可用稀疏性類型在更短的時(shí)間內(nèi)生成答案。
Cerebras首席執(zhí)行官兼聯(lián)合創(chuàng)始人Andrew Feldman表示，這推動(dòng)了行業(yè)的發(fā)展。美國阿貢國家實(shí)驗(yàn)室副主任Rick Stevens亦肯定這一發(fā)明，認(rèn)為這將是我們第一次能夠探索大腦規(guī)模的模型，為研究和見解開辟廣闊的新途徑。
編輯：芯智訊-林子
臺(tái)積電全面漲價(jià)！12nm以下先進(jìn)制程漲10%，12nm以上成熟制程漲20%！
半導(dǎo)體IP——芯片設(shè)計(jì)和科技新基建的基石
馬來西亞防疫政策升級(jí)：超3人確診需關(guān)廠14天！ST及英飛凌將不得不關(guān)廠？
成本可降低30%！臺(tái)積電美國5nm廠將采用“臺(tái)灣制造、美國組裝”模式
英特爾“架構(gòu)日”大秀肌肉：全新X86架構(gòu)CPU/GPU/IPU發(fā)布，還有1000億晶體管SoC！
2021Q2全球十大半導(dǎo)體廠商：三星重奪第一，聯(lián)發(fā)科升至第九！
高通恢復(fù)向華為供應(yīng)5G芯片？nova9首發(fā)？實(shí)際情況是...
CIS全球出貨量第一！格科微登陸科創(chuàng)板，股價(jià)暴漲185.05%！
聞泰科技加碼汽車電子業(yè)務(wù)，從車規(guī)級(jí)半導(dǎo)體供應(yīng)商轉(zhuǎn)向汽車Tier1供應(yīng)商
Energous發(fā)布全新隔空充電技術(shù)：5.5W實(shí)現(xiàn)5米距離的充電！
行業(yè)交流、合作請加微信：icsmart01
芯智訊官方交流群：221807116