---

??新智元報(bào)道??

來(lái)源：外媒

編輯：LQ，LZ

【新智元導(dǎo)讀】2020年，GPT-3和AlphaFold 2兩項(xiàng)基于Transformer的突破殺出重圍，走進(jìn)主流視野，人工智能以全新的方式深入我們的生活，2021年又將給我們帶來(lái)什么新的突破呢？

2020年并不缺重磅新聞，但人工智能依然夠殺出重圍，走進(jìn)主流視野。

?

尤其是GPT-3，它展示了人工智能即將以全新的方式深入我們的日常生活。

?

這些進(jìn)步賦予了未來(lái)很多可能，預(yù)測(cè)未來(lái)變得并不容易，但伴隨著技術(shù)應(yīng)用的成熟，另一些領(lǐng)域的突破也是可預(yù)見(jiàn)的。

?

以下是2021年人工智能有望取得突破的幾個(gè)方面。

GPT-3和AlphaFold背后的Transformer

2020年最大的兩項(xiàng)人工智能成就悄無(wú)聲息地共享著相同的基本結(jié)構(gòu)。OpenAI 的 GPT-3和 DeepMind 的 AlphaFold 都是基于Transformer.

?

盡管 Transformer 自2017年以來(lái)就已經(jīng)存在，但 GPT-3和 Alphafold 展示了 Transformer 的非凡能力，它比上一代序列模型學(xué)習(xí)得更深入、更快，并且在自然語(yǔ)言處理（NLP）之外的問(wèn)題上也表現(xiàn)出色。

?

與循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和 長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTMs）等之前的序列模型結(jié)構(gòu)不同。

?

Transformer能夠一次處理整個(gè)輸入序列，并且引入「注意力」機(jī)制來(lái)了解輸入的哪些部分與其他部分相關(guān)。

?

這樣，Transformer就能夠輕松解決「長(zhǎng)期記憶」的問(wèn)題，這是循環(huán)模型一直在努力解決的問(wèn)題。

?

另外，Transformer還允許并行訓(xùn)練，能夠更好地利用近年來(lái)出現(xiàn)的大規(guī)模并行處理器，大大減少了訓(xùn)練時(shí)間。

?

毫無(wú)疑問(wèn)，2021年研究人員將為Transformer尋找新的用武之地，對(duì)Transformer將要帶來(lái)突破也充滿信心。

?

2021年，OpenAI 已經(jīng)修改了 GPT-3，發(fā)布了DALL-E，使其完成從文本描述生成圖像。Transformer已經(jīng)準(zhǔn)備好要在2021年大展拳腳了。

?

??

2021年，圖神經(jīng)網(wǎng)絡(luò)（GNN）發(fā)展的兩大看點(diǎn)

許多領(lǐng)域的數(shù)據(jù)自然而然地適用于圖形結(jié)構(gòu)，比如計(jì)算機(jī)網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、分子/蛋白質(zhì)和運(yùn)輸路線等。

?

圖神經(jīng)網(wǎng)絡(luò)(GNNs)使深度學(xué)習(xí)應(yīng)用于圖形結(jié)構(gòu)化數(shù)據(jù)，我們期望 GNN在未來(lái)發(fā)揮更大的作用。

?

2021年，我們預(yù)計(jì)在幾個(gè)關(guān)鍵領(lǐng)域的方法進(jìn)步將推動(dòng)更廣泛地應(yīng)用GNN.

?

「動(dòng)態(tài)圖」是第一個(gè)重要的領(lǐng)域。盡管迄今為止大多數(shù) GNN 研究都假定了一個(gè)靜態(tài)圖，但這些情況會(huì)慢慢發(fā)生變化: 例如，在社交網(wǎng)絡(luò)中，新成員的加入會(huì)產(chǎn)生新的節(jié)點(diǎn) ，關(guān)系也會(huì)發(fā)生變化。

?

在2020年，我們看到了一些將時(shí)間演化圖建模為一系列快照的做法，2021年這個(gè)新生的研究方向?qū)?huì)擴(kuò)展，側(cè)重于將動(dòng)態(tài)圖表建模為連續(xù)時(shí)間序列的方法。

?

這樣的連續(xù)建模，除了通常的拓?fù)浣Y(jié)構(gòu)外，還應(yīng)該使 GNN 能夠發(fā)現(xiàn)和學(xué)習(xí)圖中的時(shí)態(tài)結(jié)構(gòu)。

?

對(duì)「消息傳遞范式」的改進(jìn)將是另一大可操作的進(jìn)展。消息傳遞是實(shí)現(xiàn)圖神經(jīng)網(wǎng)絡(luò)的一種常用方法，它是通過(guò)沿著連接鄰居的邊「?jìng)鬟f」信息來(lái)聚集節(jié)點(diǎn)信息的一種方法。

?

雖然直觀，消息傳遞難以捕捉到需要信息在圖上長(zhǎng)距離傳播的效果。

?

2021年，我們期待突破這一范式，例如通過(guò)迭代學(xué)習(xí)哪些信息傳播路徑是最相關(guān)的，甚至學(xué)習(xí)一個(gè)全新的關(guān)系數(shù)據(jù)集的因果圖。

2021年的AI應(yīng)用

去年許多頭條新聞都強(qiáng)調(diào)了AI在實(shí)際應(yīng)用中的新進(jìn)展，2021年這些進(jìn)展有望投入市場(chǎng)。

?

值得說(shuō)明的是，由于GPT-3的API將更加可行，依賴于自然語(yǔ)言理解的應(yīng)用程序也會(huì)越來(lái)越多。API允許用戶訪問(wèn)GPT-3的功能，并且無(wú)需耗費(fèi)精力訓(xùn)練自己的AI。

?

Microsoft已經(jīng)獲得了GPT-3獨(dú)家使用授權(quán)，這項(xiàng)技術(shù)也許會(huì)出現(xiàn)在Microsoft的產(chǎn)品中。

在2021年，其他應(yīng)用領(lǐng)域也將從AI技術(shù)中獲益。AI和機(jī)器學(xué)習(xí)雖然已經(jīng)進(jìn)入了網(wǎng)絡(luò)安全領(lǐng)域，但2021年將會(huì)爆發(fā)更大的潛力。

?

正如太陽(yáng)風(fēng)黑客事件所揭露的那樣，一些公司已經(jīng)面臨網(wǎng)絡(luò)犯罪分子和先進(jìn)的惡意勒索軟件的威脅。

?

而AI和行為分析對(duì)于幫助識(shí)別新威脅甚至早期威脅至關(guān)重要。所以在2021年，希望能夠推動(dòng)最新的行為來(lái)分析AI，增強(qiáng)網(wǎng)絡(luò)防御系統(tǒng)。

?

2021年，我們還期待有更多默認(rèn)在邊緣設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型的應(yīng)用程序。

?

像谷歌的 Coral這樣具有TPU的設(shè)備，隨著處理能力和量化技術(shù)的進(jìn)步，也能夠推廣普及。

?

圖為Carol加速器模塊，帶有Google Edge TPU的新型多芯片模塊。

?

Edge AI則消除了把數(shù)據(jù)發(fā)送到云上參照的需求，既節(jié)省了帶寬又減少了執(zhí)行時(shí)間，這兩點(diǎn)對(duì)醫(yī)療保健等領(lǐng)域都至關(guān)重要。

?

?

邊緣計(jì)算的應(yīng)用程序還可以在一些需要隱私、安全和低延遲的區(qū)域，甚至世界上無(wú)法訪問(wèn)高速Internet的區(qū)域中打開(kāi)。

?

未來(lái)難測(cè)，未來(lái)可期

隨著AI技術(shù)在實(shí)際領(lǐng)域的運(yùn)用越來(lái)越廣泛，Transformer和GNN的進(jìn)步也會(huì)促使它們?cè)诂F(xiàn)有的AI技術(shù)和算法更進(jìn)一步。以上只是重點(diǎn)介紹了幾個(gè)有望在今年取得進(jìn)展的領(lǐng)域，不過(guò)相信伴隨進(jìn)展的還會(huì)有更多的驚喜。

?

未來(lái)難測(cè)，但無(wú)論對(duì)錯(cuò)，2021年對(duì)于AI都將是令人興奮的一年。

?

參考鏈接：

https://venturebeat.com/2021/01/31/heres-where-ai-will-advance-in-2021/

推薦閱讀：

看了這款A(yù)I產(chǎn)品，我想重上一次小學(xué)