水多多一区二区,91网站18禁,国产精品色色哟,亚洲天堂一区二区三区在线观看,a片黄片免费看,好看日逼小视频,男女日在线看,乱伦六区

??新智元報(bào)道??

來源：NeurIPS

編輯：QJP、小勻

【新智元導(dǎo)讀】NeurIPS 2020最佳論文公布！Open AI 的 GPT-3論文與米蘭理工大學(xué)、卡內(nèi)基梅隆大學(xué)和加州大學(xué)伯克利分享 NeurIPS 2020年度最佳論文獎。大會還公布了「時(shí)間檢驗(yàn)獎」，一篇10年前的華人一作論文摘得大獎。

剛剛，NeurIPS 2020在官網(wǎng)公布了2020年度最佳論文獎和時(shí)間檢驗(yàn)獎。

最佳論文共收錄了三篇，今年最亮眼的主角——OpenAI的GPT-3名列其中！

時(shí)間檢驗(yàn)獎由威斯康星麥迪遜分校團(tuán)隊(duì)發(fā)表于NeurIPS 2011上的一篇論文獲得，其一作為本科畢業(yè)于清華大學(xué)計(jì)算機(jī)系的華人Feng Niu。

神經(jīng)信息處理系統(tǒng)大會（NeurIPS），是全球最受矚目的AI、機(jī)器學(xué)習(xí)頂會之一，曾在美國、西班牙、加拿大多地舉辦。

一年一度，大神們在這里的「AI論劍」都備受矚目。

不過今年，由于疫情原因，大會也改為了線上。

? ? ??

論文接收量分析：谷歌全球第一，清華國內(nèi)第一

今年的NeurIPS投稿數(shù)量再次創(chuàng)下新高，比2019年增長了38%，一共收到了12115份摘要，但最后提交完整的只有9467篇論文，最終被收錄的有1903篇，接受率只有20%。

本屆 NeurIPS 2020 論文接收量全球機(jī)構(gòu)排名前三甲分別為為：Google（169篇），斯坦福（104篇），MIT（98篇）。

清華大學(xué)以63篇位居第七位，北大則以37篇位居第20名。

? ? ? ? ? ? ?

本次NeurIPS 2020論文中稿/接收量國家排名Top 5依次為：

美國：1178篇、中國：259篇、英國：195篇、加拿大:95篇、瑞士：88篇。

?? ? ? ?? ??

從論文的主題來看，算法占比29%，深度學(xué)習(xí)占比19%，應(yīng)用占比18%，強(qiáng)化學(xué)習(xí)和規(guī)劃（planning）占比9%，理論占比7%，概率方法占比5%，機(jī)器學(xué)習(xí)社會方面（ Social aspects of machine learning）占比5%，優(yōu)化占比5%，神經(jīng)科學(xué)和認(rèn)知科學(xué)占比3%。

? ? ? ?? ? ? ?

此外，大會還公布3篇獲得最佳論文（Best Paper Awards）的文章。

GPT-3獲獎理由：地表最強(qiáng)語言模型

OpenAI獲獎的論文叫做「Language Models are Few-Shot Learners」。

? ? ??

? ? ? ?

GPT-3將其上一代模型GPT-2的大小從15億個參數(shù)增加到1750億個，其使用的最大數(shù)據(jù)集在處理前容量更是達(dá)到了 45TB。

? ? ? ?

獎項(xiàng)委員會給出的獲獎理由:?論文展示出了迄今為止構(gòu)建的最大、最復(fù)雜的語言模型 GPT-3。

它證明了，如果你通過使用前所未有的大量計(jì)算機(jī)和數(shù)據(jù)建立一個足夠精確的語言模型，它不需要額外的訓(xùn)練，僅僅使用簡單的自然語言提示，就可以獲得解決各種各樣的任務(wù)的能力。

例如任務(wù)包括回答瑣事問題，生成論文，判斷電影評論是正面的還是負(fù)面的，以及在法語和英語之間進(jìn)行翻譯。作者指出，GPT-3在某些任務(wù)上比其他任務(wù)更好，并將論文的大部分精力用于仔細(xì)分類其優(yōu)勢和劣勢。

作者還考慮了這項(xiàng)技術(shù)潛在的有害影響，比如廉價(jià)生成幾乎無法察覺的假新聞，以及該模型傾向于反映其訓(xùn)練數(shù)據(jù)在種族、性別和宗教等敏感話題上的偏見。

GPT-3在許多NLP數(shù)據(jù)集上實(shí)現(xiàn)了強(qiáng)大的性能，包括翻譯、問題回答和完形填空任務(wù)，以及一些需要實(shí)時(shí)推理或領(lǐng)域適應(yīng)的任務(wù)。

這篇論文還創(chuàng)下了一個「合作人數(shù)最多」的記錄，作者一共為為31人。合著者分別是OpenAI 29人、谷歌大腦1人、約翰霍普金斯1人。

? ? ???

論文作者（部分）

不過，一向反對GPT-3的馬庫斯也嘲諷了一番，「無法想象評審人員會問GPT-2之后還有什么技術(shù)創(chuàng)新…」

? ? ??

第二篇最佳論文是由來自米蘭理工大學(xué)、卡耐基梅隆大學(xué)等的四位作者發(fā)布的：「No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium」，即「廣義相關(guān)均衡的無悔學(xué)習(xí)動力學(xué)」。

? ??? ? ??

具體來說，20多年前就已經(jīng)知道，當(dāng)所有的參與者在一次重復(fù)的正則形式的博弈中尋求最小化遺憾，參與的經(jīng)驗(yàn)概率會收斂到一個正常形式的相關(guān)均衡。

? ? ??

擴(kuò)展形式(即樹形式)的博弈，通過對連續(xù)的和同步的步驟以及私有信息的建模，將正則形式的博弈廣義化。由于博弈的時(shí)序性和部分信息的存在，擴(kuò)展形式的相關(guān)（EFCE）與標(biāo)準(zhǔn)形式的相關(guān)性具有顯著不同的性質(zhì)，其中許多仍然是開放的研究方向。

第三篇是由來自加州大學(xué)伯克利分校的3位作者共同創(chuàng)作的「Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystrom method」。

?? ? ??? ? ? ?

列子集選擇問題(CSSP)和 Nystr?m 方法是機(jī)器學(xué)習(xí)和科學(xué)計(jì)算中構(gòu)造大數(shù)據(jù)集小型低階近似的主要工具。其中一個基本問題是: 大小為 k 的數(shù)據(jù)子集如何與最佳秩 k 近似相競爭？

? ? ??? ? ? ?

通過這篇論文開發(fā)的技術(shù)，利用譜性質(zhì)的數(shù)據(jù)矩陣，以獲得改進(jìn)的近似保證，這超出了標(biāo)準(zhǔn)的最壞情況分析。

作者使用的方法為已知單值衰減率的數(shù)據(jù)集提供了更好的界限，同時(shí)還揭示了一個有趣的現(xiàn)象: 近似因子作為 k 的函數(shù)可能呈現(xiàn)多個峰和谷，稱之為多重下降曲線。

最后，以 RBF 核為例，證明了改進(jìn)的邊界和多重下降曲線都可以通過改變 RBF 參數(shù)在實(shí)際數(shù)據(jù)集上觀察到。

時(shí)間檢驗(yàn)獎：穿越時(shí)間，一篇10年前的論文獲獎

此外，大會還公布了一項(xiàng)「Test of Time Award」，即時(shí)間檢驗(yàn)獎。

顧名思義，就是頒發(fā)給一篇經(jīng)得起時(shí)間考驗(yàn)的論文。大獎被10年前的一篇論文獲得，這篇論文對人工智能界產(chǎn)生了特別重大和持久的影響。

? ? ? ?

委員會給出的獲獎理由是：「機(jī)器學(xué)習(xí)是將樣本數(shù)據(jù)轉(zhuǎn)化為模型的問題，這些模型存儲在計(jì)算機(jī)中，可以用來做出決定或采取行動。機(jī)器學(xué)習(xí)系統(tǒng)的核心是SGD，它搜索可能的模型空間，找到一個與樣本數(shù)據(jù)匹配良好的模型。本文描述了 SGD 的一個實(shí)現(xiàn)，它可以在一組快速計(jì)算機(jī)上并行運(yùn)行，所有這些計(jì)算機(jī)都對模型進(jìn)行重復(fù)的小的改變，而不需要任何協(xié)調(diào)或同步」。

這篇論文被引用了將近2000次，證明它不僅對機(jī)器學(xué)習(xí)有影響，而且對計(jì)算機(jī)系統(tǒng)和優(yōu)化領(lǐng)域也有影響。

同時(shí)值得注意的是，這篇論文的華人一作是Feng Niu，本科畢業(yè)于清華大學(xué)計(jì)算機(jī)系，博士畢業(yè)于威斯康星麥迪遜分校計(jì)算機(jī)系，目前擔(dān)任蘋果的研究科學(xué)家。