国产中文另类,天天干人人干,操比视频在线观看,YoUJizz日本55丰满熟妇 ,欧美一级黄色电影免费看,日本AAAA片毛片免费观蜜桃,午夜亚洲福利视频,欧美VA亚洲VA日韩vA

   
   
    
    
     
     
      
      
       
       
        
        本文約1800字，建議閱讀5分鐘
        
         在該研究中，紐約大學(xué)心理學(xué)和數(shù)據(jù)科學(xué)助理教授 Brenden Lake 和西班牙加泰羅尼亞研究所（ICREA）教授 Marco Baroni 提出了一個具有類似人類系統(tǒng)泛化能力的神經(jīng)網(wǎng)絡(luò)。

人們善于學(xué)習(xí)新概念，并將它們與已有概念進行系統(tǒng)組合。例如，一旦一個孩子學(xué)會了如何跳躍，他們可以通過組合技能理解如何向后跳或繞錐形物跳兩次。

這種將新老概念結(jié)合的能力被稱為系統(tǒng)泛化（systematic generalization）。

而此前，Jerry Fodor 和 Zenon Pylyshyn 兩位認知科學(xué)家曾主張，人工神經(jīng)網(wǎng)絡(luò)缺乏這種能力，因此不適合作為人類認知的可靠模型。

然而，一篇發(fā)表在 Nature 上的最新研究挑戰(zhàn)了這個已經(jīng)存在了 35 年的觀點。

在該研究中，紐約大學(xué)心理學(xué)和數(shù)據(jù)科學(xué)助理教授 Brenden Lake 和西班牙加泰羅尼亞研究所（ICREA）教授 Marco Baroni 提出了一個具有類似人類系統(tǒng)泛化能力的神經(jīng)網(wǎng)絡(luò)。

具體而言，研究團隊使用了一種“組合性元學(xué)習(xí)（MLC）”的方法來優(yōu)化組織能力。通過并行比較人類與神經(jīng)網(wǎng)絡(luò)，他們發(fā)現(xiàn)，MLC 能掌握、有時甚至能超過類似人類的系統(tǒng)泛化能力。另外，MLC 還在多個系統(tǒng)化泛化基準測試中提高了機器學(xué)習(xí)系統(tǒng)的組合技能。

該方法可以讓機器與人進行更自然的互動，甚至超過目前最好的 AI 系統(tǒng)。雖然基于大型語言模型（LLMs）的系統(tǒng)（如 ChatGPT）在許多情況下都能很好地進行對話，但在其他情況下卻表現(xiàn)出明顯的缺陷和不一致。

相關(guān)論文以“Human-like systematic generalization through a meta-learning neural network”為題，已發(fā)表在權(quán)威科學(xué)期刊 Nature 上。

研究團隊表示，雖然元學(xué)習(xí)方法無法讓該神經(jīng)網(wǎng)絡(luò)對訓(xùn)練之外的任務(wù)進行泛化，但他們的研究結(jié)果有助于今后開發(fā)出行為更像人類大腦的 AI。

達到甚至超越人類水平

在這項研究中，MLC 方法僅使用了普通的神經(jīng)網(wǎng)絡(luò)，并沒有添加符號機制，也沒有人工設(shè)計的內(nèi)部表示或歸納偏見。

為了展示 MLC 的能力，研究人員在相同的系統(tǒng)性泛化測試中將人類和機器進行了并行評估。具體來說，他們使用了偽語言中的指令學(xué)習(xí)任務(wù)來檢查人類和機器對結(jié)構(gòu)化代數(shù)系統(tǒng)的學(xué)習(xí)能力，并通過少樣本學(xué)習(xí)的方式來評估人類的系統(tǒng)性泛化能力。

圖｜MLC 架構(gòu)（來源：該論文）

為探索人類的歸納偏見以及這些偏見如何促進或妨礙系統(tǒng)性泛化，研究人員通過研究高度模糊的語言來進行評估。在這些評估中，MLC 在實現(xiàn)（甚至超越）人類水平的系統(tǒng)性泛化方面表現(xiàn)出色。

此外，在純粹的代數(shù)推理和模擬人類復(fù)雜組合行為的情況下，MLC 均表現(xiàn)出了一種與人類相似的錯誤模式，這顯示出神經(jīng)網(wǎng)絡(luò)不僅具備出色的建模能力，也在模擬復(fù)雜的人類行為方面表現(xiàn)出了卓越的性能。

另外，研究團隊還對兩個廣泛應(yīng)用的基準測試進行了嘗試，即 SCAN11 和 COGS16，著重關(guān)注MLC 在系統(tǒng)性詞匯泛化方面的表現(xiàn)，特別是處理新單詞和單詞組合（而不僅僅是新的句子結(jié)構(gòu)）。結(jié)果表明，除了在預(yù)測人類行為方面表現(xiàn)出色，MLC 在機器學(xué)習(xí)的系統(tǒng)性泛化基準測試中僅出現(xiàn)低于 1% 的錯誤率。

該研究展示了 MLC 如何通過其卓越的組合技能，使一個經(jīng)過優(yōu)化的標準神經(jīng)網(wǎng)絡(luò)能夠模仿或甚至超越人類在系統(tǒng)性泛化方面的表現(xiàn)，從而在比較中表現(xiàn)出更強的系統(tǒng)性。相較于經(jīng)過標準方式訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，MLC 表現(xiàn)出更細致入微的行為。此外，MLC 還讓神經(jīng)網(wǎng)絡(luò)能夠處理其他已知挑戰(zhàn)，如系統(tǒng)性地使用孤立的基元和運用互斥性來推斷含義。

有望解決更廣泛的問題

盡管 MLC 取得了一些成功，但它并不能解決所有挑戰(zhàn)。例如，MLC 不能自動處理未經(jīng)練習(xí)的泛化形式或在元學(xué)習(xí)分布之外的概念。此外，它無法泛化到它未經(jīng)優(yōu)化的歸納偏見中。

在機器學(xué)習(xí)的語境中，當(dāng)泛化使新的情節(jié)相對于訓(xùn)練情節(jié)處于分布中時，元學(xué)習(xí)策略會成功，即使特定的測試項目相對于情節(jié)中的研究示例是超出分布的。然而，僅僅依靠元學(xué)習(xí)不會使標準網(wǎng)絡(luò)能夠泛化到相對于元學(xué)習(xí)期間呈現(xiàn)的情節(jié)而言又超出分布的情節(jié)。當(dāng)前架構(gòu)還缺乏發(fā)出新符號的機制，盡管可以通過附加的指針機制來引入通過研究示例引入的新符號。

在機器學(xué)習(xí)背景下，當(dāng)新情境相對于訓(xùn)練情境屬于相似分布時，元學(xué)習(xí)策略會成功。然而，僅僅依賴元學(xué)習(xí)并不能讓標準神經(jīng)網(wǎng)絡(luò)實現(xiàn)訓(xùn)練情景之外的分布泛化。并且，目前的架構(gòu)也缺乏一種生成新符號的機制。

最后，MLC 在自然語言的全部復(fù)雜性和其他模態(tài)上沒有經(jīng)過測試。因此，它是否能夠在所有方面以及從實際的訓(xùn)練經(jīng)驗中實現(xiàn)類似于人類的系統(tǒng)性，仍有待確定。

然而，該研究有望幫助 MLC 解決更廣泛的問題。舉例來說，一個 LLMs 可以進行專門的元學(xué)習(xí)，通過交替進行標準訓(xùn)練（例如下一個單詞的預(yù)測）和不斷引入新詞匯，從而優(yōu)化其組合技能。

最后，作者在文中表示：“盡管將 MLC 應(yīng)用于每個領(lǐng)域是一個長期的努力，但我們看到了在理解人類組合技能的起源以及使現(xiàn)代 AI 系統(tǒng)的行為更類似于人類方面的真正前景。”

論文鏈接：

https://www.nature.com/articles/s41586-023-06668-3

https://www.nature.com/articles/d41586-023-03272-3

Nature重磅：人類的這一能力，被AI掌握甚至超越了