【機器學(xué)習(xí)】神經(jīng)網(wǎng)絡(luò)的局限
↑↑↑點擊上方藍字，回復(fù)資料，10個G的驚喜
過去十年中，人工智能行業(yè)的一大趨勢就是通過創(chuàng)建更大的深度學(xué)習(xí)模型來解決問題。這種趨勢在自然語言處理領(lǐng)域最為明顯，這也是人工智能最具挑戰(zhàn)性的領(lǐng)域之一。
近年來，研究人員已經(jīng)證明，向神經(jīng)網(wǎng)絡(luò)添加參數(shù)可以提高它們在語言任務(wù)上的表現(xiàn)。然而，語言理解的根本問題——單詞和句子下隱藏的，名為含義的冰山——仍有待解決。
倫斯勒理工學(xué)院兩位科學(xué)家的著作《人工智能時代的語言學(xué)》討論了當(dāng)前各種自然語言理解（NLU）方法的缺點，并探索了一些開發(fā)先進智能代理的未來途徑——這些智能代理可以與人類自然交互，而不會讓交流陷入困境或犯愚蠢的錯誤.
《人工智能時代的語言學(xué)》的作者 Marjorie McShane 和 Sergei Nirenburg 認為，人工智能系統(tǒng)不能止步于對單詞的操縱。在他們的書中，他們證明了 NLU 系統(tǒng)可以理解世界，向人類解釋它們獲得的知識，并在它們探索世界時不斷學(xué)習(xí)。
考慮這句話，“I made her duck.”這句話的主題是扔了一塊石頭讓對方彎下腰，還是他給她煮了鴨肉？
現(xiàn)在再考慮這句話：“Elaine poked the kid with the stick.”Elaine 是用棍子戳了那個孩子，還是用她的手指戳了碰巧拿著棍子的孩子？
語言充滿了歧義。我們?nèi)祟愂褂谜Z言的上下文來解決這些歧義。我們使用來自說話者的語氣、先前的單詞和句子、對話的一般性設(shè)置以及關(guān)于世界的基本知識等線索來建立上下文。當(dāng)我們的直覺和知識未能解決歧義時，我們會提出問題。對我們來說，確定上下文的過程是很容易的。但要以可計算的方式定義這種過程，那就是說起來容易做起來難了。
通常有兩種方法可以解決這個問題。
人工智能時代的語言學(xué)——Marjorie McShane 和 Sergei Nirenburg
在之前幾十年的人工智能研究中，科學(xué)家使用基于知識的系統(tǒng)來定義句子中每個單詞的作用，并以此提取句子的上下文和含義。基于知識的系統(tǒng)依賴于大量關(guān)于語言、情境和世界的特征。這些信息可以來自不同的來源，并且必須以不同的方式計算。
基于知識的系統(tǒng)提供了可靠且可解釋的語言分析結(jié)果。但它們最后失寵了，因為它們需要太多的人力來設(shè)計特征、創(chuàng)建詞匯結(jié)構(gòu)和本體，和開發(fā)將所有這些部分結(jié)合在一起的軟件系統(tǒng)。研究人員將知識工程中的人工環(huán)節(jié)視為一種瓶頸，并尋求其他方法來應(yīng)對語言處理過程。
“人們普遍認為，克服這種所謂知識瓶頸的任何嘗試都是徒勞的；而這種看法也深刻地影響了通用人工智能，尤其是 NLP[自然語言處理] 的發(fā)展道路，使該領(lǐng)域遠離了理性主義和基于知識的方法，并導(dǎo)致了 NLP 中經(jīng)驗主義、知識精益、研究和開發(fā)范式的出現(xiàn)，”McShane 和 Nirenburg 在《人工智能時代的語言學(xué)》中寫道。
近幾十年來，機器學(xué)習(xí)算法一直是 NLP 和 NLU 的核心。機器學(xué)習(xí)模型是一種知識精益（knowledge-lean）系統(tǒng)，它試圖通過統(tǒng)計關(guān)系來處理上下文問題。在訓(xùn)練期間，機器學(xué)習(xí)模型處理大量文本，并根據(jù)單詞彼此之間的位置關(guān)系調(diào)整其參數(shù)。在這些模型中，上下文是由單詞序列之間的統(tǒng)計關(guān)系，而不是單詞背后的含義來決定的。自然，數(shù)據(jù)集越大、示例越多樣化，這些數(shù)值參數(shù)就越能捕捉單詞彼此之間的各種位置組合。
知識精益系統(tǒng)之所以能流行，主要歸功于可用來訓(xùn)練機器學(xué)習(xí)系統(tǒng)的大量計算資源和大型數(shù)據(jù)集。借助維基百科等公共數(shù)據(jù)庫，科學(xué)家們能收集到龐大的數(shù)據(jù)集，并針對翻譯、文本生成和問答等各種任務(wù)訓(xùn)練他們的機器學(xué)習(xí)模型。
如今，我們的深度學(xué)習(xí)模型可以 生成文章篇幅的文本序列、回答科學(xué)考試問題、編寫軟件源代碼 以及回答基本的客戶服務(wù)咨詢問題。由于深度學(xué)習(xí)架構(gòu)的種種改進（LSTM、transformer），更重要的是由于神經(jīng)網(wǎng)絡(luò)每年都在變大，這些領(lǐng)域中的大多數(shù)都取得了進展。
近年來，深度學(xué)習(xí)語言模型的規(guī)模不斷擴大（以對數(shù)尺度制圖）
但是，雖然更大的深度神經(jīng)網(wǎng)絡(luò)可以為許多任務(wù)類型提供增量改善，但它們并沒有從宏觀層面上解決自然語言理解的一般性問題。這就是為什么各種實驗都表明，即使是最復(fù)雜的語言模型也無法解決關(guān)于世界是如何運作的一些 簡單問題。
在他們的書中，McShane 和 Nirenburg 將當(dāng)前人工智能系統(tǒng)所解決的問題描述為“唾手可得的果實”。一些科學(xué)家認為，神經(jīng)網(wǎng)絡(luò)繼續(xù)擴展下去，終有一天會解決機器學(xué)習(xí)所面臨的問題。但 McShane 和 Nirenburg 認為我們需要解決一些更本質(zhì)的問題。
“這樣的系統(tǒng)并不像人類那樣思考：它們不知道自己在做什么以及為什么這樣做，它們解決問題的方法與人類不同，而且它們不依賴于世界、語言或代理的模型，”他們寫道。“相反，它們在很大程度上依賴于將通用機器學(xué)習(xí)算法應(yīng)用于更大數(shù)據(jù)集的路徑，并得到了現(xiàn)代計算機驚人的速度和存儲容量的支持?！?/p>
在 TechTalks 上發(fā)表的評論中，認知科學(xué)家和計算語言學(xué)家 McShane 表示，機器學(xué)習(xí)必須克服幾個障礙，其中首當(dāng)其沖的是 含義的缺失。
“統(tǒng)計 / 機器學(xué)習(xí)（S-ML）方法并不會去計算含義，”McShane 說。“相反，從業(yè)者一路向前，就好像只憑單詞就足以代表句子的含義一樣，而事實并非如此。實際上，當(dāng)涉及到句子的完整上下文含義時，句子中的單詞只是冰山一角。將詞語與含義混淆的這種人工智能方法，就像一艘駛向冰山的巨輪一樣令人擔(dān)憂?！?/p>
在大多數(shù)情況下，機器學(xué)習(xí)系統(tǒng)通過縮小任務(wù)范圍或擴大訓(xùn)練數(shù)據(jù)集來回避處理單詞含義的問題。但是，即使一個大型神經(jīng)網(wǎng)絡(luò)設(shè)法在相當(dāng)長的一段文本中保持了連貫性，但在背后，它也仍然無法理解它所生成的那些單詞的含義。
“當(dāng)然，人們可以構(gòu)建看起來表現(xiàn)得很聰明的系統(tǒng)（例如 GPT-3），只不過這些系統(tǒng)真的不知道到底發(fā)生了什么事情，”McShane 說。
一旦你問一系列簡單但互相關(guān)聯(lián)的問題，所有基于深度學(xué)習(xí)的語言模型就會開始崩潰，因為它們的參數(shù)無法捕捉日常生活中潛藏的無限復(fù)雜性。在這個問題上投入更多數(shù)據(jù)并不能將知識顯式集成到語言模型中。
Marjorie McShane 和 Sergei Nirenburg，《人工智能時代的語言學(xué)》的作者
在他們的書中，McShane 和 Nirenburg 提出了一種解決自然語言理解過程中“知識瓶頸”的方法，這種方法無需求助于需要大量數(shù)據(jù)的純機器學(xué)習(xí)手段。
《人工智能時代的語言學(xué)》的核心是稱為“語言賦能的智能代理（LEIA）”的概念，其具有三個關(guān)鍵特征：
LEIA 可以理解語言的上下文相關(guān)含義，并從單詞和句子的歧義中找到合適的理解。
LEIA 可以向它們的人類合作者解釋它們的想法、行動和決策。
與人類一樣，LEIA 可以在與人類、其他代理和世界互動時進行終身學(xué)習(xí)。終身學(xué)習(xí)（Lifelong learning）減少了為擴展智能代理的知識庫而持續(xù)投入人力的需求。
LEIA 通過六個階段來處理自然語言，這些階段從確定單詞在句子中的作用到語義分析，最后是情境推理。這些階段讓 LEIA 可以解決單詞和短語的不同含義之間的沖突，并將句子整合到代理正在處理的更廣泛的上下文中。
LEIA 為它們對語言表達的各種解釋分配置信度，并且知道它們的技能和知識何時不足以解決歧義。在這種情況下，它們與人類同行（或它們環(huán)境中的智能代理和其他可用資源）互動以解決歧義。這些互動反過來又讓它們能夠?qū)W習(xí)新事物并擴展它們的知識。
LEIA 分幾個階段處理語言輸入
LEIA 將句子轉(zhuǎn)換為文本含義表示（TMR），這是對句子中每個單詞的可解釋和可操作的定義。LEIA 根據(jù)它們的上下文和目標(biāo)來確定需要跟進哪些語言輸入。例如，如果一個維修機器人與幾位人類技術(shù)人員共用一個機器維修車間，并且人類在討論昨天的體育比賽結(jié)果，那么人工智能應(yīng)該能夠分辨出哪些對話與其工作相關(guān)（機器維修），哪些是它可以忽略的（運動）。
LEIA 傾向于使用基于知識的系統(tǒng)，但它們也在流程中集成了機器學(xué)習(xí)模型，尤其是在語言處理一開始的句子解析階段。
“我們很樂意集成更多 S-ML 引擎，只要它們能夠提供各種類型的高質(zhì)量啟發(fā)式證據(jù)（但是，當(dāng)我們合并黑盒 S-ML 結(jié)果時，代理的置信度估計和可解釋性都會受到影響），”McShane 說。“我們也期待結(jié)合 S-ML 方法來執(zhí)行一些面向大數(shù)據(jù)的任務(wù)，例如選擇示例來輔助閱讀學(xué)習(xí)過程?！?/p>
LEIA 的主要特征之一是知識庫、推理模塊和感官輸入的集成。目前，計算機視覺和自然語言處理等領(lǐng)域之間幾乎沒有重疊。
正如 McShane 和 Nirenburg 在他們的書中指出的那樣，“語言理解不能與整體的代理認知過程區(qū)分開來，因為支持語言理解的啟發(fā)式方法也要運用其他感知模式（例如視覺）生成的結(jié)果，來推理說話者的計劃和目標(biāo)，并推理需要花費多少資源來理解困難的輸入?！?/p>
在現(xiàn)實世界中，人類利用他們豐富的感官體驗來填補語言表達的空白（例如，當(dāng)有人對你說“看那邊？”時，他們假設(shè)你可以看到他們的手指指向的地方）。人類進一步開發(fā)了理解彼此思維的模型，并使用這些模型做出假設(shè)并忽略語言中的細節(jié)。我們希望任何以我們自己的語言與我們交互的智能代理都具有類似的能力。
“我們完全理解為什么現(xiàn)在孤立方法成了常態(tài)：每種問題解釋起來都很困難，每個問題的實質(zhì)都需要單獨分析，”McShane 說?！叭欢?，如果沒有集成，所有問題的實質(zhì)層面都無法解決，因此重要的是要抵制（a）假設(shè)模塊化必然會導(dǎo)致簡化，以及（b）無限期地推遲集成的想法?！?/p>
同時，實現(xiàn)類似人類的行為并不需要 LEIA 成為人類大腦的復(fù)制品。“我們同意 Raymond Tallis（和其他人）的觀點，即他所謂的神經(jīng)躁狂癥——渴望解釋作為一個生物實體的大腦可以告訴我們哪些關(guān)于認知和意識的內(nèi)容——導(dǎo)致了許多無法真正解釋的可疑主張和解釋，”McShane 說?！爸辽僭诋?dāng)前的發(fā)展階段，神經(jīng)科學(xué)無法為我們的認知建模類型和目標(biāo)提供任何內(nèi)容（句法或結(jié)構(gòu)）支持?！?/p>
在《人工智能時代的語言學(xué)》中，McShane 和 Nirenburg 認為復(fù)制大腦不符合 AI 的可解釋性目標(biāo)。“運行在人類代理團隊中的 [代理]，需要在一定程度上了解輸入，以確定它們應(yīng)該追求哪些目標(biāo)、計劃和行動，來作為 NLU 的輸出結(jié)果，”他們寫道。
《人工智能時代的語言學(xué)》中討論的許多主題仍處于概念層面，離實現(xiàn)還有很長的距離。作者提供了 NLU 的每個階段應(yīng)該如何運作的藍圖，盡管實際的系統(tǒng)尚不存在。
但 McShane 對 LEIA 的發(fā)展持樂觀態(tài)度?！皬母拍詈头椒▉碚f，工作進展都是非常順利的。主要障礙是在當(dāng)前的行業(yè)氛圍下缺乏資源來分配給基于知識的方法，”她說。
McShane 認為，在批評基于知識的系統(tǒng)時，焦點都集中在知識瓶頸上，但其實這種批評在幾個方面都有誤導(dǎo)性：
實際上并不存在所謂的瓶頸，只要向前邁步就對了。
相關(guān)工作在很大程度上可以自動執(zhí)行，可以讓代理通過自己的操作學(xué)習(xí)語言、了解世界，并由人類獲得的高質(zhì)量核心詞典和本體引導(dǎo)代理。
盡管 McShane 和 Nirenburg 認為 AI 代理可以自動學(xué)習(xí)多種知識——尤其是當(dāng)引導(dǎo)代理的知識庫變得更大時——但最有效的知識獲取流程定然需要人工參與，這種參與可能是為了質(zhì)量控制或者處理困難用例等目的。
她說：“我們準備發(fā)起大規(guī)模的工作計劃來推動 LEIA 的采用，這將使涉及語言交流的各種應(yīng)用程序更像人類?！?/p>
在他們的著作中，McShane 和 Nirenburg 也承認我們需要做很多工作，且 LEIA 的發(fā)展是一項“持續(xù)的、長期的、范圍廣泛的工作計劃”。
“要做的工作的深度和廣度與目標(biāo)的崇高程度是相稱的，這個目標(biāo)就是：讓機器能夠像人類一樣熟練地使用語言，”他們在《人工智能時代的語言學(xué)》中寫道。
原文鏈接：
https://bdtechtalks.com/2021/07/12/linguistics-for-the-age-of-ai/
推薦閱讀
（點擊標(biāo)題可跳轉(zhuǎn)閱讀）
老鐵，三連支持一下，好嗎？↓↓↓