深度學(xué)習(xí)推動(dòng)了 AI 領(lǐng)域成為目前最熱門的學(xué)科，但引領(lǐng)這一風(fēng)潮的先驅(qū)者，如 Geoffrey Hinton，正期待對神經(jīng)網(wǎng)絡(luò)進(jìn)行大刀闊斧的修改，讓 AI 能力實(shí)現(xiàn)新的真正突破。
「如果我們想讓神經(jīng)網(wǎng)絡(luò)像人類一樣理解圖像，我們需要找出神經(jīng)網(wǎng)絡(luò)是如何表示部分 - 整體層次結(jié)構(gòu)的?！构雀韪笨偛?、工程研究專家、Vector Institute 首席科學(xué)顧問、多倫多大學(xué) Emeritus 榮譽(yù)教授 Geoffrey Hinton。
2 月 25 日，一篇署名只有圖靈獎(jiǎng)得主 Hinton 一人的 44 頁論文被上傳到了預(yù)印版論文平臺 arXiv，引發(fā)了人工智能社區(qū)的震動(dòng)。
論文鏈接：https://arxiv.org/abs/2102.12627這是在 2017 年，Hinton 及其合作者的膠囊網(wǎng)絡(luò) CapsNet 公開之后，他又一次對于深度學(xué)習(xí)模型架構(gòu)的嘗試。有趣的是，人們拜讀后發(fā)現(xiàn)，這一文章雖然篇幅很長，但主要敘述的是一種思想，Hinton 期待其他研究者們能夠從中獲得啟發(fā)，順著這樣的思路開展后續(xù)研究。
Hinton 在論文的摘要中寫道：「這篇論文并沒有描述一個(gè)已經(jīng)在運(yùn)行的系統(tǒng)。它只描述了一個(gè)有關(guān)表示的單一想法， 允許將幾個(gè)不同的小組所取得的進(jìn)步組合到一個(gè)稱為 GLOM 的假想系統(tǒng)中。這些進(jìn)步包含 Transformer、神經(jīng)場（neural field）、對比表示學(xué)習(xí)、模型蒸餾和膠囊網(wǎng)絡(luò)（capsule）。GLOM 回答了一個(gè)問題：具有固定架構(gòu)的神經(jīng)網(wǎng)絡(luò)如何將圖像解析為部分 - 整體的層次結(jié)構(gòu)，而每個(gè)圖像的層次結(jié)構(gòu)又都不同？
這一想法簡單地使用相同向量的孤島來表示解析樹中的節(jié)點(diǎn)。如果 GLOM 最終被證明可行，則其被應(yīng)用于視覺或語言任務(wù)中時(shí)，可以大大改善 transformer 類系統(tǒng)產(chǎn)生表示的可解釋性。
Hinton 是否已經(jīng)對這個(gè)想法進(jìn)行了具體編寫代碼程度的嘗試？對此，作者本人表示：他正在和 Laura Culp、Sara Sabour 一同研究這樣的想法。我們知道，Hinton 提及的谷歌研究科學(xué)家 Sara Sabour 此前也是膠囊網(wǎng)絡(luò)論文的第一作者，在 NIPS 2017 論文《Dynamic Routing Between Capsules》出爐之后，Sara 也開源了一份 Capsule 代碼。有強(qiáng)有力的心理學(xué)證據(jù)表明，人類會將視覺場景解析為部分與整體的層次結(jié)構(gòu)，并將部分與整體之間視角不變的空間關(guān)系建模為他們?yōu)檎w和部分分配的內(nèi)在坐標(biāo)系之間的坐標(biāo)變換。如果想讓神經(jīng)網(wǎng)絡(luò)像人類一樣理解圖像，我們就要弄清楚神經(jīng)網(wǎng)絡(luò)如何表征部分 - 整體這一層次結(jié)構(gòu)。要做到這一點(diǎn)并不容易，因?yàn)橐粋€(gè)真實(shí)的神經(jīng)網(wǎng)絡(luò)無法動(dòng)態(tài)地分配一組神經(jīng)元來表示解析樹中的一個(gè)節(jié)點(diǎn)。神經(jīng)網(wǎng)絡(luò)無法動(dòng)態(tài)分配神經(jīng)元是一系列使用「膠囊」的模型的動(dòng)機(jī)。這些模型假設(shè)：一組名為「膠囊」的神經(jīng)元將永遠(yuǎn)專注于一個(gè)特定類型的一部分，這一類型出現(xiàn)在圖像的一個(gè)特定區(qū)域。然后，可以通過激活這些預(yù)先存在的、特定類型的膠囊的子集以及它們之間的適當(dāng)連接來創(chuàng)建解析樹。但是，本論文描述了一種非常不同的方法，使用膠囊來表示神經(jīng)網(wǎng)絡(luò)中的部分 - 整體層次結(jié)構(gòu)。盡管本文主要關(guān)注單個(gè)靜態(tài)圖像的感知，但將 GLOM 看作一個(gè)處理幀序列的 pipeline 是最容易理解的，因此一張靜態(tài)圖像將被視為一些相同幀組成的序列。 GLOM 架構(gòu)是由大量使用相同權(quán)重的列組成的。每一列都是空間局部自編碼器的堆棧，這些編碼器學(xué)習(xí)在一個(gè)小圖像 patch 中出現(xiàn)的多級表示。每個(gè)自動(dòng)編碼器使用多層自底向上編碼器和多層自頂向下解碼器將某一層級上的嵌入轉(zhuǎn)換為相鄰層級上的嵌入。這些層級與部分 - 整體層次結(jié)構(gòu)中的層級相對應(yīng)。例如，當(dāng)顯示一張臉的圖像時(shí)，單個(gè)列可能會收斂到表示鼻孔、鼻子、臉和人的嵌入向量上。圖 1 顯示了不同層級的嵌入如何在單個(gè)列中交互。
圖 1 并沒有顯示不同列中相同層級的嵌入之間的交互。這些交互比列內(nèi)的交互簡單得多，因?yàn)樗鼈儾恍枰獙?shí)現(xiàn)部分 - 整體坐標(biāo)轉(zhuǎn)換。它們就像多頭 transformer 中表示不同詞碎片（word fragment）的列之間的注意力加權(quán)交互，但它們更簡單，因?yàn)椴樵?、鍵和值向量都與嵌入向量相同。列間交互的作用是在一個(gè)層級上產(chǎn)生相同嵌入的 island，方法是讓該層級上的每個(gè)嵌入向量回歸到臨近位置上的其他相似向量。這就產(chǎn)生了多個(gè)局部「回音室（echo chamber）」，在這些回音室中，某個(gè)層級上的嵌入主要關(guān)注其他志同道合的嵌入。在每個(gè)離散時(shí)間和每一列中，將某個(gè)層級的嵌入更新為以下 4 個(gè)內(nèi)容的加權(quán)平均值：由自底向上的神經(jīng)網(wǎng)絡(luò)產(chǎn)生的預(yù)測，該網(wǎng)絡(luò)之前作用于下一個(gè)層級的嵌入；
由自頂向下的神經(jīng)網(wǎng)絡(luò)產(chǎn)生的預(yù)測，該網(wǎng)絡(luò)之前作用于上一個(gè)層級的嵌入；
前一個(gè)時(shí)間步的嵌入向量；
之前相鄰列中相同層級的嵌入的注意力加權(quán)平均值。
對于靜態(tài)圖像，某一層級上的嵌入應(yīng)隨時(shí)間的流逝而穩(wěn)定下來，以生成幾乎相同向量的不同 island。層級越高，這些 island 應(yīng)該越大，如圖 2 所示。
使用相似性的 island 表征圖像的解析，避免了需要分配神經(jīng)元組來動(dòng)態(tài)地表示解析樹的節(jié)點(diǎn)，或預(yù)先為所有可能的節(jié)點(diǎn)預(yù)留神經(jīng)元組的需求。GLOM 沒有分配神經(jīng)硬件來表示解析樹中的節(jié)點(diǎn)，也沒有為節(jié)點(diǎn)提供指向其祖先和后代的指針，而是分配了一個(gè)適當(dāng)?shù)幕顒?dòng)向量來表征該節(jié)點(diǎn)，并為屬于該節(jié)點(diǎn)的所有位置使用了相同的活動(dòng)向量。訪問節(jié)點(diǎn)祖先和后代的能力是通過自底向上和自頂向下的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的。而不是通過使用 RAM 進(jìn)行表查找實(shí)現(xiàn)的。和 BERT 一樣，整個(gè)系統(tǒng)可以進(jìn)行端到端訓(xùn)練，以便在最后的時(shí)間步從存在缺失區(qū)域的輸入圖像中重建圖像，而目標(biāo)函數(shù)還包括兩個(gè)正則化程序，它們促使在每一層上的 island 幾乎向量相同。正則化程序只是某層的新嵌入與自下而上和自上而下的預(yù)測之間的協(xié)議，增加該協(xié)議將有助于生成局部 island。和其他神經(jīng)網(wǎng)絡(luò)有何不同與膠囊網(wǎng)絡(luò)相比，GLOM 的主要優(yōu)勢在于它無需在每個(gè)層級將神經(jīng)元預(yù)先分配給一組可能的離散部分，這允許在類似組件（如手臂和腿）之間進(jìn)行更多的知識共享，并且在屬于特定類型對象的部分的數(shù)量 / 類型上具有更大的靈活性。同時(shí)，GLOM 也不需要?jiǎng)討B(tài)路徑，而且其形成聚類的過程要比膠囊網(wǎng)絡(luò)好得多。而與最近大熱的 Transformer 模型相比，GLOM 的重新布置等效于 transformer 的標(biāo)準(zhǔn)版本，但具有一些不同之處：每層的權(quán)重都相同；極大簡化的注意力機(jī)制；在大多數(shù) transformer 模型中用于提供更多表現(xiàn)力的 multiple head 被重新設(shè)計(jì)成用于實(shí)現(xiàn)部分 - 整體層次結(jié)構(gòu)的多個(gè)層級。
在該研究中，Hinton 表示，當(dāng)初提出膠囊網(wǎng)絡(luò)，是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò) CNN 存在三個(gè)可感知的缺陷。如果你熟悉 CNN，那么也可以將 GLOM 視為一種特殊的 CNN，它在以下方面不同于標(biāo)準(zhǔn) CNN：? 位置之間的交互是通過無參數(shù)平均來實(shí)現(xiàn)的，該平均實(shí)現(xiàn)了符合過濾器，后者允許自己使用霍夫變換（Hough transform）來激活單元，而不僅使用匹配的過濾器。? 迭代不使用單個(gè)前饋遍歷表示層級，而是允許神經(jīng)場實(shí)現(xiàn)自上而下的影響。? 它包括對比性自監(jiān)督學(xué)習(xí)，并執(zhí)行分層分割，這是識別的一部分，而不再是單獨(dú)的任務(wù)。這解決了不透明的問題。GLOM 網(wǎng)絡(luò)，真的是未來方向嗎？正如網(wǎng)友們的評論所言：不論 Geoffrey Hinton 所提出的是否是一個(gè)好主意，人們可以發(fā)現(xiàn)他的寫作風(fēng)格非常令人愉快。這位 2018 圖靈獎(jiǎng)得主在篇幅不小的論文中很好地構(gòu)建了自己的想法，并通過各種不同視角將其具體化。即使這種模型最終在技術(shù)上被證明不是很可行，人們也可以從他推理的過程中獲得不小的啟發(fā)。
本論文最初是一個(gè)用于實(shí)現(xiàn)的設(shè)計(jì)文檔，但很快就因?yàn)樾枰C明一些設(shè)計(jì)決策而放慢腳步。Hinton 使用假想的 GLOM 架構(gòu)作為工具，來傳達(dá)一系列彼此之間相關(guān)聯(lián)的想法，這些想法旨在揭示神經(jīng)網(wǎng)絡(luò)視覺系統(tǒng)的內(nèi)部構(gòu)造。由于沒有介紹可行的實(shí)現(xiàn)，Hinton 更容易專注于將想法表達(dá)清楚，避免人們忙于將「idea 質(zhì)量」與「實(shí)現(xiàn)質(zhì)量」放在一起談?wù)摗?/span>「科學(xué)和哲學(xué)的區(qū)別就在于，實(shí)驗(yàn)可以證明極其合理的想法是錯(cuò)誤的，而極其不合理的想法也可以是正確的?！?/span>目前，Hinton 正在參與一個(gè)合作項(xiàng)目，以檢驗(yàn) GLOM 架構(gòu)的能力。同時(shí)，他也希望其他研究小組能夠參與到驗(yàn)證上述想法的行列。解析樹中的節(jié)點(diǎn)由相似向量的 island 表示，這一觀點(diǎn)統(tǒng)一了兩種非常不同的理解感知的方法。第一種方法是經(jīng)典的格式塔學(xué)派，主張人腦的運(yùn)作原理屬于整體論，整體不同于其部件的總和，還提出了「場（field）」的理論來建模感知。在 GLOM 中，一個(gè) percept 就是一個(gè)場，表示整體的共享嵌入向量實(shí)際上與表示部分的共享嵌入向量非常不同。第二種方法是經(jīng)典的人工智能派別，它依靠結(jié)構(gòu)描述來建立感知模型。GLOM 也有結(jié)構(gòu)描述，解析樹中的每個(gè)節(jié)點(diǎn)都有自己的「地址（address）」，但地址位于可能嵌入的連續(xù)空間中，而不是硬件位置的離散空間中。一些深度學(xué)習(xí)的批評者認(rèn)為，神經(jīng)網(wǎng)絡(luò)不能處理組合的層次體系，需要有一個(gè)「神經(jīng)符號」接口，使神經(jīng)網(wǎng)絡(luò)的前端和后端能夠?qū)⒏呒壨评硪平唤o一個(gè)更加 symbolic 的系統(tǒng)。而 Hinton 相信，人類的主要推理模式是使用類比（analogy），而這些類比之所以成為可能，是因?yàn)閷W(xué)到的高維向量之間存在相似性。他還給出了一個(gè)關(guān)于神經(jīng)符號接口的類比，認(rèn)為這一接口就像汽車制造商們花費(fèi) 50 年的時(shí)間闡釋電動(dòng)機(jī)的缺點(diǎn)，但最終還是紛紛將電動(dòng)設(shè)備加入汽油引擎（混動(dòng)、電氣化）。BERT 的巨大成功以及早期的研究成果（如果任務(wù)需要，神經(jīng)網(wǎng)絡(luò)可以輸出解析樹）清楚地表明，如果神經(jīng)網(wǎng)絡(luò)愿意，它們可以解析句子。通過構(gòu)建 BERT 多頭之間的交互，使它們對應(yīng)于表示的級別，并通過添加一個(gè)對比學(xué)習(xí)的 regularizer，以促進(jìn)在每個(gè)級別的多個(gè)詞碎片上局部 island 的一致性，這可能表明 GLOMBERT 實(shí)際上在解析句子。參考內(nèi)容：https://www.reddit.com/r/MachineLearning/comments/lszl9c/r_new_geoffrey_hinton_paper_on_how_to_represent/https://twitter.com/geoffreyhinton/status/1365311399287808002
