新智元報(bào)道

來(lái)源：FAIR

編輯：yaxin, LQ

【新智元導(dǎo)讀】馬斯克堅(jiān)信，世界只是「矩陣模擬」！他用自己推崇的思維模式「第一性原理」來(lái)思考這個(gè)物理世界。近日，F(xiàn)acebook科學(xué)家Sho Yaida撰寫(xiě)的一書(shū)從「第一性原理」解釋了深度神經(jīng)網(wǎng)絡(luò)。LeCun表示，這是首批致力于DL理論的書(shū)。

還記得馬斯克常常掛在嘴邊的「第一性原理」嗎？

簡(jiǎn)之，追本溯源。

人工智能的無(wú)限發(fā)展，以及我們對(duì)量子物理的不斷認(rèn)識(shí)，讓我們不斷懷疑自己生存的世界。

馬斯克堅(jiān)信，世界只是「矩陣模擬」，我們都生活在這個(gè)模擬中。

一次訪談中他表示，「神經(jīng)網(wǎng)絡(luò)主要是從現(xiàn)實(shí)中獲取大量信息，很多來(lái)自無(wú)源光學(xué)方面，并創(chuàng)建矢量空間，本質(zhì)上將大量光子壓縮成矢量空間。」

至今，人們還無(wú)法從理論層面解釋神經(jīng)網(wǎng)絡(luò)的「第一性原理」。

如大腦神經(jīng)元一樣，神經(jīng)網(wǎng)絡(luò)復(fù)雜而無(wú)法從基本原理中理解。

這個(gè)難題，有人已幫你解決。

Facebook 人工智能研究中心（FAIR）的科學(xué)家Sho Yaida撰寫(xiě)了一本關(guān)于如何從「第一性原理」來(lái)理解深度神經(jīng)網(wǎng)絡(luò)（DNN）的書(shū)籍。

這本書(shū)名為The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks，將于2022年初由劍橋大學(xué)出版社出版，手稿現(xiàn)在已經(jīng)公開(kāi)。

△ 自取地址：https://arxiv.org/pdf/2106.10165.pdf

本書(shū)序言開(kāi)篇引用了量子力學(xué)的奠基人、諾貝爾物理學(xué)獎(jiǎng)得主狄拉克在《量子力學(xué)原理》一書(shū)序言中的一句話：

This has necessitated a complete break from the historical line of development, but this break is an advantage through enabling the approach to the new ideas to be made as direct as possible.（這就需要完全脫離歷史的發(fā)展路線，但這種脫離是一種優(yōu)勢(shì)，因?yàn)樗谷藗兡軌虮M可能直接地接近新的思想。）

另辟蹊徑？這本書(shū)要告訴我們什么？

相互作用的神經(jīng)元

深度神經(jīng)網(wǎng)絡(luò)是現(xiàn)代 AI 研究的重要組成部分，但它們或多或少被視為「黑匣子」。

雖然人工智能從業(yè)者取得了實(shí)質(zhì)性進(jìn)展，但 DNN 通常被認(rèn)為太復(fù)雜而無(wú)法從基本原理來(lái)理解。

對(duì)于他們來(lái)講，這種理解可以大大減少訓(xùn)練DNN所需的試錯(cuò)次數(shù)。

比如，它可以揭示任何給定模型的最佳超參數(shù)，而無(wú)需經(jīng)過(guò)當(dāng)今所需的時(shí)間和計(jì)算密集型實(shí)驗(yàn)。

到目前為止，試圖理解 DNN 的理論家通常依賴(lài)于對(duì)此類(lèi)網(wǎng)絡(luò)的理想化，即所謂的「無(wú)限寬度」限制。

其中，DNN 以每層無(wú)限數(shù)量的神經(jīng)元進(jìn)行建模。

從物理學(xué)家的角度解決這個(gè)問(wèn)題，The Principles of Deep Learning Theory 通過(guò)在有限寬度上提出有效的 DNN 理論，改進(jìn)了這個(gè)無(wú)限寬度的限制。

用物理學(xué)的語(yǔ)言來(lái)說(shuō)，這意味著對(duì)單層和跨層神經(jīng)元之間的微小相互作用進(jìn)行建模。

想象兩個(gè)臺(tái)球向著對(duì)方前進(jìn)。

如果你使用類(lèi)似于無(wú)限寬度限制的非交互模型來(lái)計(jì)算將要發(fā)生的事情，就會(huì)發(fā)現(xiàn)球會(huì)相互穿過(guò)并繼續(xù)朝同一方向前進(jìn)。

但事實(shí)并非如此。

球中的電子不能占據(jù)相同的空間，因此它們會(huì)相互作用碰撞彈跳。

這些相互作用在現(xiàn)實(shí)生活中很重要，在物理學(xué)中很重要，對(duì) DNN 同樣如此。

無(wú)限寬度導(dǎo)致神經(jīng)元的相互作用可能性降低，只有有限寬度才提供神經(jīng)元碰撞的上下文。

△ 訓(xùn)練DNN示例

考慮到神經(jīng)元之間的類(lèi)似相互作用，該書(shū)的理論發(fā)現(xiàn)：

DNN 的真正威力——它們從數(shù)據(jù)中學(xué)習(xí)世界表征的能力——與其縱橫比（即深度與寬度之比）成正比。

對(duì)于無(wú)限寬度模型，該比率為零，因此這些玩具模型無(wú)法捕捉深度，并且隨著 DNN 深度的增加，它們的描述變得越來(lái)越不準(zhǔn)確。

相比之下，使用有限寬度層，有效理論實(shí)際上會(huì)影響深度——這對(duì)于表征學(xué)習(xí)和DNN的 D 真正重要的其他應(yīng)用至關(guān)重要。

通過(guò)第一性原理理解DNN

雖然書(shū)中描述的框架可以擴(kuò)展到現(xiàn)代人工智能社區(qū)使用的現(xiàn)實(shí)世界DNN，并為此提供了一個(gè)藍(lán)圖，但書(shū)本身主要側(cè)重于用于教學(xué)目的、最簡(jiǎn)單的深度學(xué)習(xí)模型(深度多層感知器) 。

應(yīng)用于這種最簡(jiǎn)單的結(jié)構(gòu)，可以系統(tǒng)地求解有效理論方程。這意味著可以對(duì)整個(gè)訓(xùn)練軌跡的DNN行為有一個(gè)「第一性原理理解」。

尤其是我們可以明確地寫(xiě)下一個(gè)完全訓(xùn)練的 DNN 所計(jì)算的函數(shù)，來(lái)對(duì)新的測(cè)試?yán)幼龀鲱A(yù)測(cè)。

有了這個(gè)新的有效的理論，我們希望理論家能夠推動(dòng)對(duì)神經(jīng)網(wǎng)絡(luò)的更深入和更完整的理解。雖然還有很多計(jì)算工作等待完成，但是這項(xiàng)工作可能會(huì)使這個(gè)領(lǐng)域更加接近于理解讓模型運(yùn)行的是哪些特定屬性。

研究人員也希望這本書(shū)將幫助人工智能社區(qū)減少時(shí)而出現(xiàn)的限制當(dāng)前進(jìn)展的試錯(cuò)周期。希望幫助從業(yè)者迅速設(shè)計(jì)出更好的模型——更高效、性能更佳、訓(xùn)練更快，或者同時(shí)具備所有這些優(yōu)點(diǎn)。

特別是那些DNN不用任何訓(xùn)練就能夠挑選最佳的超參數(shù)，并為實(shí)現(xiàn)最佳結(jié)果選擇最佳算法和模型結(jié)構(gòu)。

這些問(wèn)題多年來(lái)一直被認(rèn)為無(wú)法回答或解釋。本書(shū)證明了人工智能并不是一門(mén)無(wú)法解釋的藝術(shù)，實(shí)用的人工智能可以通過(guò)基本的科學(xué)原則來(lái)理解。

LeCun為同事站臺(tái)

Facebook VP，首席AI科學(xué)家的LeCun也來(lái)為同事的新書(shū)站臺(tái)，他說(shuō)：在科學(xué)技術(shù)史上，工程實(shí)踐結(jié)果往往首當(dāng)其沖: 望遠(yuǎn)鏡、蒸汽機(jī)、數(shù)字通信。而解釋其功能和局限性的理論往往出現(xiàn)在后面: 折射定律、熱力學(xué)定律和信息理論。

隨著深度學(xué)習(xí)的出現(xiàn)，以人工智能為動(dòng)力的工程奇跡進(jìn)入了我們的生活，但我們對(duì)深度學(xué)習(xí)的力量和局限性的「理論認(rèn)識(shí)」仍然是片面的。這是首批致力于深度學(xué)習(xí)理論的書(shū)籍之一，本書(shū)以連貫的方式列出了近期理論方法和結(jié)果。

近年來(lái)實(shí)證研究的結(jié)果將人工智能推向了新的高度，盡管如此我們?nèi)詧?jiān)信，建立在理論基礎(chǔ)上的實(shí)踐能幫助加速人工智能研究，并可能導(dǎo)致目前無(wú)法想象的新領(lǐng)域的出現(xiàn)，正如一個(gè)多世紀(jì)以前統(tǒng)計(jì)力學(xué)導(dǎo)致了信息時(shí)代的到來(lái)一樣。