如何看待神經(jīng)網(wǎng)絡(luò)的黑箱？

神經(jīng)網(wǎng)絡(luò) 黑箱的意思是我們知其然，不知其所以然，相關(guān)理論比較缺乏。別看神經(jīng)網(wǎng)絡(luò)相關(guān)論文汗牛充棟，但是大部分類似于technical report，告訴你我這么做效果不錯(cuò)，具體原因不知道，只能“guess”，所以很容易被打臉。

如何看待神經(jīng)網(wǎng)絡(luò)的黑箱？這一篇文章(www.argmin.net/2018/01/25/optics/)講得挺好的，他用光學(xué)系統(tǒng)類比深度學(xué)習(xí)，非常形象。

「從結(jié)構(gòu)來(lái)看」，無(wú)論是深度學(xué)習(xí)還是鏡頭，都是一層一層疊起來(lái)的，如下圖所示。

「從設(shè)計(jì)流程來(lái)看」，當(dāng)要設(shè)計(jì)一個(gè)鏡頭的時(shí)候，往往以一個(gè)已知的鏡頭組合作為基礎(chǔ)，這個(gè)已知的鏡頭組合一般都以發(fā)明這個(gè)鏡頭組合的人命名，類似于深度學(xué)習(xí)的里面的LeNet、AlexNet。然后你跑個(gè)仿真，看看這個(gè)基礎(chǔ)鏡頭組合的表現(xiàn)和你需要達(dá)到的要求存在哪些差距，在合適的地方插入合適的組件來(lái)磨平差距。接著，你用一個(gè)[數(shù)值優(yōu)化器]來(lái)調(diào)上述鏡頭組合的參數(shù)，以發(fā)揮上述鏡頭組合最大的功效。這個(gè)類似于深度學(xué)習(xí)里面的優(yōu)化和調(diào)超參過(guò)程。

「從系統(tǒng)組成部件來(lái)看」，光學(xué)組件有的起到反射作用，有的起到衍射作用，有的起到[折射作用]，有的起到散射作用，有的起到相位校正作用等等。深度學(xué)習(xí)組件（conv、pool、relu等等）有的起到學(xué)習(xí)空間相關(guān)作用，有的起到防止過(guò)擬合作用，有的起到增加非線性作用等等。

「從發(fā)展歷史來(lái)看」，伽利略時(shí)代雖然沒(méi)有光學(xué)理論，類似于現(xiàn)在的深度學(xué)習(xí)，但是同樣造出來(lái)了人類歷史上第一架天文望遠(yuǎn)鏡，推動(dòng)了天文學(xué)的發(fā)展。現(xiàn)在深度學(xué)習(xí)也理論不足，但是極大地推動(dòng)了人工智能的發(fā)展。「從結(jié)果看」，在幾百年里，經(jīng)過(guò)科學(xué)家的不懈努力，光學(xué)終于形成了一整套比較完備的體系，使得現(xiàn)在的光學(xué)工程師在設(shè)計(jì)鏡頭的時(shí)候有跡可循，而不是像幾百年前的伽利略一樣靠經(jīng)驗(yàn)設(shè)計(jì)。

這一套完備的體系將光學(xué)分層了，如下圖所示，這樣的分層使得光學(xué)分工明確，每個(gè)人研究各自層的東西，一起推動(dòng)光學(xué)發(fā)展。上面的層是下面層的抽象，越往上能解釋越復(fù)雜的現(xiàn)象，見(jiàn)下圖所示，而相比而言深度學(xué)習(xí)里面的很多現(xiàn)象還得不到較好的解釋。

光學(xué)也經(jīng)歷過(guò)黑箱時(shí)代，深度學(xué)習(xí)現(xiàn)在就是黑箱時(shí)代，理論的前進(jìn)一般會(huì)晚于實(shí)踐，但是假以時(shí)日，理論肯定會(huì)完備起來(lái)，形成類似于當(dāng)前光學(xué)那樣的層層抽象的學(xué)術(shù)體系，只不過(guò)這個(gè)過(guò)程需要所有從業(yè)者一起的努力，和一定時(shí)間的積淀，也許幾十年，也許上百年。