如何看待神經(jīng)網(wǎng)絡(luò)的黑箱？
共 1951字，需瀏覽 4分鐘
·
2024-05-02 10:05
重磅干貨，第一時(shí)間送達(dá)
重磅干貨，第一時(shí)間送達(dá)
編者薦語
神經(jīng)網(wǎng)絡(luò)黑箱的意思是我們知其然，不知其所以然，相關(guān)理論比較缺乏。別看神經(jīng)網(wǎng)絡(luò)相關(guān)論文汗牛充棟，但是大部分類似于technical report，告訴你我這么做效果不錯(cuò)，具體原因不知道，只能“guess”，所以很容易被打臉。
編者薦語
神經(jīng)網(wǎng)絡(luò)黑箱的意思是我們知其然，不知其所以然，相關(guān)理論比較缺乏。別看神經(jīng)網(wǎng)絡(luò)相關(guān)論文汗牛充棟，但是大部分類似于technical report，告訴你我這么做效果不錯(cuò)，具體原因不知道，只能“guess”，所以很容易被打臉。
鏈接丨h(huán)ttps://www.zhihu.com/question/263672028/answer/430179912
如何看待神經(jīng)網(wǎng)絡(luò)的黑箱？這一篇文章(www.argmin.net/2018/01/25/optics/)講得挺好的，他用光學(xué)系統(tǒng)類比深度學(xué)習(xí)，非常形象。
「從結(jié)構(gòu)來看」，無論是深度學(xué)習(xí)還是鏡頭，都是一層一層疊起來的，如下圖所示。
「從設(shè)計(jì)流程來看」，當(dāng)要設(shè)計(jì)一個(gè)鏡頭的時(shí)候，往往以一個(gè)已知的鏡頭組合作為基礎(chǔ)，這個(gè)已知的鏡頭組合一般都以發(fā)明這個(gè)鏡頭組合的人命名，類似于深度學(xué)習(xí)的里面的LeNet、AlexNet。然后你跑個(gè)仿真，看看這個(gè)基礎(chǔ)鏡頭組合的表現(xiàn)和你需要達(dá)到的要求存在哪些差距，在合適的地方插入合適的組件來磨平差距。接著，你用一個(gè)[數(shù)值優(yōu)化器]來調(diào)上述鏡頭組合的參數(shù)，以發(fā)揮上述鏡頭組合最大的功效。這個(gè)類似于深度學(xué)習(xí)里面的優(yōu)化和調(diào)超參過程。
「從系統(tǒng)組成部件來看」，光學(xué)組件有的起到反射作用，有的起到衍射作用，有的起到[折射作用]，有的起到散射作用，有的起到相位校正作用等等。深度學(xué)習(xí)組件（conv、pool、relu等等）有的起到學(xué)習(xí)空間相關(guān)作用，有的起到防止過擬合作用，有的起到增加非線性作用等等。
「從發(fā)展歷史來看」，伽利略時(shí)代雖然沒有光學(xué)理論，類似于現(xiàn)在的深度學(xué)習(xí)，但是同樣造出來了人類歷史上第一架天文望遠(yuǎn)鏡，推動(dòng)了天文學(xué)的發(fā)展。現(xiàn)在深度學(xué)習(xí)也理論不足，但是極大地推動(dòng)了人工智能的發(fā)展。「從結(jié)果看」，在幾百年里，經(jīng)過科學(xué)家的不懈努力，光學(xué)終于形成了一整套比較完備的體系，使得現(xiàn)在的光學(xué)工程師在設(shè)計(jì)鏡頭的時(shí)候有跡可循，而不是像幾百年前的伽利略一樣靠經(jīng)驗(yàn)設(shè)計(jì)。
這一套完備的體系將光學(xué)分層了，如下圖所示，這樣的分層使得光學(xué)分工明確，每個(gè)人研究各自層的東西，一起推動(dòng)光學(xué)發(fā)展。上面的層是下面層的抽象，越往上能解釋越復(fù)雜的現(xiàn)象，見下圖所示，而相比而言深度學(xué)習(xí)里面的很多現(xiàn)象還得不到較好的解釋。
光學(xué)也經(jīng)歷過黑箱時(shí)代，深度學(xué)習(xí)現(xiàn)在就是黑箱時(shí)代，理論的前進(jìn)一般會(huì)晚于實(shí)踐，但是假以時(shí)日，理論肯定會(huì)完備起來，形成類似于當(dāng)前光學(xué)那樣的層層抽象的學(xué)術(shù)體系，只不過這個(gè)過程需要所有從業(yè)者一起的努力，和一定時(shí)間的積淀，也許幾十年，也許上百年。
作者：mileistone 編輯：算法進(jìn)階（侵刪）
下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講 在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計(jì)數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。
下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講 在「小白學(xué)視覺」公眾號后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會(huì)逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會(huì)請出群，謝謝理解~