深度學(xué)習(xí)：如何進(jìn)行優(yōu)雅的優(yōu)化？
重磅干貨，第一時間送達(dá)
深度學(xué)習(xí)中我們總結(jié)出 5 大技巧：
本節(jié)繼續(xù)從第三個開始講起。
3. Early stopping and Regularization
本節(jié)我們一起探討 Early stopping and Regularization，這兩個技巧不是深度學(xué)習(xí)特有的方法，是機(jī)器學(xué)習(xí)通用的方法。
Early stopping
在訓(xùn)練過程中，往往會得出訓(xùn)練的最后的結(jié)果還可能不如以前的，原因很有可能出現(xiàn)overfitting。?我們需要提前踩剎車，得出更好的效果。
Regularizaton
當(dāng)我們努力降低Loss函數(shù)的數(shù)值的時候，我們會發(fā)現(xiàn)，我們找到的參數(shù)集weights，不僅僅要讓Loss變小，而且weights 自身也需要接近于0，這樣我們的結(jié)果會更加理想。
L1 正則化：
新的Loss函數(shù)將會被最小化：
L2正則化：
新的Loss函數(shù)將會被最小化：
到這里，很多同學(xué)會疑問，為什么weights小了，結(jié)果就很更好，我在這里舉例說明：6歲的時候和14歲的時候，大腦的神經(jīng)元密度明顯降低，說明一些無效的神經(jīng)元是阻礙大腦進(jìn)步的。
4. Dropout
Dropout 在2012年imagenet 比賽中大放異彩，是當(dāng)時CNN模型奪冠的功勛環(huán)節(jié)之一。
那什么是Dropout 我們先直觀的理解：
練武功的時候，訓(xùn)練的時候腳上綁上重物
等到練成下山的時候：
我們從幾個方面來解釋Dropout
基礎(chǔ)定義
當(dāng)訓(xùn)練的時候，每一個神經(jīng)元都有p%的可能“靠邊站”
當(dāng)測試的時候，所有的神經(jīng)元齊心協(xié)力，共同努力：
Dropout是一種Ensemble學(xué)習(xí)
Ensemble 學(xué)習(xí)我們在機(jī)器學(xué)習(xí)專欄中一起討論過，鏈接是集成學(xué)習(xí)。每次訓(xùn)練的時候的網(wǎng)絡(luò)結(jié)構(gòu)都是不一樣的，是一個thinner network：
其實(shí)在訓(xùn)練的時候訓(xùn)練了很多thinner network：
測試的時候，取各個網(wǎng)絡(luò)的平均值
所以在深度學(xué)習(xí)中，我們的整個訓(xùn)練測試方法如下：
本專欄圖片、公式很多來自臺灣大學(xué)李弘毅老師、斯坦福大學(xué)cs229、cs231n 、斯坦福大學(xué)cs224n課程。在這里，感謝這些經(jīng)典課程，向他們致敬！
小白團(tuán)隊出品：零基礎(chǔ)精通語義分割↓↓↓
下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程 在「小白學(xué)視覺」公眾號后臺回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。 下載2：Python視覺實(shí)戰(zhàn)項目52講 在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實(shí)戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實(shí)戰(zhàn)項目，助力快速學(xué)校計算機(jī)視覺。 下載3：OpenCV實(shí)戰(zhàn)項目20講 在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實(shí)戰(zhàn)項目20講，即可下載含有20個基于OpenCV實(shí)現(xiàn)20個實(shí)戰(zhàn)項目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。 交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~
