【深度學(xué)習(xí)】終于學(xué)會(huì)調(diào)參了！！你有哪些deep learning（rnn、cnn）調(diào)參的經(jīng)驗(yàn)？
前兩天在B站直播講課的時(shí)候，談到初始化模型，一般來說會(huì)做兩個(gè)事情，第一個(gè)是要選定模型架構(gòu)，第二個(gè)是學(xué)會(huì)初始化參數(shù)。
對(duì)于參數(shù)這一塊，主要是兩個(gè)，第一個(gè)是模型自帶的參數(shù)，第二個(gè)是我們的超參數(shù)。
模型自帶的參數(shù)在初始化的時(shí)候方式有很多，這個(gè)先不談。超參數(shù)的調(diào)整一般就是煉丹師口中的調(diào)參。
比如說bs，lr，每層節(jié)點(diǎn)數(shù)，正負(fù)樣本比例等等，這些其實(shí)都屬于超參數(shù)。
說起調(diào)參，其實(shí)很多人都會(huì)比較頭疼，因?yàn)檫@個(gè)東西比較吃經(jīng)驗(yàn)。
之前在知乎收藏了一個(gè)問題「你有哪些deep learning（rnn、cnn）調(diào)參的經(jīng)驗(yàn)？」，下面的回答還是挺好的，地址在這里，大家可以去看一下。
地址：https://www.zhihu.com/question/41631631/answer/2859869318
除了這個(gè)之外呢，也推薦一份谷歌大腦剛出爐的深度學(xué)習(xí)調(diào)參手冊(cè)，沉淀了他們?cè)谏疃葘W(xué)習(xí)領(lǐng)域的多年“踩坑”經(jīng)驗(yàn)。這個(gè)項(xiàng)目也得到了“深度學(xué)習(xí)之父” Geoffrey Hinton 的盛贊。
我記得我在B站錄制這個(gè)倉(cāng)庫(kù)解讀視頻的時(shí)候應(yīng)該是9K，現(xiàn)在去看了下已經(jīng)14K星標(biāo)了，增速實(shí)在是太快了。
它主要分為四個(gè)部分。
第一部分這里，關(guān)于如何開始一個(gè)新的項(xiàng)目。
這個(gè)部分就是你在開始做一個(gè)項(xiàng)目的時(shí)候需要優(yōu)先考慮什么，包括如何選擇模型架構(gòu)，優(yōu)化器，如何確定bs大小，以及參數(shù)初始化需要注意什么問題。
第二個(gè)部分，也就是這里，是關(guān)于一些改善模型性能的科學(xué)方法，比如增量調(diào)整策略，你的實(shí)驗(yàn)一定是一步步進(jìn)行迭代的，也就是你的配置需要從簡(jiǎn)單到復(fù)雜，每一輪實(shí)驗(yàn)都應(yīng)該有一個(gè)明確的目標(biāo)等等，還比如如何去選擇激活函數(shù)和學(xué)習(xí)率，這一個(gè)部分描述的是非常細(xì)致的，能看出來都是一些非常好的實(shí)戰(zhàn)經(jīng)驗(yàn)。
第三個(gè)部分確定每次訓(xùn)練的步驟數(shù)，這里其實(shí)主要聊的是一個(gè)最大訓(xùn)練步數(shù)的優(yōu)化問題。
第四個(gè)部分是一些除了前面三個(gè)部分一些剩余的經(jīng)驗(yàn)，比如說如何去評(píng)估模型性能，如何選擇模型檢查點(diǎn)，以及關(guān)于Batch normalization 一些實(shí)驗(yàn)細(xì)節(jié)等等。
地址在這里：https://github.com/google-research/tuning_playbook
往期精彩回顧
適合初學(xué)者入門人工智能的路線及資料下載 (圖文+視頻)機(jī)器學(xué)習(xí)入門系列下載 機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印 《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 機(jī)器學(xué)習(xí)交流qq群955171419，加入微信群請(qǐng)掃碼