深度學(xué)習(xí)500問(wèn)，以問(wèn)答形式對(duì)常用的概率知識(shí)、線性代數(shù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等熱點(diǎn)問(wèn)題進(jìn)行闡述，以幫助自己及有需要的讀者。 全書(shū)分為18個(gè)章節(jié)，近30萬(wàn)字。

1. 版權(quán)聲明

請(qǐng)尊重作者的知識(shí)產(chǎn)權(quán)，版權(quán)所有，翻版必究。 未經(jīng)許可，嚴(yán)禁轉(zhuǎn)發(fā)內(nèi)容！
請(qǐng)大家一起維護(hù)自己的勞動(dòng)成果，進(jìn)行監(jiān)督。 未經(jīng)許可， 嚴(yán)禁轉(zhuǎn)發(fā)內(nèi)容！ 　　　 2018.6.27 TanJiyong

2. 概述

本項(xiàng)目是大家對(duì)AI的相關(guān)知識(shí)進(jìn)行整合，集思廣益, 以便形成 內(nèi)容充實(shí)，覆蓋全面的文集。

3. 加入以及文檔規(guī)范

1、尋求有愿意繼續(xù)完善的朋友、編輯、寫(xiě)手；如有意合作，完善出書(shū)（成為共同作者）。
2、所有提交內(nèi)容的貢獻(xiàn)者，將會(huì)在文中體現(xiàn)貢獻(xiàn)者個(gè)人信息（例: 大佬-西湖大學(xué)）
3、為了讓內(nèi)容更充實(shí)完善，集思廣益，歡迎Fork該項(xiàng)目并參與編寫(xiě)。請(qǐng)?jiān)谛薷腗D文件的同時(shí)（或直接留言）備注自己的姓名－單位（大佬－斯坦福大學(xué)），一經(jīng)采納，會(huì)在原文中顯示貢獻(xiàn)者的信息，謝謝！
4、推薦使用typora-Markdown閱讀器：https://typora.io/

例子：

### 3.3.2 如何尋找超參數(shù)的最優(yōu)值？（貢獻(xiàn)者：大佬－斯坦福大學(xué)）

在使用機(jī)器學(xué)習(xí)算法時(shí)，總有一些難搞的超參數(shù)。例如權(quán)重衰減大小，高斯核寬度等等。算法不會(huì)設(shè)置這些參數(shù)，而是需要你去設(shè)置它們的值。設(shè)置的值對(duì)結(jié)果產(chǎn)生較大影響。常見(jiàn)設(shè)置超參數(shù)的做法有：

1. 猜測(cè)和檢查：根據(jù)經(jīng)驗(yàn)或直覺(jué)，選擇參數(shù)，一直迭代。
2. 網(wǎng)格搜索：讓計(jì)算機(jī)嘗試在一定范圍內(nèi)均勻分布的一組值。
3. 隨機(jī)搜索：讓計(jì)算機(jī)隨機(jī)挑選一組值。
4. 貝葉斯優(yōu)化：使用貝葉斯優(yōu)化超參數(shù)，會(huì)遇到貝葉斯優(yōu)化算法本身就需要很多的參數(shù)的困難。
5. 在良好初始猜測(cè)的前提下進(jìn)行局部?jī)?yōu)化：這就是 MITIE 的方法，它使用 BOBYQA 算法，并有一個(gè)精心選擇的起始點(diǎn)。由于 BOBYQA 只尋找最近的局部最優(yōu)解，所以這個(gè)方法是否成功很大程度上取決于是否有一個(gè)好的起點(diǎn)。在 MITIE 的情下,我們知道一個(gè)好的起點(diǎn)，但這不是一個(gè)普遍的解決方案，因?yàn)橥ǔＤ悴粫?huì)知道好的起點(diǎn)在哪里。從好的方面來(lái)說(shuō)，這種方法非常適合尋找局部最優(yōu)解。稍后我會(huì)再討論這一點(diǎn)。
6. 最新提出的 LIPO 的全局優(yōu)化方法。這個(gè)方法沒(méi)有參數(shù)，而且經(jīng)驗(yàn)證比隨機(jī)搜索方法好。

4. 貢獻(xiàn)與項(xiàng)目概覽

已提交MD版本章節(jié)：請(qǐng)查看MarkDown