深度學(xué)習(xí)需要多強(qiáng)的數(shù)學(xué)基礎(chǔ)？
共 4356字，需瀏覽 9分鐘
·
2024-04-16 10:05
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
作者：EddyLiu
https://www.zhihu.com/question/266478287/answer/587489884
如果，你有了這樣的感覺，下面的視頻不妨抽時(shí)間看看(都需要翻墻)：
李宏毅《Machine Learning and having it deep and structured》
課程地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html
《Theory 1 - Why Deep Structure》
Can shallow network fit any function
Potential of Deep
Is Deep better than Shallow
《Theory 2 - Optimization》
When Gradient is Zero
Deep Linear Network
Does Deep Network have Local Minima
Geometry of Loss Surfaces (Conjecture)
Geometry of Loss Surfaces (Empirical)
《Theory 3 - Generalization 》
Capability of Generalization
Indicator of Generalization
Sanjeev Arora《The mathematics of machine learning and deep learning 》
這是ICM2018的主題演講，雖然Sanjeev Arora作為普林斯頓計(jì)算機(jī)科學(xué)的教授，但演講內(nèi)容深入淺出，并沒有涉及大量的數(shù)學(xué)公式和推導(dǎo)，這里貼一下提綱：
小結(jié)
https://www.zhihu.com/question/266478287/answer/2479263874
這幾章的數(shù)學(xué)知識明顯增多，而且有很多是大家不熟悉的。又出現(xiàn)了令大家普遍頭疼的內(nèi)容，比如MCMC采樣，EM算法：近似推斷和變分推斷和變分法。
花書（《深度學(xué)習(xí)》，人民郵電出版社）分別是目前國內(nèi)深度學(xué)習(xí)領(lǐng)域銷量最大的教材。大家公認(rèn)它們的質(zhì)量是很高，但一個尷尬的現(xiàn)狀是：絕大部分人買了這兩本書之后并沒有怎沒看懂，更沒有堅(jiān)持讀完！
花書里密集的出現(xiàn)數(shù)學(xué)概念和公式，對大部分讀者來說都是很困難的，尤其是不少數(shù)學(xué)知識超出了本科“微積分”，“線性代數(shù)”，“概率論與數(shù)理統(tǒng)計(jì)”3門課的范圍。見到陌生的數(shù)學(xué)符號和公式讓大家茫然不知所措。
所以我在推薦一個資源--《機(jī)器學(xué)習(xí)的數(shù)學(xué)》，配合著它去學(xué)習(xí)，基本上可以掃清你學(xué)西瓜書，花書的數(shù)學(xué)障礙。當(dāng)你看到數(shù)學(xué)符號和公式的時(shí)候不再會有陌生感，對于這些數(shù)學(xué)知識如何用到機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中，也有一個清晰的認(rèn)識。
這本書用最小的篇幅精準(zhǔn)的覆蓋了機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)所需的核心數(shù)學(xué)知識。章節(jié)結(jié)構(gòu)設(shè)計(jì)科學(xué)合理，不需要的東西，統(tǒng)統(tǒng)不講，這樣可以有效的減小讀者的學(xué)習(xí)成本。
https://www.zhihu.com/question/266478287/answer/1911910013
打個比方，研究五次方程求根問題，會中學(xué)數(shù)學(xué)是不夠的，你需要會伽羅華群和域擴(kuò)張
工作中很多都是推薦問題，如果了解微分幾何，我們可以用纖維叢的概念去抽象這個問題，用戶特征空間是基空間，用戶特征拼接內(nèi)容特征合是全空間，但是如何利用微分幾何中已知的結(jié)論去優(yōu)化推薦建模，還在探索中，但至少思考的空間更大一些了。
聲明：部分內(nèi)容來源于網(wǎng)絡(luò)，僅供讀者學(xué)習(xí)、交流之目的。文章版權(quán)歸原作者所有。如有不妥，請聯(lián)系刪除。
下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講
在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計(jì)數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。
下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個基于OpenCV實(shí)現(xiàn)20個實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計(jì)算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~