深度學(xué)習(xí)模型、算法的數(shù)學(xué)基礎(chǔ)
↓↓↓點擊關(guān)注，回復(fù)資料，10個G的驚喜
期待即將到來的章節(jié)。
深度學(xué)習(xí)這一領(lǐng)域，對于初學(xué)者而言，編程已然令人生畏，而更加令人難以接受的是，深度學(xué)習(xí)里的數(shù)學(xué)知識更難。
對于這種困惑，已經(jīng)有人提前替你想到了，這不今天就為大家推薦一本新書，書中介紹了深度學(xué)習(xí)中的數(shù)學(xué)工程。書的名字為《 The Mathematical Engineering of Deep Learning 》，顧名思義，這是一本專攻數(shù)學(xué)知識的書籍。
不過這本書還在持續(xù)更新中，目前前兩章內(nèi)容已經(jīng)放出，大家可以查閱。
本書提供了在深度學(xué)習(xí)領(lǐng)域關(guān)于數(shù)學(xué)工程方面的內(nèi)容，除了介紹深度學(xué)習(xí)的基礎(chǔ)之外，本書還將介紹卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、transformer、生成對抗網(wǎng)絡(luò)、強化學(xué)習(xí)及其多種技巧。
值得一提的是該書的重點是介紹深度學(xué)習(xí)模型、算法和方法的基本數(shù)學(xué)描述。此外作者還貼心的開源了書中用到的代碼。
書籍地址：https://deeplearningmath.org/
代碼地址：https://github.com/yoninazarathy/MathematicalEngineeringDeepLearning
書籍介紹
全書共 10 章 3 個附錄。第 1-4 章介紹深度學(xué)習(xí)領(lǐng)域，概述了機器學(xué)習(xí)的關(guān)鍵概念、深度學(xué)習(xí)所需的優(yōu)化概念，并專注于基本模型和概念。第 5-8 章涉及深度學(xué)習(xí)的核心模型和架構(gòu)，包括全連接網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)，并概述了模型調(diào)整和應(yīng)用的各個方面。第 9-10 章涉及特定領(lǐng)域，即生成對抗網(wǎng)絡(luò)和深度強化學(xué)習(xí)。附錄 A-C 提供數(shù)學(xué)支持。
具體而言：
第 1 章簡介：本章是對深度學(xué)習(xí)的概述，展示其關(guān)鍵應(yīng)用，并調(diào)查了與高性能計算相關(guān)的生態(tài)系統(tǒng)，此外，本章還討論了大數(shù)據(jù)和高維數(shù)據(jù)，包括數(shù)據(jù)科學(xué)、機器學(xué)習(xí)和統(tǒng)計學(xué)習(xí)在內(nèi)的關(guān)鍵術(shù)語，并將這些術(shù)語置于本書的上下文中。
第 2 章機器學(xué)習(xí)原理：深度學(xué)習(xí)可以被視為機器學(xué)習(xí)的一個子學(xué)科，因此本章概述了關(guān)鍵的機器學(xué)習(xí)概念和范式。向讀者介紹了有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)以及基于迭代的學(xué)習(xí)優(yōu)化的一般概念。此外本章還介紹了訓(xùn)練集、測試集等概念，以及交叉驗證和模型選擇的原理。本章重點探討了線性模型，該模型可以通過迭代優(yōu)化進(jìn)行訓(xùn)練。
第 3 章簡單神經(jīng)網(wǎng)絡(luò)：本章關(guān)注二元分類的邏輯回歸和多類問題的相關(guān) softmax 回歸模型。這里介紹了深度學(xué)習(xí)的原理，例如交叉熵?fù)p失、決策邊界和反向傳播的簡單案例。本章還介紹了一個簡單的非線性自動編碼器架構(gòu)。此外，還討論了模型調(diào)整的各個方面，包括特征工程和超參數(shù)選擇。
第 4 章優(yōu)化算法：深度學(xué)習(xí)模型的訓(xùn)練涉及對學(xué)習(xí)參數(shù)的優(yōu)化。因此，需要對優(yōu)化算法有扎實的理解，以及對適用于深度學(xué)習(xí)模型（如 ADAM 算法）的專門優(yōu)化技術(shù)的理解。本章將重點介紹這些技術(shù)以及正在慢慢進(jìn)入實踐的更高級的二階方法。
第 5 章前饋深度網(wǎng)絡(luò)：本章是本書的核心，定義和介紹了一般的前饋深度神經(jīng)網(wǎng)絡(luò)。在探索了深度神經(jīng)網(wǎng)絡(luò)的表達(dá)能力之后，本章通過了解用于梯度評估的反向傳播算法并探索其他方面（例如權(quán)重初始化、dropout 和批歸一化）來深入了解訓(xùn)練的細(xì)節(jié)。
第 6 章卷積神經(jīng)網(wǎng)絡(luò)：深度學(xué)習(xí)的成功可歸功于卷積神經(jīng)網(wǎng)絡(luò)。本章將探索卷積概念，然后在深度學(xué)習(xí)模型的背景下了解它。本章介紹了通道和濾波器設(shè)計的概念，然后探索了具有重大影響且至今仍在使用的常見最先進(jìn)架構(gòu)。此外本章還探索了一些與圖像相關(guān)的關(guān)鍵任務(wù)，例如目標(biāo)定位。
第 7 章序列模型：序列模型在 NLP 中至關(guān)重要。本章探索了循環(huán)神經(jīng)網(wǎng)絡(luò)及其泛化，其中包括長短期記憶模型、門控循環(huán)單元、用于端到端語言翻譯的自動編碼器以及帶有 transformer 的注意力模型。
第 8 章?Trade 技巧：在介紹了前饋網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)和各種形式的循環(huán)網(wǎng)絡(luò)之后，本章探索了在應(yīng)用程序中調(diào)整和集成這些模型的常用方法。
第 9 章生成對抗網(wǎng)絡(luò)：本章調(diào)查和探索生成對抗網(wǎng)絡(luò)（GAN），這些模型能夠合成看起來真實的假數(shù)據(jù)。本章討論了幾種 GAN 架構(gòu)以及在調(diào)整損失函數(shù)時出現(xiàn)的有趣的數(shù)學(xué)方面。
第 10 章深度強化學(xué)習(xí)：最后一章將探討深度強化學(xué)習(xí)的原理。
作者簡介
從左到右依次為 Benoit Liquet 、Sarat Moka、Yoni Nazarathy
Benoit Liquet?為麥考瑞大學(xué)數(shù)理學(xué)院數(shù)理統(tǒng)計教授。主要研究包括模型選擇和變量選擇、多狀態(tài)模型和生存分析、降維方法、貝葉斯建模、機器學(xué)習(xí)、計算生態(tài)學(xué)和環(huán)境科學(xué)的統(tǒng)計方法等。
Sarat Moka?為麥考瑞大學(xué)的博士后，研究重點是概率論在數(shù)據(jù)科學(xué)、統(tǒng)計學(xué)和蒙特卡洛模擬中的應(yīng)用。其研究內(nèi)容與深度學(xué)習(xí)、監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、MCMC 方法、貝葉斯推理、無偏估計、大偏差理論、方差減少技術(shù)等息息相關(guān)。
Yoni Nazarathy?為昆士蘭大學(xué)數(shù)學(xué)與物理學(xué)院的副教授，擅長機器學(xué)習(xí)、應(yīng)用概率、統(tǒng)計學(xué)、運籌學(xué)、模擬、科學(xué)計算、控制理論等。此外，Nazarathy 還與 Julia 合著了一本新書《Statistics with Julia: Fundamentals for Data Science, Machine Learning and Artificial Intelligence》。
最后附上書籍目錄：
