史上最強(qiáng)：numpy實(shí)現(xiàn)全部機(jī)器學(xué)習(xí)算法
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
來自于加州伯克利大學(xué)的David Bourgin?使用Numpy實(shí)現(xiàn)了幾乎全部的機(jī)器學(xué)習(xí)算法，真正實(shí)現(xiàn)了手?jǐn)]ML的愿景。多少“調(diào)包俠”的愿望都被這位小哥實(shí)現(xiàn)了！
該項(xiàng)目超過3萬行代碼，除了算法本身，還有很多的數(shù)據(jù)預(yù)處理代碼！
地址：https://github.com/ddbourgin/numpy-ml
手?jǐn)]算法的目的在于能夠更好的學(xué)習(xí)和深入理解算法，而不是要替代已有的框架，畢竟成熟的框架在效率和精準(zhǔn)度上都已經(jīng)得到驗(yàn)證。
我們來看下已經(jīng)實(shí)現(xiàn)的算法：
1. 高斯混合模型
EM 訓(xùn)練
2. 隱馬爾可夫模型
維特比解碼
似然計(jì)算
通過 Baum-Welch/forward-backward 算法進(jìn)行 MLE 參數(shù)估計(jì)
3. 隱狄利克雷分配模型（主題模型）
用變分 EM 進(jìn)行 MLE 參數(shù)估計(jì)的標(biāo)準(zhǔn)模型
用 MCMC 進(jìn)行 MAP 參數(shù)估計(jì)的平滑模型
4. 神經(jīng)網(wǎng)絡(luò)
4.1 層/層級(jí)運(yùn)算
Add
Flatten
Multiply
Softmax
全連接/Dense
稀疏進(jìn)化連接
LSTM
Elman 風(fēng)格的 RNN
最大+平均池化
點(diǎn)積注意力
受限玻爾茲曼機(jī) (w. CD-n training)
2D 轉(zhuǎn)置卷積 (w. padding 和 stride)
2D 卷積 (w. padding、dilation 和 stride)
1D 卷積 (w. padding、dilation、stride 和 causality)
4.2 模塊
雙向 LSTM
ResNet 風(fēng)格的殘差塊（恒等變換和卷積）
WaveNet 風(fēng)格的殘差塊（帶有擴(kuò)張因果卷積）
Transformer 風(fēng)格的多頭縮放點(diǎn)積注意力
4.3 正則化項(xiàng)
Dropout
歸一化
批歸一化（時(shí)間上和空間上）
層歸一化（時(shí)間上和空間上）
4.4 優(yōu)化器
SGD w/ 動(dòng)量
AdaGrad
RMSProp
Adam
4.5 學(xué)習(xí)率調(diào)度器
常數(shù)
指數(shù)
Noam/Transformer
Dlib 調(diào)度器
4.6 權(quán)重初始化器
Glorot/Xavier uniform 和 normal
He/Kaiming uniform 和 normal
標(biāo)準(zhǔn)和截?cái)嗾龖B(tài)分布初始化
4.7 損失
交叉熵
平方差
Bernoulli VAE 損失
帶有梯度懲罰的 Wasserstein 損失
4.8 激活函數(shù)
ReLU
Tanh
Affine
Sigmoid
Leaky ReLU
4.9 模型
Bernoulli 變分自編碼器
帶有梯度懲罰的 Wasserstein GAN
4.10 神經(jīng)網(wǎng)絡(luò)工具
col2im (MATLAB 端口)
im2col (MATLAB 端口)
conv1D
conv2D
deconv2D
minibatch
5. 基于樹的模型
決策樹 (CART)
[Bagging] 隨機(jī)森林
[Boosting] 梯度提升決策樹
6. 線性模型
嶺回歸
Logistic 回歸
最小二乘法
貝葉斯線性回歸 w/共軛先驗(yàn)
7.n 元序列模型
最大似然得分
Additive/Lidstone 平滑
簡(jiǎn)單 Good-Turing 平滑
8. 強(qiáng)化學(xué)習(xí)模型
使用交叉熵方法的智能體
首次訪問 on-policy 蒙特卡羅智能體
加權(quán)增量重要采樣蒙特卡羅智能體
Expected SARSA 智能體
TD-0 Q-learning 智能體
Dyna-Q / Dyna-Q+ 優(yōu)先掃描
9. 非參數(shù)模型
Nadaraya-Watson 核回歸
k 最近鄰分類與回歸
10. 預(yù)處理
離散傅立葉變換 (1D 信號(hào))
雙線性插值 (2D 信號(hào))
最近鄰插值 (1D 和 2D 信號(hào))
自相關(guān) (1D 信號(hào)）
信號(hào)窗口
文本分詞
特征哈希
特征標(biāo)準(zhǔn)化
One-hot 編碼/解碼
Huffman 編碼/解碼
詞頻逆文檔頻率編碼
11. 工具
相似度核
距離度量
優(yōu)先級(jí)隊(duì)列
Ball tree 數(shù)據(jù)結(jié)構(gòu)
傳送門：https://github.com/ddbourgin/numpy-ml
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~