機器學習之——自動求導
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
本文轉自|機器學習算法工程師
隨機梯度下降法（SGD）是訓練深度學習模型最常用的優(yōu)化方法。在前期文章中我們講了梯度是如何計算的，主要采用BP算法，或者說利用鏈式法則。但是深度學習模型是復雜多樣的，你不大可能每次都要自己使用鏈式法則去計算梯度，然后采用硬編程的方式實現(xiàn)。
而目前的深度學習框架其都是實現(xiàn)了自動求梯度的功能，你只關注模型架構的設計，而不必關注模型背后的梯度是如何計算的。不過，我們還是想說一說自動求導是如何實現(xiàn)的。
這里我們會講幾種常見的方法，包括數(shù)值微分(Numerical
Differentiation)，符號微分(Symbolic Differentiation)，前向模式（Forward Mode)和反向模式(Reverse Mode)。
?
???????數(shù)值微分方式應該是最直接而且簡單的一種自動求導方式。從導數(shù)的定義中，我們可以直觀看到：
???????
當h接近0時，導數(shù)是可以近似計算出來的。可以看到上面的計算式幾乎適用所有情況，除非該點不可導。可是數(shù)值微分卻有兩個問題，第一個就是求出的導數(shù)可能不準確，這畢竟是近似表示，比如要求f(x)=x^2在零點附近的導數(shù)，如果h選取不當，你可能會得到符號相反的結果，此時誤差就比較大了。第二個問題是對于參數(shù)比較多時，對深度學習模型來說，上面的計算是不夠高效的，因為每計算一個參數(shù)的導數(shù)，你都需要重新計算f(x+h)。但是數(shù)值運算有一個特殊的用武之地就是在于可以做梯度檢查（Gradient check），你可以用這種不高效但簡單的方法去檢查其他方法得到的梯度是否正確。
? ? ???
當我們將符號表達式用表達式樹表示時，可以利用加法規(guī)則和乘法規(guī)則進行自動求導。比如我們要求符號表達式f(x)=2x+x^2，可以展開成如下圖的表達式樹：
利用求導規(guī)則，可以求出：
基于表達式樹和求導規(guī)則，我們可以得到最終的導數(shù)。有一點要注意的是，符號微分不一定會得到簡化的導數(shù)，因為計算機可能并不能進行智能的簡化。所以，如果表達式樹結構較復雜時，得到的導數(shù)表達式會相當復雜，也許出現(xiàn)表達式爆炸現(xiàn)象。
? ? ?? 前向模式最簡單明了，其基于的是二元數(shù)（dual numbers）。我們先來講解一下二元數(shù)，其基本格式如下所示：
其中a和b都是實數(shù)，而
是無窮小量，你可以認為其無限接近0，但是并不等于0，并且
，這是借鑒了微積分中的概念。所以，你可以認為
是一個接近5的數(shù)。對于二元數(shù)，其滿足簡單的加法和乘法規(guī)則：
對于二元數(shù)，其更重要的一個特性是：
這意味著，我們只需要計算出
，就可以得到
以及其對應的導數(shù)
。所以，一個前向計算過程可以同時得到函數(shù)值與其導數(shù)，這就是前向模式的原理。舉例來說，如果要計算f(x)=2x+x^2在x=2處的函數(shù)值與導數(shù)，其計算過程如下所示：
參考資料
1. Automatic Differentiation in Machine Learning: a Survey,
https://arxiv.org/pdf/1502.05767.pdf
2. Hands-On Machine Learning with Scikit-Learn and TensorFlow, Aurélien Géron, 2017.
好消息，小白學視覺團隊的知識星球開通啦，為了感謝大家的支持與厚愛，團隊決定將價值149元的知識星球現(xiàn)時免費加入。各位小伙伴們要抓住機會哦！
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內發(fā)送廣告，否則會請出群，謝謝理解~