↑ 點擊藍(lán)字?關(guān)注極市平臺

作者丨?磐懟懟

來源丨深度學(xué)習(xí)與計算機視覺

編輯丨極市平臺

極市導(dǎo)讀

?

梯度下降算法是工業(yè)中最常用的機器學(xué)習(xí)算法之一，但也是很多新手難以理解的算法之一。如果你剛剛接觸機器學(xué)習(xí)，那么梯度下降算法背后的數(shù)學(xué)原理是比較難理解的。本文將幫助你了解梯度下降算法背后的工作原理。?>>加入極市CV技術(shù)交流群，走在計算機視覺的最前沿

介紹

在本文中，我們會了解損失函數(shù)的作用，梯度下降的工作原理，以及如何選擇學(xué)習(xí)參數(shù)。

什么是損失函數(shù)

它是一個函數(shù)，用于衡量模型對任何給定數(shù)據(jù)的性能。損失函數(shù)將預(yù)測值與期望值之間的誤差進行量化，并以單個實數(shù)的形式表示出來。

在對初始參數(shù)進行假設(shè)后，我們會計算了損失函數(shù)，以降低損失函數(shù)為目標(biāo)，利用梯度下降算法對給定數(shù)據(jù)進行參數(shù)修正。下面是它的數(shù)學(xué)表示：

什么是梯度下降

假設(shè)你在玩一個游戲，玩家在山頂，他們要求到達山的最低點，此外，他們還蒙著眼睛，那么，你認(rèn)為怎樣才能到達最低點呢？

最好的辦法是觀察地面，找出地面下降的地方，從這個位置開始，向下降方向邁出一步，重復(fù)這個過程，直到到達最低點。

梯度下降法是一種求解函數(shù)局部極小值的迭代優(yōu)化算法。

要用梯度下降法求函數(shù)的局部極小值，必須選擇與當(dāng)前點處函數(shù)的負(fù)梯度（遠(yuǎn)離梯度）方向。如果我們采取與梯度的正方向，我們將接近函數(shù)的局部極大值，這個過程稱為梯度上升。

梯度下降最初是由柯西在1847年提出的，它也被稱為最速下降。

梯度下降算法的目標(biāo)是最小化給定函數(shù)（比如損失函數(shù)）。為了實現(xiàn)這一目標(biāo)，它迭代地執(zhí)行兩個步驟：

1. 計算梯度（斜率），函數(shù)在該點的一階導(dǎo)數(shù)
2. 在與梯度相反的方向上移動一步（移動）

Alpha被稱為學(xué)習(xí)率-優(yōu)化過程中的一個調(diào)整參數(shù)，它決定了步長。

繪制梯度下降算法

當(dāng)我們有一個單一的參數(shù)（θ），我們可以在y軸上繪制因變量損失值，并在x軸上繪制θ。如果有兩個參數(shù)，我們可以進行三維繪圖，其中一個軸上有損失值，另兩個軸上有兩個參數(shù)（θ）。

它也可以通過使用等高線來可視化，這會顯示一個二維的三維繪圖，其中包括沿兩個軸的參數(shù)和等高線的響應(yīng)值。遠(yuǎn)離中心的響應(yīng)值增加，并且隨著環(huán)的增加而增加。

α-學(xué)習(xí)率

有了前進的方向之后，現(xiàn)在我們必須決定我們要采取的步大小。

必須謹(jǐn)慎選擇，以達到局部最小值。

• 如果學(xué)習(xí)率太高，我們可能會超過最小值，而不會達到最小值
• 如果學(xué)習(xí)率太低，訓(xùn)練時間可能會太長

a） 學(xué)習(xí)率最優(yōu)，模型收斂到最小

b） 學(xué)習(xí)速度太小，需要更多的時間，但會收斂到最小值

c） 學(xué)習(xí)率高于最優(yōu)值，較慢速度的收斂（1/c<η<2/c）

d） 學(xué)習(xí)率非常大，它會過度偏離，偏離最小值，學(xué)習(xí)性能下降

注：隨著梯度減小而向局部最小值移動，步長減小，因此，學(xué)習(xí)速率（alpha）可以在優(yōu)化過程中保持不變，而不需要迭代地改變。

局部最小值

成本函數(shù)可以由許多最小點組成。梯度可以落在任何一個極小值上，這取決于初始點（即初始參數(shù)θ）和學(xué)習(xí)速率，因此，在不同的起點和學(xué)習(xí)率下，優(yōu)化可以收斂到不同的點。

梯度下降的Python代碼實現(xiàn)

結(jié)尾

一旦我們調(diào)整了學(xué)習(xí)參數(shù)(alpha)并得到了最優(yōu)的學(xué)習(xí)速率，我們就可以開始迭代了，直到我們收斂到局部最小值。

參考鏈接：https://www.analyticsvidhya.com/blog/2020/10/how-does-the-gradient-descent-algorithm-work-in-machine-learning/

推薦閱讀

• 人腦是怎么防止梯度消失和梯度爆炸的?

• 梯度消失和梯度爆炸問題的最完整解析

• 隨機梯度蒙特卡洛算法-重要性采樣｜NeurIPS 2020

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測-深圳），即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??