筆記|李宏毅老師機(jī)器學(xué)習(xí)課程，視頻3回歸案例研究
《學(xué)習(xí)筆記》專欄·第3篇
文 | MLer
1922字 | 5分鐘閱讀
【數(shù)據(jù)科學(xué)與人工智能】開通了機(jī)器學(xué)習(xí)群，大家可以相互學(xué)習(xí)和交流。請(qǐng)掃描下方二維碼，備注：姓名-ML，添加我為好友，誠(chéng)邀你入群，一起進(jìn)步。
感謝李宏毅老師的分享，他的課程幫助我更好地學(xué)習(xí)、理解和應(yīng)用機(jī)器學(xué)習(xí)。李老師的網(wǎng)站：http://speech.ee.ntu.edu.tw/~tlkagk/index.html。這個(gè)學(xué)習(xí)筆記是根據(jù)李老師2017年秋季機(jī)器學(xué)習(xí)課程的視頻和講義做的記錄和總結(jié)。因?yàn)檫@個(gè)視頻是在Youtube上面，有些朋友可能無法觀看，我把它搬運(yùn)下來放在云盤上面，大家點(diǎn)擊閱讀原文，就可以直接在手機(jī)隨時(shí)隨地觀看了。再次，感謝李老師的付出和貢獻(xiàn)。
這門課，共有36個(gè)視頻，每個(gè)視頻播放的時(shí)間不一。我按著視頻播放的順序，觀看，聆聽和學(xué)習(xí)，并結(jié)合講義，做學(xué)習(xí)筆記。我做學(xué)習(xí)筆記目的有三：
1 幫助自己學(xué)習(xí)和理解機(jī)器學(xué)習(xí)
2 記錄機(jī)器學(xué)習(xí)的重要知識(shí)、方法、原理和思想
3 為傳播機(jī)器學(xué)習(xí)做點(diǎn)事情
視頻3：回歸案例研究
一、回歸的應(yīng)用
李老師在視頻1介紹回歸任務(wù)時(shí)，舉了一個(gè)預(yù)測(cè)PM2.5值的例子?；貧w有著廣泛地應(yīng)用，比方說，金融市場(chǎng)的股票價(jià)格預(yù)估系統(tǒng)、無人駕駛領(lǐng)域的方向盤偏轉(zhuǎn)角度系統(tǒng)、電商領(lǐng)域的用戶和商品最佳連接的推薦系統(tǒng)等。
二、回歸任務(wù)：案例研究
李老師以預(yù)測(cè)寶可夢(mèng)進(jìn)化后的CP（Combat Power）值為例來介紹回歸任務(wù)，非常地有趣味。
2.1 問題定義
它是一個(gè)機(jī)器學(xué)習(xí)問題，屬于有監(jiān)督學(xué)習(xí)范式場(chǎng)景下的回歸任務(wù)。
找到一個(gè)最佳的function，讓它滿足下圖這個(gè)關(guān)系。
2.2 問題求解
按著機(jī)器學(xué)習(xí)框架三步驟做解答。
第一步：Model（設(shè)計(jì)和定義function set）,如下圖：
第二步：Goodness of function (定義和度量function的好壞）
采用了損失函數(shù)，用于量化函數(shù)的好壞程度，它是第一步所設(shè)計(jì)的函數(shù)的函數(shù)，即一個(gè)復(fù)合函數(shù)。我們這里采用常用預(yù)估誤差平方和函數(shù)來表示損失函數(shù)。大家，可以想一想，為什么使用預(yù)估誤差平方和函數(shù)做損失函數(shù)呢？
如下圖：
第三步：Best Function (找到適合具體問題的最佳函數(shù))，這是個(gè)優(yōu)化問題，如何解決這個(gè)問題？我們可以想到窮舉法，但是不現(xiàn)實(shí)；若是滿足數(shù)值優(yōu)化，我們可以采用數(shù)值優(yōu)化的方法，利用線性代數(shù)和微積分的里面知識(shí)求解；若是不滿足數(shù)值優(yōu)化的方法，我們可以采用逼近的方式解決這個(gè)優(yōu)化問題。不管是數(shù)值優(yōu)化，還是非數(shù)值優(yōu)化，梯度下降算法，都可以用來解決這個(gè)優(yōu)化問題。它的弊端，只能找到局部?jī)?yōu)化的解，而不能找到全局優(yōu)化的解。但是，在回歸任務(wù)中，因?yàn)閾p失函數(shù)滿足凸函數(shù)性質(zhì)，利用梯度下降法，就是找到全局優(yōu)化的解。
如下圖：
梯度下降算法
幫助我們找到Best Function（參數(shù)w和b）
1）隨機(jī)初始化參數(shù)值（思考：如何做初始化，除了隨機(jī)初始化，還有別的方法嗎?）
2) 計(jì)算損失函數(shù)與參數(shù)的梯度，數(shù)學(xué)里面的偏導(dǎo)，表示陡峭程度，值越大，越陡峭
3）參數(shù)的更新邏輯，我們發(fā)現(xiàn)梯度為負(fù)時(shí)，需要增加w的值；反之，需要減少w的值，只有這樣，損失函數(shù)L才會(huì)不斷趨向于極小值。w更新時(shí)有個(gè)超參數(shù)：學(xué)習(xí)速率，大家也可以思考一下，學(xué)習(xí)速率要怎么設(shè)定，有哪些方法可以來做這個(gè)事情。
我們可以發(fā)現(xiàn)，w的更新與梯度的值和學(xué)習(xí)速率緊密相關(guān)。
例子1：一個(gè)參數(shù)w的梯度下降算法
例子2：兩個(gè)參數(shù)w和b的梯度下降算法
梯度是什么呢？就是損失函數(shù)L對(duì)個(gè)參數(shù)的偏導(dǎo)數(shù)值，如下圖：
兩個(gè)參數(shù)做梯度下降算法的等高線的可視化
梯度下降算法的局限性
非凸函數(shù)，局部?jī)?yōu)化值
我們利用梯度下降法找到一個(gè)最佳的function后，我們會(huì)關(guān)心和在意它的泛化能力，在測(cè)試集（沒有參與模型訓(xùn)練的數(shù)據(jù)集或者新的數(shù)據(jù)集）上面的表現(xiàn)。根據(jù)訓(xùn)練誤差和測(cè)試誤差，redesign一系列模型，并進(jìn)行對(duì)比分析，以找到最好的模型，這個(gè)屬于模型選擇所研究的問題。如下圖：
模型在設(shè)計(jì)和重設(shè)計(jì)的過程中，會(huì)遇到欠擬合和過擬合的現(xiàn)象。前者表示，模型在訓(xùn)練集上表現(xiàn)效果不理想，后者表示模型在訓(xùn)練集上表現(xiàn)效果可以，但是在測(cè)試集上面表現(xiàn)效果不佳的現(xiàn)象。
如何解決過擬合問題呢？李老師介紹了正則化技術(shù)。
不同正則化系數(shù)（懲罰系數(shù)）下的模型的訓(xùn)練誤差和測(cè)試誤差，對(duì)比分析，以確定最佳的模型。如下圖：
李老師，在介紹模型重新設(shè)計(jì)的時(shí)候，談到了這些做法，總結(jié)如下：
1）多項(xiàng)式模型的應(yīng)用
2）分層構(gòu)建模型的思想，引入信號(hào)處理的標(biāo)識(shí)函數(shù)，如下圖：
3）多變量模型的應(yīng)用，探索和挖掘更多的變量。
鑒于這些思想，重構(gòu)新的模型，如下圖：
思考題:
1) 梯度下降算法，初始化問題怎么解決？學(xué)習(xí)速率怎么設(shè)置？梯度下降算法的變體有哪些？
2）如何重新設(shè)計(jì)模型，有哪些方法？面對(duì)多個(gè)模型，如何做做選擇？
3）過擬合問題如何解決？
4）正則化技術(shù)為什么可以緩解過擬合問題？
朋友們，在學(xué)習(xí)中有什么問題或者想法，請(qǐng)加入機(jī)器學(xué)習(xí)群，大家一起討論，共同進(jìn)步。
每周一書
5數(shù)據(jù)科學(xué)導(dǎo)論：Python語(yǔ)言實(shí)現(xiàn)
課程視頻點(diǎn)擊
↓↓↓