9 張手繪圖：闡明機器學(xué)習(xí)模型訓(xùn)練全流程

?Datawhale干貨?

譯者：張峰，安徽工業(yè)大學(xué)，Datawhale成員

?

周末在家無聊閑逛github，發(fā)現(xiàn)一個很有趣的開源項目，作者用手繪圖的方式講解了機器學(xué)習(xí)模型構(gòu)建的全流程，邏輯清晰、生動形象。同時，作者也對幾張圖進行了詳細的講解，學(xué)習(xí)之后，收獲很多，于是將其翻譯下來，和大家一起學(xué)習(xí)。

地址：https://github.com/dataprofessor/infographic

全文如下：

感覺學(xué)習(xí)數(shù)據(jù)科學(xué)枯燥無味，那如何能讓學(xué)習(xí)數(shù)據(jù)科學(xué)變得有趣而簡單呢？帶著這個目標，我開始在iPad上涂鴉建立機器學(xué)習(xí)模型所需的流程。經(jīng)過幾天的努力，上圖所示的信息圖就是我的成果，內(nèi)容已經(jīng)被發(fā)布在GitHub上。

1. 數(shù)據(jù)集

數(shù)據(jù)集是你構(gòu)建機器學(xué)習(xí)模型歷程中的起點。簡單來說，數(shù)據(jù)集本質(zhì)上是一個M×N矩陣，其中M代表列（特征），N代表行（樣本）。

列可以分解為X和Y，首先，X是幾個類似術(shù)語的同義詞，如特征、獨立變量和輸入變量。其次，Y也是幾個術(shù)語的同義詞，即類別標簽、因變量和輸出變量。

圖1. 數(shù)據(jù)集的卡通插圖

?

應(yīng)該注意的是，一個可以用于監(jiān)督學(xué)習(xí)的數(shù)據(jù)集（可以執(zhí)行回歸或分類）將同時包含X和Y，而一個可以用于無監(jiān)督學(xué)習(xí)的數(shù)據(jù)集將只有X。

此外，如果Y包含定量值，那么數(shù)據(jù)集（由X和Y組成）可以用于回歸任務(wù)，而如果Y包含定性值，那么數(shù)據(jù)集（由X和Y組成）可以用于分類任務(wù)。

?

2. 探索性數(shù)據(jù)分析（EDA）

進行探索性數(shù)據(jù)分析（EDA）是為了獲得對數(shù)據(jù)的初步了解。在一個典型的數(shù)據(jù)科學(xué)項目中，我會做的第一件事就是通過執(zhí)行EDA來 "盯住數(shù)據(jù)"，以便更好地了解數(shù)據(jù)。

我通常使用的三大EDA方法包括：

• 描述性統(tǒng)計：平均數(shù)、中位數(shù)、模式、標準差。

• 數(shù)據(jù)可視化：熱力圖（辨別特征內(nèi)部相關(guān)性）、箱形圖（可視化群體差異）、散點圖（可視化特征之間的相關(guān)性）、主成分分析（可視化數(shù)據(jù)集中呈現(xiàn)的聚類分布）等。

• 數(shù)據(jù)整形：對數(shù)據(jù)進行透視、分組、過濾等。

圖2. NBA球員統(tǒng)計數(shù)據(jù)的箱形圖示例

?

圖3. NBA球員統(tǒng)計數(shù)據(jù)的相關(guān)熱力圖示例

?

圖4. NBA球員統(tǒng)計數(shù)據(jù)的直方圖示例

?

圖5. NBA球員統(tǒng)計數(shù)據(jù)的散布圖示例

?

3. 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理(又稱數(shù)據(jù)清理、數(shù)據(jù)整理或數(shù)據(jù)處理)是指對數(shù)據(jù)進行各種檢查和審查的過程，以糾正缺失值、拼寫錯誤、使數(shù)值正常化/標準化以使其具有可比性、轉(zhuǎn)換數(shù)據(jù)(如對數(shù)轉(zhuǎn)換)等問題。

"Garbage in, Garbage out."

正如上面的引言所說，數(shù)據(jù)的質(zhì)量將對生成模型的質(zhì)量產(chǎn)生很大的影響。因此，為了達到最高的模型質(zhì)量，應(yīng)該在數(shù)據(jù)預(yù)處理階段花費大量精力。一般來說，數(shù)據(jù)預(yù)處理可以輕松地占到數(shù)據(jù)科學(xué)項目所花費時間的80%，而實際的模型建立階段和后續(xù)的模型分析僅占到剩余的20%。

?

4. 數(shù)據(jù)分割

4.1 訓(xùn)練--測試集分割

在機器學(xué)習(xí)模型的開發(fā)過程中，希望訓(xùn)練好的模型能在新的、未見過的數(shù)據(jù)上表現(xiàn)良好。為了模擬新的、未見過的數(shù)據(jù)，對可用數(shù)據(jù)進行數(shù)據(jù)分割，從而將其分割成2部分（有時稱為訓(xùn)練—測試分割）。特別是，第一部分是較大的數(shù)據(jù)子集，用作訓(xùn)練集（如占原始數(shù)據(jù)的80%），第二部分通常是較小的子集，用作測試集（其余20%的數(shù)據(jù)）。需要注意的是，這種數(shù)據(jù)拆分只進行一次。

接下來，利用訓(xùn)練集建立預(yù)測模型，然后將這種訓(xùn)練好的模型應(yīng)用于測試集（即作為新的、未見過的數(shù)據(jù)）上進行預(yù)測。根據(jù)模型在測試集上的表現(xiàn)來選擇最佳模型，為了獲得最佳模型，還可以進行超參數(shù)優(yōu)化。

圖6. 訓(xùn)練—測試集分割示意圖

4.2 訓(xùn)練--驗證--測試集分割

另一種常見的數(shù)據(jù)分割方法是將數(shù)據(jù)分割成3部分。(1) 訓(xùn)練集，(2) 驗證集和(3) 測試集。與上面解釋的類似，訓(xùn)練集用于建立預(yù)測模型，同時對驗證集進行評估，據(jù)此進行預(yù)測，可以進行模型調(diào)優(yōu)（如超參數(shù)優(yōu)化），并根據(jù)驗證集的結(jié)果選擇性能最好的模型。正如我們所看到的，類似于上面對測試集進行的操作，這里我們在驗證集上做同樣的操作。請注意，測試集不參與任何模型的建立和準備。因此，測試集可以真正充當新的、未知的數(shù)據(jù)。Google的《機器學(xué)習(xí)速成班》對這個話題進行了更深入的處理。

圖7. 訓(xùn)練—驗證—測試集分割示意圖

4.3 交叉驗證

為了最經(jīng)濟地利用現(xiàn)有數(shù)據(jù)，通常使用N倍交叉驗證（CV），將數(shù)據(jù)集分割成N個折（即通常使用5倍或10倍CV）。在這樣的N倍CV中，其中一個折被留作測試數(shù)據(jù)，而其余的折則被用作建立模型的訓(xùn)練數(shù)據(jù)。

例如，在5倍CV中，有1個折被省略，作為測試數(shù)據(jù)，而剩下的4個被集中起來，作為建立模型的訓(xùn)練數(shù)據(jù)。然后，將訓(xùn)練好的模型應(yīng)用于上述遺漏的折（即測試數(shù)據(jù)）。這個過程反復(fù)進行，直到所有的折都有機會被留出作為測試數(shù)據(jù)。因此，我們將建立5個模型（即5個折中的每個折都被留出作為測試集），其中5個模型中的每個模型都包含相關(guān)的性能指標（我們將在接下來的部分討論）。最后，度量（指標）值是基于5個模型計算出的平均性能。

圖8. 交叉驗證示意圖

?

在N等于數(shù)據(jù)樣本數(shù)的情況下，我們稱這種留一的交叉驗證。在這種類型的CV中，每個數(shù)據(jù)樣本代表一個折。例如，如果N等于30，那么就有30個折（每個折有1個樣本）。在任何其他N折CV中，1個折點被留出作為測試集，而剩下的29個折點被用來建立模型。接下來，將建立的模型應(yīng)用于對留出的折進行預(yù)測。與之前一樣，這個過程反復(fù)進行，共30次；計算30個模型的平均性能，并將其作為CV性能指標。

5. 模型建立

現(xiàn)在，有趣的部分來了，我們終于可以使用精心準備的數(shù)據(jù)來建立模型了。根據(jù)目標變量（通常稱為Y變量）的數(shù)據(jù)類型（定性或定量），我們要建立一個分類（如果Y是定性的）或回歸（如果Y是定量的）模型。

5.1 學(xué)習(xí)算法

機器學(xué)習(xí)算法可以大致分為以下三種類型之一：

• 監(jiān)督學(xué)習(xí)：是一種機器學(xué)習(xí)任務(wù)，建立輸入X和輸出Y變量之間的數(shù)學(xué)（映射）關(guān)系。這樣的X、Y對構(gòu)成了用于建立模型的標簽數(shù)據(jù)，以便學(xué)習(xí)如何從輸入中預(yù)測輸出。

• 無監(jiān)督學(xué)習(xí)：是一種只利用輸入X變量的機器學(xué)習(xí)任務(wù)。這種 X 變量是未標記的數(shù)據(jù)，學(xué)習(xí)算法在建模時使用的是數(shù)據(jù)的固有結(jié)構(gòu)。

• 強化學(xué)習(xí)：是一種決定下一步行動方案的機器學(xué)習(xí)任務(wù)，它通過試錯學(xué)習(xí)來實現(xiàn)這一目標，努力使回報最大化。

5.2 參數(shù)調(diào)優(yōu)

超參數(shù)本質(zhì)上是機器學(xué)習(xí)算法的參數(shù)，直接影響學(xué)習(xí)過程和預(yù)測性能。由于沒有 "一刀切 "的超參數(shù)設(shè)置，可以普遍適用于所有數(shù)據(jù)集，因此需要進行超參數(shù)優(yōu)化（也稱為超參數(shù)調(diào)整或模型調(diào)整）。

我們以隨機森林為例。在使用randomForest R包時，通常會對兩個常見的超參數(shù)進行優(yōu)化，其中包括mtry和ntree參數(shù)（這對應(yīng)于scikit-learnPython庫中RandomForestClassifier()和RandomForestRegressor()函數(shù)中的nestimators和maxfeatures）。mtry（maxfeatures）代表在每次分裂時作為候選變量隨機采樣的變量數(shù)量，而ntree（nestimators）代表要生長的樹的數(shù)量。

另一種流行的機器學(xué)習(xí)算法是支持向量機。需要優(yōu)化的超參數(shù)是徑向基函數(shù)(RBF)內(nèi)核的C參數(shù)和gamma參數(shù)(即線性內(nèi)核只有C參數(shù)；多項式內(nèi)核的C和指數(shù))。C參數(shù)是一個限制過擬合的懲罰項，而gamma參數(shù)則控制RBF核的寬度。如上所述，調(diào)優(yōu)通常是為了得出超參數(shù)的最佳值集，盡管如此，也有一些研究旨在為C參數(shù)和gamma參數(shù)找到良好的起始值（Alvarsson等人，2014）。

地址：https://pubs.acs.org/doi/10.1021/ci500344v

5.3 特征選擇

顧名思義，特征選擇從字面上看就是從最初的大量特征中選擇一個特征子集的過程。除了實現(xiàn)高精度的模型外，機器學(xué)習(xí)模型構(gòu)建最重要的一個方面是獲得可操作的見解，為了實現(xiàn)這一目標，能夠從大量的特征中選擇出重要的特征子集非常重要。

特征選擇的任務(wù)本身就可以構(gòu)成一個全新的研究領(lǐng)域，在這個領(lǐng)域中，大量的努力都是為了設(shè)計新穎的算法和方法。從眾多可用的特征選擇算法中，一些經(jīng)典的方法是基于模擬退火和遺傳算法。除此之外，還有大量基于進化算法（如粒子群優(yōu)化、蟻群優(yōu)化等）和隨機方法（如蒙特卡洛）的方法。

我們自己的研究小組也在對醛糖還原酶抑制劑的定量結(jié)構(gòu)—活性關(guān)系建模的研究中，探索了利用蒙特卡洛模擬進行特征選擇的方法（Nantasenamat等，2014）。

地址：https://doi.org/10.1016/j.ejmech.2014.02.043

在《遺傳算法搜索空間拼接粒子群優(yōu)化作為通用優(yōu)化器》的工作中，我們還設(shè)計了一種基于結(jié)合兩種流行的進化算法即遺傳算法和粒子群算法的新型特征選擇方法（Li等，2013）。

地址：https://doi.org/10.1016/j.chemolab.2013.08.009

?

圖9. 遺傳算法搜索空間拼接粒子群優(yōu)化(GA-SSS-PSO)方法的原理示意圖，用Schwefel函數(shù)在2維度上進行說明

"原搜索空間（a）x∈[-500,0]在每個維度上以2的固定間隔拼接成子空間（圖中一個維度等于一個橫軸）。這樣就得到了4個子空間(b-e)，其中x在每個維度上的范圍是原始空間的一半。GA的每一個字符串都會編碼一個子空間的索引。然后，GA啟發(fā)式地選擇一個子空間（e），并在那里啟動PSO（粒子顯示為紅點）。PSO搜索子空間的全局最小值，最好的粒子適應(yīng)性作為編碼該子空間索引的GA字符串的適應(yīng)性。最后，GA進行進化，選擇一個新的子空間進行探索。整個過程重復(fù)進行，直到達到滿意的誤差水平。"

6. 機器學(xué)習(xí)任務(wù)

在監(jiān)督學(xué)習(xí)中，兩個常見的機器學(xué)習(xí)任務(wù)包括分類和回歸。

6.1 分類

?一個訓(xùn)練有素的分類模型將一組變量（定量或定性）作為輸入，并預(yù)測輸出的類標簽（定性）。下圖是由不同顏色和標簽表示的三個類。每一個小的彩色球體代表一個數(shù)據(jù)樣本。

圖10. 多類別分類問題的示意圖

三類數(shù)據(jù)樣本在二維中的顯示。上圖顯示的是數(shù)據(jù)樣本的假設(shè)分布。這種可視化圖可以通過執(zhí)行PCA分析并顯示前兩個主成分（PC）來創(chuàng)建；或者也可以選擇兩個變量的簡單散點圖可視化。

6.1.1 樣例數(shù)據(jù)集

以企鵝數(shù)據(jù)集（Penguins Dataset）為例（最近提出作為大量使用的Iris數(shù)據(jù)集的替代數(shù)據(jù)集），我們將定量（喙長、喙深、鰭長和身體質(zhì)量）和定性（性別和島嶼）特征作為輸入，這些特征唯一地描述了企鵝的特征，并將其歸入三個物種類別標簽（Adelie、Chinstrap或Gentoo）之一。該數(shù)據(jù)集由344行和8列組成。之前的分析顯示，該數(shù)據(jù)集包含333個完整的案例，其中11個不完整的案例中出現(xiàn)了19個缺失值。

圖11. 三個企鵝物種的類別標簽（Chinstrap、Gentoo和Adelie）

6.1.2 性能指標

如何知道我們的模型表現(xiàn)好或壞？答案是使用性能指標，一些常見的評估分類性能的指標包括準確率（Ac）、靈敏度（Sn）、特異性（Sp）和馬太相關(guān)系數(shù)（MCC）。

?其中TP、TN、FP和FN分別表示真陽性、真陰性、假陽性和假陰性的實例。應(yīng)該注意的是，MCC的范圍從-1到1，其中MCC為-1表示最壞的可能預(yù)測，而值為1表示最好的可能預(yù)測方案。此外，MCC為0表示隨機預(yù)測。

6.2 回歸

?簡而言之，可以通過以下簡單等式很好地總結(jié)訓(xùn)練有素的回歸模型：Y = f(X)。其中，Y對應(yīng)量化輸出變量，X指輸入變量，f指計算輸出值作為輸入特征的映射函數(shù)（從訓(xùn)練模型中得到）。上面的回歸例子公式的實質(zhì)是，如果X已知，就可以推導(dǎo)出Y。一旦Y被計算出來（我們也可以說是 "預(yù)測"），一個流行的可視化方式是將實際值與預(yù)測值做一個簡單的散點圖，如下圖所示。

圖12. 實際值與預(yù)測值的簡單散點圖

6.2.1 樣例數(shù)據(jù)集

波士頓住房數(shù)據(jù)集（Boston Housing Dataset）是數(shù)據(jù)科學(xué)教程中通常使用的一個熱門示例數(shù)據(jù)集。該數(shù)據(jù)集由506行和14列組成。為了簡潔起見，下面顯示的是標題（顯示變量名稱）加上數(shù)據(jù)集的前4行。

?在14列中，前13個變量被用作輸入變量，而房價中位數(shù)（medv）被用作輸出變量。可以看出，所有14個變量都包含了量化的數(shù)值，因此適合進行回歸分析。我還在YouTube上做了一個逐步演示如何用Python建立線性回歸模型的視頻。

地址：https://youtu.be/R15LjD8aCzc

在視頻中，我首先向大家展示了如何讀取波士頓房屋數(shù)據(jù)集，將數(shù)據(jù)分離為X和Y矩陣，進行80/20的數(shù)據(jù)拆分，利用80%的子集建立線性回歸模型，并應(yīng)用訓(xùn)練好的模型對20%的子集進行預(yù)測。最后顯示了實際與預(yù)測medv值的性能指標和散點圖。

圖13. 測試集的實際medv值與預(yù)測medv值（20％子集）的散點圖。

6.2.2 性能指標?

對回歸模型的性能進行評估，以評估擬合模型可以準確預(yù)測輸入數(shù)據(jù)值的程度。

評估回歸模型性能的常用指標是確定系數(shù)（R2）。

從公式中可以看出，R2實質(zhì)上是1減去殘差平方和（SSres）與總平方和（SStot）的比值。簡單來說，可以說它代表了解釋方差的相對量度。例如，如果R2=0.6，那么意味著該模型可以解釋60%的方差（即60%的數(shù)據(jù)符合回歸模型），而未解釋的方差占剩余的40%。

此外，均方誤差（MSE）以及均方根誤差（RMSE）也是衡量殘差或預(yù)測誤差的常用指標。

? ? ??

從上面的公式可以看出，MSE顧名思義是很容易計算的，取平方誤差的平均值。此外，MSE的簡單平方根可以得到RMSE。

7. 分類任務(wù)的直觀說明

現(xiàn)在我們再來看看分類模型的整個過程。以企鵝數(shù)據(jù)集為例，我們可以看到，企鵝可以通過4個定量特征和2個定性特征來描述，然后將這些特征作為訓(xùn)練分類模型的輸入。在訓(xùn)練模型的過程中，需要考慮的問題包括以下幾點。

• 使用什么機器學(xué)習(xí)算法？

• 應(yīng)該探索什么樣的搜索空間進行超參數(shù)優(yōu)化？

• 使用哪種數(shù)據(jù)分割方案？80/20分割還是60/20/20分割？還是10倍CV？

一旦模型被訓(xùn)練，得到的模型就可以用來對類別標簽（即在我們的案例中企鵝種類）進行預(yù)測，可以是三種企鵝種類中的一種：Adelie、Chinstrap或Gentoo。

除了只進行分類建模，我們還可以進行主成分分析（PCA），這將只利用X（獨立）變量來辨別數(shù)據(jù)的底層結(jié)構(gòu)，并在這樣做的過程中允許將固有的數(shù)據(jù)簇可視化（如下圖所示為一個假設(shè)圖，其中簇根據(jù)3種企鵝物種進行了顏色編碼）。

圖14. 建立一個分類模型的過程示意圖

“干貨學(xué)習(xí)，點贊三連↓