機(jī)器學(xué)習(xí)算法優(yōu)缺點(diǎn)綜述

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

本文轉(zhuǎn)自 | 新機(jī)器視覺

目錄

• 正則化算法（Regularization Algorithms）
• 集成算法（Ensemble Algorithms）
• 決策樹算法（Decision Tree Algorithm）
• 回歸（Regression）
• 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）
• 深度學(xué)習(xí)（Deep Learning）
• 支持向量機(jī)（Support Vector Machine）
• 降維算法（Dimensionality Reduction Algorithms）
• 聚類算法（Clustering Algorithms）
• 基于實(shí)例的算法（Instance-based Algorithms）
• 貝葉斯算法（Bayesian Algorithms）
• 關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（Association Rule Learning Algorithms）
• 圖模型（Graphical Models）

正則化算法（Regularization Algorithms）

它是另一種方法（通常是回歸方法）的拓展，這種方法會(huì)基于模型復(fù)雜性對(duì)其進(jìn)行懲罰，它喜歡相對(duì)簡(jiǎn)單能夠更好的泛化的模型。

例子：

• 嶺回歸（Ridge Regression）
• 最小絕對(duì)收縮與選擇算子（LASSO）
• GLASSO
• 彈性網(wǎng)絡(luò)（Elastic Net）
• 最小角回歸（Least-Angle Regression）

優(yōu)點(diǎn)：

• 其懲罰會(huì)減少過(guò)擬合
• 總會(huì)有解決方法

缺點(diǎn)：

• 懲罰會(huì)造成欠擬合
• 很難校準(zhǔn)

集成算法（Ensemble algorithms）

集成方法是由多個(gè)較弱的模型集成模型組，其中的模型可以單獨(dú)進(jìn)行訓(xùn)練，并且它們的預(yù)測(cè)能以某種方式結(jié)合起來(lái)去做出一個(gè)總體預(yù)測(cè)。

該算法主要的問(wèn)題是要找出哪些較弱的模型可以結(jié)合起來(lái)，以及結(jié)合的方法。這是一個(gè)非常強(qiáng)大的技術(shù)集，因此廣受歡迎。

• Boosting

• Bootstrapped Aggregation（Bagging）

• AdaBoost

• 層疊泛化（Stacked Generalization）（blending）

• 梯度推進(jìn)機(jī)（Gradient Boosting Machines，GBM）

• 梯度提升回歸樹（Gradient Boosted Regression Trees，GBRT）

• 隨機(jī)森林（Random Forest）

優(yōu)點(diǎn)：

• 當(dāng)先最先進(jìn)的預(yù)測(cè)幾乎都使用了算法集成。它比使用單個(gè)模型預(yù)測(cè)出來(lái)的結(jié)果要精確的多

缺點(diǎn)：

• 需要大量的維護(hù)工作

決策樹算法（Decision Tree Algorithm）

決策樹學(xué)習(xí)使用一個(gè)決策樹作為一個(gè)預(yù)測(cè)模型，它將對(duì)一個(gè) item（表征在分支上）觀察所得映射成關(guān)于該 item 的目標(biāo)值的結(jié)論（表征在葉子中）。

樹模型中的目標(biāo)是可變的，可以采一組有限值，被稱為分類樹；在這些樹結(jié)構(gòu)中，葉子表示類標(biāo)簽，分支表示表征這些類標(biāo)簽的連接的特征。

例子：

• 分類和回歸樹（Classification and Regression Tree，CART）
• Iterative Dichotomiser 3（ID3）
• C4.5 和 C5.0（一種強(qiáng)大方法的兩個(gè)不同版本）

優(yōu)點(diǎn)：

• 容易解釋
• 非參數(shù)型

缺點(diǎn)：

• 趨向過(guò)擬合
• 可能或陷于局部最小值中
• 沒有在線學(xué)習(xí)

回歸（Regression）算法

回歸是用于估計(jì)兩種變量之間關(guān)系的統(tǒng)計(jì)過(guò)程。當(dāng)用于分析因變量和一個(gè) 多個(gè)自變量之間的關(guān)系時(shí)，該算法能提供很多建模和分析多個(gè)變量的技巧。具體一點(diǎn)說(shuō)，回歸分析可以幫助我們理解當(dāng)任意一個(gè)自變量變化，另一個(gè)自變量不變時(shí)，因變量變化的典型值。最常見的是，回歸分析能在給定自變量的條件下估計(jì)出因變量的條件期望。

回歸算法是統(tǒng)計(jì)學(xué)中的主要算法，它已被納入統(tǒng)計(jì)機(jī)器學(xué)習(xí)。

例子：

• 普通最小二乘回歸（Ordinary Least Squares Regression，OLSR）
• 線性回歸（Linear Regression）
• 邏輯回歸（Logistic Regression）
• 逐步回歸（Stepwise Regression）
• 多元自適應(yīng)回歸樣條（Multivariate Adaptive Regression Splines，MARS）
• 本地散點(diǎn)平滑估計(jì)（Locally Estimated Scatterplot Smoothing，LOESS）

優(yōu)點(diǎn)：

• 直接、快速
• 知名度高

缺點(diǎn)：

• 要求嚴(yán)格的假設(shè)
• 需要處理異常值

人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而構(gòu)建的算法模型。

它是一種模式匹配，常被用于回歸和分類問(wèn)題，但擁有龐大的子域，由數(shù)百種算法和各類問(wèn)題的變體組成。

例子：

• 感知器
• 反向傳播
• Hopfield 網(wǎng)絡(luò)
• 徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function Network，RBFN）

優(yōu)點(diǎn)：

• 在語(yǔ)音、語(yǔ)義、視覺、各類游戲（如圍棋）的任務(wù)中表現(xiàn)極好。
• 算法可以快速調(diào)整，適應(yīng)新的問(wèn)題。

缺點(diǎn)：

• 需要大量數(shù)據(jù)進(jìn)行訓(xùn)練
• 訓(xùn)練要求很高的硬件配置
• 模型處于黑箱狀態(tài)，難以理解內(nèi)部機(jī)制
• 元參數(shù)（Metaparameter）與網(wǎng)絡(luò)拓?fù)溥x擇困難。

深度學(xué)習(xí)（Deep Learning）

深度學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)的最新分支，它受益于當(dāng)代硬件的快速發(fā)展。

眾多研究者目前的方向主要集中于構(gòu)建更大、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)，目前有許多方法正在聚焦半監(jiān)督學(xué)習(xí)問(wèn)題，其中用于訓(xùn)練的大數(shù)據(jù)集只包含很少的標(biāo)記。

例子：

• 深玻耳茲曼機(jī)（Deep Boltzmann Machine，DBM）
• Deep Belief Networks（DBN）
• 卷積神經(jīng)網(wǎng)絡(luò)（CNN）
• Stacked Auto-Encoders

優(yōu)點(diǎn)/缺點(diǎn)：見神經(jīng)網(wǎng)絡(luò)

支持向量機(jī)（Support Vector Machines）

給定一組訓(xùn)練事例，其中每個(gè)事例都屬于兩個(gè)類別中的一個(gè)，支持向量機(jī)（SVM）訓(xùn)練算法可以在被輸入新的事例后將其分類到兩個(gè)類別中的一個(gè)，使自身成為非概率二進(jìn)制線性分類器。

SVM 模型將訓(xùn)練事例表示為空間中的點(diǎn)，它們被映射到一幅圖中，由一條明確的、盡可能寬的間隔分開以區(qū)分兩個(gè)類別。

隨后，新的示例會(huì)被映射到同一空間中，并基于它們落在間隔的哪一側(cè)來(lái)預(yù)測(cè)它屬于的類別。

優(yōu)點(diǎn)：

• 在非線性可分問(wèn)題上表現(xiàn)優(yōu)秀

缺點(diǎn)：

• 非常難以訓(xùn)練
• 很難解釋

降維算法（Dimensionality Reduction Algorithms）

和集簇方法類似，降維追求并利用數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，目的在于使用較少的信息總結(jié)或描述數(shù)據(jù)。

這一算法可用于可視化高維數(shù)據(jù)或簡(jiǎn)化接下來(lái)可用于監(jiān)督學(xué)習(xí)中的數(shù)據(jù)。許多這樣的方法可針對(duì)分類和回歸的使用進(jìn)行調(diào)整。

例子：

• 主成分分析（Principal Component Analysis (PCA)）
• 主成分回歸（Principal Component Regression (PCR)）
• 偏最小二乘回歸（Partial Least Squares Regression (PLSR)）
• Sammon 映射（Sammon Mapping）
• 多維尺度變換（Multidimensional Scaling (MDS)）
• 投影尋蹤（Projection Pursuit）
• 線性判別分析（Linear Discriminant Analysis (LDA)）
• 混合判別分析（Mixture Discriminant Analysis (MDA)）
• 二次判別分析（Quadratic Discriminant Analysis (QDA)）
• 靈活判別分析（Flexible Discriminant Analysis (FDA)）

優(yōu)點(diǎn)：

• 可處理大規(guī)模數(shù)據(jù)集
• 無(wú)需在數(shù)據(jù)上進(jìn)行假設(shè)

缺點(diǎn)：

• 難以搞定非線性數(shù)據(jù)
• 難以理解結(jié)果的意義

聚類算法（Clustering Algorithms）

聚類算法是指對(duì)一組目標(biāo)進(jìn)行分類，屬于同一組（亦即一個(gè)類，cluster）的目標(biāo)被劃分在一組中，與其他組目標(biāo)相比，同一組目標(biāo)更加彼此相似（在某種意義上）。

例子：

• K-均值（k-Means）
• k-Medians 算法
• Expectation Maximi 封層 ation (EM)
• 最大期望算法（EM）
• 分層集群（Hierarchical Clstering）

優(yōu)點(diǎn)：

• 讓數(shù)據(jù)變得有意義

缺點(diǎn)：

• 結(jié)果難以解讀，針對(duì)不尋常的數(shù)據(jù)組，結(jié)果可能無(wú)用。

基于實(shí)例的算法（Instance-based Algorithms）

基于實(shí)例的算法（有時(shí)也稱為基于記憶的學(xué)習(xí)）是這樣學(xué) 習(xí)算法，不是明確歸納，而是將新的問(wèn)題例子與訓(xùn)練過(guò)程中見過(guò)的例子進(jìn)行對(duì)比，這些見過(guò)的例子就在存儲(chǔ)器中。

之所以叫基于實(shí)例的算法是因?yàn)樗苯訌挠?xùn)練實(shí)例中建構(gòu)出假設(shè)。這意味這，假設(shè)的復(fù)雜度能隨著數(shù)據(jù)的增長(zhǎng)而變化：最糟的情況是，假設(shè)是一個(gè)訓(xùn)練項(xiàng)目列表，分類一個(gè)單獨(dú)新實(shí)例計(jì)算復(fù)雜度為 O（n）

例子：

• K 最近鄰（k-Nearest Neighbor (kNN)）
• 學(xué)習(xí)向量量化（Learning Vector Quantization (LVQ)）
• 自組織映射（Self-Organizing Map (SOM)）
• 局部加權(quán)學(xué)習(xí)（Locally Weighted Learning (LWL)）

優(yōu)點(diǎn)：

• 算法簡(jiǎn)單、結(jié)果易于解讀

缺點(diǎn)：

• 內(nèi)存使用非常高
• 計(jì)算成本高
• 不可能用于高維特征空間

貝葉斯算法（Bayesian Algorithms）

貝葉斯方法是指明確應(yīng)用了貝葉斯定理來(lái)解決如分類和回歸等問(wèn)題的方法。

例子：

• 樸素貝葉斯（Naive Bayes）
• 高斯樸素貝葉斯（Gaussian Naive Bayes）
• 多項(xiàng)式樸素貝葉斯（Multinomial Naive Bayes）
• 平均一致依賴估計(jì)器（Averaged One-Dependence Estimators (AODE)）
• 貝葉斯信念網(wǎng)絡(luò)（Bayesian Belief Network (BBN)）
• 貝葉斯網(wǎng)絡(luò)（Bayesian Network (BN)）

優(yōu)點(diǎn)：

• 快速、易于訓(xùn)練、給出了它們所需的資源能帶來(lái)良好的表現(xiàn)

缺點(diǎn)：

• 如果輸入變量是相關(guān)的，則會(huì)出現(xiàn)問(wèn)題

關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（Association Rule Learning Algorithms）

關(guān)聯(lián)規(guī)則學(xué)習(xí)方法能夠提取出對(duì)數(shù)據(jù)中的變量之間的關(guān)系的最佳解釋。比如說(shuō)一家超市的銷售數(shù)據(jù)中存在規(guī)則 {洋蔥，土豆}=> {漢堡}，那說(shuō)明當(dāng)一位客戶同時(shí)購(gòu)買了洋蔥和土豆的時(shí)候，他很有可能還會(huì)購(gòu)買漢堡肉。

例子：

• Apriori 算法（Apriori algorithm）
• Eclat 算法（Eclat algorithm）
• FP-growth

圖模型（Graphical Models）

圖模型或概率圖模型（PGM/probabilistic graphical model）是一種概率模型，一個(gè)圖（graph）可以通過(guò)其表示隨機(jī)變量之間的條件依賴結(jié)構(gòu)（conditional dependence structure）。

例子：

• 貝葉斯網(wǎng)絡(luò)（Bayesian network）
• 馬爾可夫隨機(jī)域（Markov random field）
• 鏈圖（Chain Graphs）
• 祖先圖（Ancestral graph）

優(yōu)點(diǎn)：

• 模型清晰，能被直觀地理解

缺點(diǎn)：

• 確定其依賴的拓?fù)浜芾щy，有時(shí)候也很模糊

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~