深度學(xué)習(xí)vs機(jī)器學(xué)習(xí) | 這些本質(zhì)區(qū)別你知道多少？

• 數(shù)據(jù)相關(guān)性

• 硬件依賴性

• 特征工程

• 解決問(wèn)題方法

• 執(zhí)行時(shí)間

• 可解釋性

  
  

深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)最重要的區(qū)別是，隨著數(shù)據(jù)量的增加，其性能也隨之提高。當(dāng)數(shù)據(jù)很小的時(shí)候，深度學(xué)習(xí)算法并不能很好地執(zhí)行，這是因?yàn)樯疃葘W(xué)習(xí)算法需要大量的數(shù)據(jù)才能完全理解它。下圖便能很好的說(shuō)明這個(gè)事實(shí)：

從上圖我們可以看到，隨著數(shù)據(jù)量的增大，深度學(xué)習(xí)的性能會(huì)越來(lái)越好，而傳統(tǒng)機(jī)器學(xué)習(xí)方法性能表現(xiàn)卻趨于平緩；但傳統(tǒng)的機(jī)器學(xué)習(xí)算法在數(shù)據(jù)量較小的情況下，比深度學(xué)習(xí)有著更好的表現(xiàn)。

深度學(xué)習(xí)算法在很大程度上依賴于高端機(jī)器，而傳統(tǒng)的機(jī)器學(xué)習(xí)算法可以在低端機(jī)器上工作。這是因?yàn)樯疃葘W(xué)習(xí)算法對(duì)GPU有較高的要求，GPU是其工作的一個(gè)組成部分。因?yàn)樯疃葘W(xué)習(xí)算法要固有地執(zhí)行大量的矩陣乘法運(yùn)，而使用GPU可以有效地優(yōu)化這些操作，這就免不了對(duì)GPU的依賴。而相比之下，機(jī)器學(xué)習(xí)算法對(duì)硬件配置沒(méi)有很高的要求。

特征工程是將領(lǐng)域知識(shí)應(yīng)用到特征抽取的創(chuàng)建過(guò)程，以降低數(shù)據(jù)的復(fù)雜性為目的。但這一過(guò)程在訓(xùn)練時(shí)間和如何提取特征方面十分地困難。

在機(jī)器學(xué)習(xí)中，大多數(shù)應(yīng)用的特征需要由專家識(shí)別，然后根據(jù)域和數(shù)據(jù)類型手工編碼。

例如，特征可以是像素值、形狀、紋理、位置和方向，大多數(shù)機(jī)器學(xué)習(xí)算法的性能取決于特征識(shí)別和提取的準(zhǔn)確程度。

而深度學(xué)習(xí)算法則試圖從數(shù)據(jù)中學(xué)習(xí)更高級(jí)的特性。這是深度學(xué)習(xí)一個(gè)非常獨(dú)特的部分，也是有別于傳統(tǒng)機(jī)器學(xué)習(xí)的一部分。因此，深度學(xué)習(xí)減少了為每個(gè)問(wèn)題開(kāi)發(fā)新的特征抽取的任務(wù)，而是像卷積神經(jīng)網(wǎng)絡(luò)（CNN）這樣嘗試學(xué)習(xí)低層次的特征，如：早期層次的邊緣和線條，然后是人臉的一部分，最后才是人臉的高層次表示。這樣的方式相較于機(jī)器學(xué)習(xí)，在訓(xùn)練時(shí)間和成本上有較高的提升。

在使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法解決問(wèn)題時(shí)，通常的做法是將問(wèn)題分解成不同的部分，然后單獨(dú)解決，最后結(jié)合起來(lái)得到結(jié)果。相比之下，深度學(xué)習(xí)更提倡端到端地解決問(wèn)題。讓我們舉個(gè)例子來(lái)理解這一點(diǎn)。

如圖所示是一個(gè)多對(duì)象檢測(cè)任務(wù)，我們的目標(biāo)是喲啊確定對(duì)象是什么以及它在圖像中的位置。

在典型的機(jī)器學(xué)習(xí)方法中，我們會(huì)將問(wèn)題分為兩個(gè)步驟：對(duì)象檢測(cè)和對(duì)象識(shí)別。首先，我們將使用一個(gè)邊界檢測(cè)算法，如：GrabCut，來(lái)瀏覽圖像并找到圖像中所有可能的對(duì)象；然后，在所有已識(shí)別的對(duì)象中，我們?cè)偈褂脤?duì)象識(shí)別算法（如：SVM）來(lái)識(shí)別相關(guān)對(duì)象，最后再判斷對(duì)象的位置。

不同于傳統(tǒng)機(jī)器學(xué)習(xí)算法，在深度學(xué)習(xí)的方法中，我們將進(jìn)行端到端的學(xué)習(xí)過(guò)程。例如，使用YOLO算法（一種深度學(xué)習(xí)算法）。我們往YOLO網(wǎng)絡(luò)中傳入一張圖像，它將給出對(duì)象的具體位置和名稱。是不是方便了很多呢？

通常，深度學(xué)習(xí)算法需要很長(zhǎng)的時(shí)間來(lái)訓(xùn)練，這是因?yàn)樵谏疃葘W(xué)習(xí)算法中有太多的參數(shù)，所以訓(xùn)練這些參數(shù)的時(shí)間比平時(shí)要長(zhǎng)。即使比較先進(jìn)的深度學(xué)習(xí)算法Resnet，從零開(kāi)始完全訓(xùn)練也需要大約兩周的時(shí)間。相比之下，機(jī)器學(xué)習(xí)所需的訓(xùn)練時(shí)間要少得多，從幾秒鐘到幾個(gè)小時(shí)不等。

相較于訓(xùn)練時(shí)間，測(cè)試時(shí)間就要短很多。在測(cè)試時(shí)，深度學(xué)習(xí)算法的運(yùn)行時(shí)間要短得多。但是，如果將其與k近鄰機(jī)器學(xué)習(xí)算法進(jìn)行比較，測(cè)試時(shí)間會(huì)隨著數(shù)據(jù)大小的增加而增加。但這并不適用于所有機(jī)器學(xué)習(xí)算法，因?yàn)槠渲幸恍┧惴ǖ臏y(cè)試時(shí)間也很短。

最后，我們將可解釋性作為比較機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的一個(gè)因素。這一因素也是深度學(xué)習(xí)難以在工業(yè)中取得大規(guī)模應(yīng)用的主要原因。

我們舉個(gè)例子：假設(shè)我們使用深度學(xué)習(xí)為論文自動(dòng)評(píng)分，它在得分方面的表現(xiàn)相當(dāng)出色，接近于人類的表現(xiàn)。但有一個(gè)問(wèn)題：深度學(xué)習(xí)并沒(méi)有揭示它為什么會(huì)給出那個(gè)分?jǐn)?shù)。事實(shí)上，從數(shù)學(xué)中我們可以發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的哪些節(jié)點(diǎn)被激活，但是我們不知道神經(jīng)元應(yīng)該做什模型以及這些神經(jīng)元層共同在做什么，所以我們無(wú)法對(duì)結(jié)果進(jìn)解釋。

而相較于深度學(xué)習(xí)，類似于決策樹這樣的機(jī)器學(xué)習(xí)算法為我們提供了清晰的規(guī)則，告訴我們什么是它的選擇以及為什么選擇了它，很容易解釋算法背后的推理。因此，決策樹和線性/邏輯回歸等機(jī)器學(xué)習(xí)算法主要用于工業(yè)中需要可解釋性的場(chǎng)景。