什么時候不要使用神經(jīng)網(wǎng)絡(luò)

轉(zhuǎn)自：?大數(shù)據(jù)分析和挖掘

五一假期下雨，而且由于疫情哪也沒法去，就在家里上上網(wǎng)。在towards-data-science上讀到一篇《When Not to Use Neural Networks》，感覺有幾個觀點(diǎn)還不錯，翻譯摘錄如下。

?

不久之前，一個朋友問我關(guān)于如何選擇ML/AI模型的問題。那個時候，他接受的大部分的ML/AI方面的模型知識都是神經(jīng)網(wǎng)絡(luò)或者是他們的變種，在他的認(rèn)知里，神經(jīng)網(wǎng)絡(luò)足以強(qiáng)大到可以解決任何問題，無論何時，選擇神經(jīng)網(wǎng)絡(luò)總是正確的選擇。

?

1、所有模型都是錯的,但是有一些有用

建模的先驅(qū)物理學(xué)家安德森在1977年諾貝爾獎授獎儀式上講的一段話：建模的藝術(shù)就是去除實在中與問題無關(guān)的部分，建模者和使用者都面臨一定的風(fēng)險。建模者有可能會遺漏至關(guān)重要的因素；使用者則有可能無視模型只是概略性的，意在揭示某種可能性，而太過生硬地理解和使用實驗或計算的具體結(jié)果樣本。

?

所有的機(jī)器學(xué)習(xí)模型都是盡最大程度去擬合，從這個意義來說，所有的模型都是錯的。但是，并不是說模型因為有錯就沒有價值。

?

初學(xué)者往往把模型的準(zhǔn)確率等同于模型的價值。但事實并非如此。towards-data-science每天給我推薦20多篇文章，其中只有一兩篇可能是我真正感興趣的我會去讀的。準(zhǔn)確率相當(dāng)于只有10%。但是這足夠了，這10%能夠保證我每天對網(wǎng)站的訪問，推薦已經(jīng)保證了商業(yè)上的流量價值。準(zhǔn)確率只是模型價值的其中一部分的評估。

?

2、模型的價值

一個模型的價值，與這四個方面密切相關(guān)。

(1)Interpretability：能解釋模型是怎么一步步解決問題的

(2)Explainability：能解釋模型輸出背后的物理意義

(3)Flexibility：模型描述復(fù)雜事物的能力

(4)Complexity：模型訓(xùn)練和推理的成本

?

一個決策樹模型，我們很容易理解它是怎么推理得到最后的結(jié)果的（Interpretability），我們很容易根據(jù)模型的輸出做出業(yè)務(wù)決策（Explainability），決策樹越深，描述復(fù)雜事物的能力越好（Flexibility），但是成本就越高（Complexity）

一個神經(jīng)網(wǎng)絡(luò)模型，在Interpretability和Explainability都比較弱，F(xiàn)lexibility很強(qiáng)，通常Complexity也不低。

?

一個模型的價值，是要針對具體問題而言的。有些問題直覺上顯而易見，但很難建模，如人臉識別。解決問題的模型要側(cè)重于Flexibility和Complexity。這時神經(jīng)網(wǎng)絡(luò)就比較合適，不需要提供太強(qiáng)的Interpretability和 Explainability（這兩項都是神經(jīng)網(wǎng)絡(luò)模型的弱點(diǎn)）

?

另外一些問題，不那么符合直覺，但符合邏輯推理，譬如信貸審批。解決問題的模型要側(cè)重于Interpretability和Explainability。

?

3、簡單模型解決復(fù)雜問題，復(fù)雜模型解決簡單問題

(1)簡單模型：簡單模型包括一些非常傳統(tǒng)的機(jī)器學(xué)習(xí)的模型，譬如線性分類器、決策樹、K近鄰。即使自己寫代碼實現(xiàn)也不需要太高深的數(shù)學(xué)知識。

(2)復(fù)雜問題：復(fù)雜問題是人類需要受過專業(yè)的培訓(xùn)和訓(xùn)練，需要人類付出思考才能解決的問題。譬如信貸審批

(3)復(fù)雜模型：復(fù)雜模型包括一些需要復(fù)雜的數(shù)值計算和數(shù)學(xué)理論證明的模型，譬如SVM、神經(jīng)網(wǎng)絡(luò)、核方法和梯度提升方法。自己寫代碼實現(xiàn)一般比較困難。

(4)簡單問題：簡單問題是那種符合人類直覺，我們每天都很自然在做的事情。譬如區(qū)分一只貓和一只狗，識別一個人，對一段文字念出來。

?

人類擅長做的機(jī)器往往不擅長。反過來機(jī)器擅長做的人類不一定擅長。這個很容易理解了。所以，讓簡單的模型解決復(fù)雜的問題，讓復(fù)雜的模型解決簡單的問題。

?

4、模型復(fù)雜度?VS?可解釋性

模型越復(fù)雜，可解釋性越差。

(1)低級復(fù)雜度模型：線性回歸、邏輯回歸、決策樹、K近鄰。

(2)中等復(fù)雜度模型：提升樹和森林、樸素貝葉斯、高斯過程

(3)高級復(fù)雜度模型：SVM、神經(jīng)網(wǎng)絡(luò)、貝葉斯方法

?

在實際應(yīng)用中，要看是準(zhǔn)確度優(yōu)先還是可解釋性優(yōu)先。