是在國(guó)際象棋中擊敗卡斯帕羅夫更困難，還是撿起棋子并移動(dòng)棋子更困難？計(jì)算機(jī)在二十多年前打敗了國(guó)際象棋世界冠軍，但是可靠地抓取和舉起物體仍然是一個(gè)未解決的研究問(wèn)題。人類不擅長(zhǎng)評(píng)估什么對(duì)人工智能來(lái)說(shuō)是困難的，什么是容易的。即使在一個(gè)領(lǐng)域中，性能也可能有很大差異。預(yù)測(cè)情緒的準(zhǔn)確性有多高？在影評(píng)中，有大量的文本和作者很容易搞清楚他們的想法，現(xiàn)在能期待的準(zhǔn)確率是90-95%。在推特上，兩個(gè)人在80%的情況下對(duì)一條推文的觀點(diǎn)是一致的。在推文中，只要是關(guān)于航空公司的，那么總是把這條推文的情緒預(yù)測(cè)成負(fù)面的，就可以達(dá)到95%以上的準(zhǔn)確率。

度量標(biāo)準(zhǔn)也可能在項(xiàng)目的早期提升很多，然后突然碰壁。我曾經(jīng)舉辦過(guò)一場(chǎng)Kaggle競(jìng)賽，全世界成千上萬(wàn)的人競(jìng)相為我的數(shù)據(jù)建模。在第一周，準(zhǔn)確率從35%上升到65%，但在接下來(lái)的幾個(gè)月里，準(zhǔn)確率從未超過(guò)68%。68%的準(zhǔn)確率顯然是數(shù)據(jù)對(duì)于最先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)的限制。那些在Kaggle競(jìng)賽中競(jìng)爭(zhēng)的人非常努力地獲得了68%的正確率，我確信這是一個(gè)巨大的成就。但在大多數(shù)情況下，65%和68%是完全無(wú)法區(qū)分的。如果這是一個(gè)內(nèi)部項(xiàng)目，我肯定會(huì)對(duì)結(jié)果感到失望。

我的朋友Pete Skomoroch最近告訴我，作為一名研究機(jī)器學(xué)習(xí)的數(shù)據(jù)科學(xué)家，在工程部門工作是多么令人沮喪。工程項(xiàng)目通常會(huì)向前推進(jìn)，但機(jī)器學(xué)習(xí)項(xiàng)目可能會(huì)完全停滯。花一周時(shí)間對(duì)數(shù)據(jù)進(jìn)行建模，結(jié)果可能(甚至很常見(jiàn))沒(méi)有任何改進(jìn)。

機(jī)器學(xué)習(xí)通常工作得很好，只要你有大量的訓(xùn)練數(shù)據(jù)以及你在生產(chǎn)中運(yùn)行的數(shù)據(jù)看起來(lái)很像你的訓(xùn)練數(shù)據(jù)。人類非常善于從訓(xùn)練數(shù)據(jù)中歸納歸納，因此我們對(duì)此有著可怕的直覺(jué)。我做了一個(gè)小機(jī)器人，帶著攝像機(jī)和一個(gè)視覺(jué)模型，這個(gè)模型是根據(jù)從網(wǎng)上獲取的成百萬(wàn)的ImageNet圖像制作的。我對(duì)我的機(jī)器人相機(jī)上的圖像進(jìn)行了預(yù)處理，使其看起來(lái)像來(lái)自網(wǎng)絡(luò)的圖像，但準(zhǔn)確性比我預(yù)期的要差得多。為什么？網(wǎng)絡(luò)上的圖片往往會(huì)針對(duì)目標(biāo)物體進(jìn)行構(gòu)圖，但是我的機(jī)器人不一定會(huì)像人類攝影師那樣直視一個(gè)物體。人類甚至可能都沒(méi)有注意到這種差異，但使用現(xiàn)代深度學(xué)習(xí)網(wǎng)絡(luò)的時(shí)候就會(huì)非常痛苦。有很多方法可以處理這種現(xiàn)象，但我之所以注意到它，只是因?yàn)樗男阅芟陆捣浅?yán)重，我花了很多時(shí)間調(diào)試它。

更厲害的是，導(dǎo)致性能下降的細(xì)微差異很難被發(fā)現(xiàn)。接受《紐約時(shí)報(bào)》訓(xùn)練的語(yǔ)言模型不能很好地概括社交媒體文本。我們可以預(yù)料到。但很顯然，從2017年開始接受文本訓(xùn)練的模型，在2018年寫的文本中表現(xiàn)不佳。上游分布隨時(shí)間以多種方式變化。當(dāng)對(duì)手適應(yīng)了欺詐模型所做的事情時(shí)，欺詐模型就會(huì)完全崩潰。

每個(gè)人都知道這一點(diǎn)，但這是一個(gè)巨大的障礙。如果你能夠收集并標(biāo)記大量的訓(xùn)練數(shù)據(jù)，計(jì)算機(jī)視覺(jué)可以做很多驚人的事情。對(duì)于某些用例，數(shù)據(jù)是某些業(yè)務(wù)流程的副產(chǎn)品。這就是機(jī)器學(xué)習(xí)真正發(fā)揮作用的地方。對(duì)于許多其他用例來(lái)說(shuō)，收集訓(xùn)練數(shù)據(jù)是非常昂貴和具有挑戰(zhàn)性的。許多醫(yī)療用例對(duì)于機(jī)器學(xué)習(xí)來(lái)說(shuō)似乎是完美的 —— 使用許多微弱的信號(hào)和清晰的結(jié)果來(lái)做出關(guān)鍵的決策 —— 但是數(shù)據(jù)由于重要的隱私問(wèn)題而被鎖定，或者一開始就沒(méi)有被統(tǒng)一的進(jìn)行收集。

許多公司不知道從哪里開始投資收集訓(xùn)練數(shù)據(jù)。這是一項(xiàng)重要的工作，很難預(yù)先預(yù)測(cè)該模型將如何工作。

1. 多注意你的訓(xùn)練數(shù)據(jù).

看看這個(gè)算法對(duì)它所訓(xùn)練的數(shù)據(jù)進(jìn)行錯(cuò)誤分類的情況。這樣的錯(cuò)誤幾乎總是標(biāo)注錯(cuò)誤或者一些邊界樣本。不管怎樣，你都想了解他們。讓每個(gè)構(gòu)建模型的人都查看一下訓(xùn)練數(shù)據(jù)并自己標(biāo)注一些訓(xùn)練數(shù)據(jù)。對(duì)于許多用例來(lái)說(shuō)，一個(gè)模型不太可能比兩個(gè)獨(dú)立的人達(dá)成一致的效果更好。

2. 先做端到端的工作，然后一次改進(jìn)一件事.

從可能有效的最簡(jiǎn)單的事情開始，然后部署它。你會(huì)從中學(xué)到很多。過(guò)程中任何階段的額外復(fù)雜性都會(huì)改進(jìn)研究論文中的模型，但很少會(huì)改進(jìn)現(xiàn)實(shí)世界中的模型。每一個(gè)額外的復(fù)雜性都需要驗(yàn)證。

將一些東西交到最終用戶手中，可以幫助你盡早了解模型可能工作得有多好，并且它可能會(huì)帶來(lái)一些關(guān)鍵問(wèn)題，比如模型正在優(yōu)化的內(nèi)容與最終用戶想要的內(nèi)容之間的分歧。它還可能使你重新評(píng)估你正在收集的訓(xùn)練數(shù)據(jù)的類型。最好能盡快發(fā)現(xiàn)這些問(wèn)題。

3. 尋找優(yōu)雅的方法來(lái)處理不可避免的算法失敗的情況.

幾乎所有的機(jī)器學(xué)習(xí)模型在相當(dāng)長(zhǎng)的時(shí)間內(nèi)都會(huì)失敗，如何處理這一問(wèn)題絕對(duì)是至關(guān)重要的。模型通常有一個(gè)可以使用的可靠的置信度評(píng)分。使用批處理過(guò)程，你可以構(gòu)建包含人在里面的循環(huán)系統(tǒng)，將低可信度的預(yù)測(cè)發(fā)送給操作員，使系統(tǒng)能夠可靠地端到端工作，并收集高質(zhì)量的訓(xùn)練數(shù)據(jù)。對(duì)于其他用例，你可以使用一種標(biāo)記潛在錯(cuò)誤的方式，或者對(duì)最終用戶來(lái)說(shuō)不那么惱人的方式，來(lái)呈現(xiàn)低可信度的預(yù)測(cè)。

下面是一個(gè)沒(méi)有被妥善處理的失敗例子。微軟沒(méi)有預(yù)料到他們的Tay機(jī)器人能多快從推特上的噴子那里學(xué)會(huì)不良行為。