吳恩達(dá)發(fā)起新型競賽范式！模型固定，只調(diào)數(shù)據(jù)？！

打開 Kaggle ，琳瑯滿目的比賽讓人目不暇接，研究的領(lǐng)域更是五花八門，從農(nóng)林牧漁到衣食住行，似乎只要有數(shù)據(jù)，不論數(shù)據(jù)好壞，就可以直接使用各種機(jī)器學(xué)習(xí)的模型在其身上大展拳腳，從邏輯回歸到 SVM，從決策樹到 XGBoost，換著模型套用在數(shù)據(jù)上重復(fù)實(shí)驗(yàn)，最后再加上集成學(xué)習(xí)的方法就可以取得不錯的結(jié)果。

這樣的現(xiàn)狀往往讓人們產(chǎn)生一種錯覺，所謂 AI 其實(shí)質(zhì)上指的就是那些基于復(fù)雜數(shù)學(xué)原理構(gòu)造的不同模型，只要將這些模型的數(shù)學(xué)原理拿支筆細(xì)細(xì)推導(dǎo)一番，現(xiàn)實(shí)生活中的一切問題便都可以被這些模型所解決。

然而事實(shí)上，機(jī)器學(xué)習(xí)的算法代碼只是整個 AI 流水線中的小小一環(huán)，我們往往開玩笑的說道我們的工作 80% 都是在做數(shù)據(jù)預(yù)處理的工作，事實(shí)在某種程度上也確是如此，一個 AI 項目一般而言由四個步驟組成：項目分析——數(shù)據(jù)收集——模型訓(xùn)練——項目部署。應(yīng)用與改造各種模型的工作只存在于第三步，但現(xiàn)階段無論是研究還是比賽，往往都是給定一個數(shù)據(jù)集，讓研究員或參賽者不斷改進(jìn)模型不斷迭代以達(dá)到預(yù)期的效果。而面對模型準(zhǔn)確率的瓶頸，唯一的黃金法則卻只是增大數(shù)據(jù)的量級。

在這個背景下，近日，我們熟悉的吳恩達(dá)老師發(fā)起了一個以數(shù)據(jù)為中心的 AI 競賽（ Data-Centric AI competition ），區(qū)別于傳統(tǒng)的以模型為中心的比賽（ Model-Centric AI competition ）不斷改進(jìn)模型以提升準(zhǔn)確率的方法，這項比賽通過給定模型的方式，要求參賽者通過不斷改進(jìn)數(shù)據(jù)以獲得更好的成績。

具體而言，這項比賽給予參賽者一個包含約 3000 張手寫羅馬數(shù)字 1-10 的圖像數(shù)據(jù)集，在使用 ResNet50 模型的基礎(chǔ)上，要求參賽者應(yīng)用以數(shù)據(jù)為中心的方法對數(shù)據(jù)集進(jìn)行改進(jìn)以提升分類的準(zhǔn)確率，其主要手段有應(yīng)用數(shù)據(jù)增強(qiáng)、修復(fù)不正確的標(biāo)簽、新增體現(xiàn)邊緣特征的樣本等等。

吳恩達(dá)老師指出，就目前來看，許多應(yīng)用的模型與相應(yīng)的代碼實(shí)現(xiàn)其實(shí)是一個已經(jīng)被解決了的問題。但是與一套已經(jīng)成熟的可以應(yīng)用到工業(yè)界的算法體系相比，現(xiàn)在更加缺少的也許是一套成熟的構(gòu)建工業(yè)化數(shù)據(jù)集的方法論。而另一方面，盡管增加數(shù)據(jù)是目前提升模型性能的不二法門，但是根據(jù)調(diào)查，大多數(shù)的現(xiàn)實(shí)應(yīng)用的數(shù)據(jù)量級往往是集中在 10000 上下，在小規(guī)模數(shù)據(jù)的情況下，數(shù)據(jù)質(zhì)量的重要性將會更加凸顯。

從一個簡單的小例子來看，當(dāng)一個小數(shù)據(jù)集存在錯誤標(biāo)簽時，模型很難給出一個正確的輸出，當(dāng)增加數(shù)據(jù)量級時，錯誤標(biāo)簽帶來的影響將會被削弱，模型有可能從大規(guī)模數(shù)據(jù)中得出正確的分類結(jié)果。但如果我們轉(zhuǎn)換思路，如果我們對小數(shù)據(jù)集的錯誤標(biāo)簽進(jìn)行處理，得到一個非常“干凈”的數(shù)據(jù)集，那么我們將同樣有可能得到正確的分類結(jié)果。

從某種意義上講，這種以數(shù)據(jù)為中心的方法的提出，完成了一次機(jī)器學(xué)習(xí)領(lǐng)域的“哥白尼倒轉(zhuǎn)”，過去我們會認(rèn)為在研究與比賽中應(yīng)該模型繞著數(shù)據(jù)轉(zhuǎn)，但現(xiàn)在一種數(shù)據(jù)繞著模型轉(zhuǎn)的方法未嘗不能以更有效率的方式做到同樣的事情。然而可惜的是，在目前關(guān)于如何取獲得“質(zhì)量更好”而非“數(shù)量更多”的數(shù)據(jù)尚無一種統(tǒng)一的方法論去處理，甚至有質(zhì)疑者如圖靈獎得主 Judea Pearl 教授認(rèn)為在不知道什么是質(zhì)量更好的數(shù)據(jù)的基礎(chǔ)上提升數(shù)據(jù)質(zhì)量是不太現(xiàn)實(shí)的。但從某種程度上講，這也是吳恩達(dá)老師舉辦這場比賽的原因之一。

目前，吳恩達(dá)老師的思路集中在借鑒 MLOps(機(jī)器學(xué)習(xí)操作)的思維框架之上。MLOps 是將 DevOps 原則應(yīng)用于機(jī)器學(xué)習(xí)系統(tǒng)開發(fā)過程的實(shí)踐，為縮短模型開發(fā)部署的迭代周期，MLOps 在一個機(jī)器學(xué)習(xí)系統(tǒng)從發(fā)布到規(guī)劃部署的全部階段應(yīng)用自動化的流程連接模型構(gòu)建、業(yè)務(wù)與運(yùn)維團(tuán)隊，從而使得企業(yè)更加高效的應(yīng)用機(jī)器學(xué)習(xí)系統(tǒng)。

針對以數(shù)據(jù)為中心的任務(wù)，首先使用固定模型對數(shù)據(jù)進(jìn)行訓(xùn)練，針對結(jié)果進(jìn)行錯誤分析，識別出模型處理不當(dāng)?shù)臄?shù)據(jù)類型，再通過諸如數(shù)據(jù)增強(qiáng)、錯誤標(biāo)簽修復(fù)等方法增強(qiáng)數(shù)據(jù)，再進(jìn)入模型之中反復(fù)持續(xù)改進(jìn)。吳恩達(dá)老師希望以數(shù)據(jù)為中心的方法結(jié)合新的 MLOps 工具可以使得機(jī)器學(xué)習(xí)系統(tǒng)的構(gòu)建更具高效性與系統(tǒng)性，并最終形成一個貫穿整個 AI 生命周期的工具集合。

這項由 DeepLearning AI 和 Landing AI 之間的合辦的競賽一直持續(xù)到美國時間2021年9月4日下午6點(diǎn)（北京時間9月5日上午10點(diǎn)），有興趣的小伙伴可以注冊 CodaLab Worksheets 帳戶提交你所改進(jìn)的數(shù)據(jù)集加入競賽排行榜，比賽將從整體表現(xiàn)與創(chuàng)新性兩個維度進(jìn)行評分，兩項評分各自的前三名可以獲得與吳恩達(dá)老師一起參加活動并共同討論以數(shù)據(jù)為中心的方法的發(fā)展與未來的機(jī)會哦，以下是吳恩達(dá)老師的推特與競賽官方網(wǎng)址~

Twitter:
https://twitter.com/AndrewYNg/status/1405622853735649284

項目主頁:
https://https-deeplearning-ai.github.io/data-centric-comp/

[1].Andrew Ng Launches A Campaign For Data-Centric AI
（https://www.forbes.com/sites/gilpress/2021/06/16/andrew-ng-launches-a-campaign-for-data-centric-ai/）

[2].MLOps: Continuous delivery and automation pipelines in machine learning
（https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning）

[3]. A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
(https://www.youtube.com/watch?v=06-AZXmwHjo)

如果覺得有用，就請分享到朋友圈吧！