機(jī)器學(xué)習(xí) 太 枯 燥 了 ！??！

↑↑↑點(diǎn)擊上方藍(lán)字，回復(fù)資料，10個(gè)G的驚喜
大數(shù)據(jù)文摘出品?來源：medium?編譯：睡不著的iris

?

很多人把數(shù)據(jù)科學(xué)（或者機(jī)器學(xué)習(xí)）工作描繪的令人向往，激勵(lì)自己和別人加入其行列。大家把數(shù)據(jù)科學(xué)想得非常完美，事實(shí)上它容易讓人感到“枯燥”。一旦感到枯燥，你就容易焦慮。如此，導(dǎo)致數(shù)據(jù)科學(xué)工作的離職率非常高。

?

本文作者將告訴大家自己如何應(yīng)對(duì)“數(shù)據(jù)科學(xué)中那些枯燥的工作”。

?

希望能夠?qū)δ阌兴鶐椭屇銓?duì)數(shù)據(jù)科學(xué)有一個(gè)正確的認(rèn)識(shí)，讓你在決定走上數(shù)據(jù)科學(xué)的征途時(shí)，好好享受這場(chǎng)漫長(zhǎng)的游戲！

?

第一課

我的表弟Shawn是個(gè)年輕英俊的小伙，最近他來了加拿大攻讀計(jì)算機(jī)碩士學(xué)位。和很多學(xué)生一樣，Shawn對(duì)機(jī)器學(xué)習(xí)充滿熱情。他希望過2年畢業(yè)的時(shí)候，可以成為一名數(shù)據(jù)科學(xué)家，或從事其他與機(jī)器學(xué)習(xí)有關(guān)的工作。

? ? ? ?? ? ? ?

身為Shawn的表哥，我也關(guān)心Shawn是否成功，我決定以自己數(shù)據(jù)科學(xué)生涯的教訓(xùn)，給他提供最謹(jǐn)慎的建議?！豆鹕虡I(yè)評(píng)論》雜志將數(shù)據(jù)科學(xué)稱為“21世紀(jì)最性感的工作”，但它和其他職業(yè)一樣會(huì)讓人覺得枯燥，甚至使人心力交瘁，你還會(huì)屢屢受挫。

?

即便這些話會(huì)讓Shawn感到失望，我還是有義務(wù)把事實(shí)告訴他。希望他對(duì)自己選擇的職業(yè)道路有充分的了解。更重要的是，我不希望凌晨3點(diǎn)會(huì)接到我媽和叔叔的電話，告訴我作為家庭一員，有義務(wù)花耐心去好好指導(dǎo)晚輩。

?

Shawn十分聰明、積極進(jìn)取且富有好奇心，他讓我詳細(xì)地給他說說，數(shù)據(jù)科學(xué)到底多枯燥。因此，我寫了這篇帖子。

?

一些背景說明

?

首先，為了便于理解本文，我先介紹下自己是怎么進(jìn)入數(shù)據(jù)科學(xué)行業(yè)（具體可以看我的領(lǐng)英）。作為一名數(shù)據(jù)科學(xué)經(jīng)理，我不僅負(fù)責(zé)領(lǐng)導(dǎo)團(tuán)隊(duì)為財(cái)富100企業(yè)部署機(jī)器學(xué)習(xí)系統(tǒng)，還要管理客戶關(guān)系，自己也會(huì)承擔(dān)一部分的技術(shù)工作。

?

更重要的概率是：機(jī)器學(xué)習(xí)系統(tǒng)應(yīng)是用于解決特定業(yè)務(wù)領(lǐng)域問題的一整套方案，除去機(jī)器學(xué)習(xí)組件，還要處理其他與人或系統(tǒng)相關(guān)事情。

?

部署系統(tǒng)意味著解決方案對(duì)實(shí)際業(yè)務(wù)運(yùn)營(yíng)有效。舉例來說，搭建實(shí)驗(yàn)環(huán)境用于訓(xùn)練和驗(yàn)證機(jī)器學(xué)習(xí)模型稱不上是部署，但如果搭建一個(gè)每月郵件發(fā)送產(chǎn)品服務(wù)的推薦引擎可以算是部署。相比較構(gòu)建一個(gè)好的機(jī)器學(xué)習(xí)模型，部署機(jī)器學(xué)習(xí)系統(tǒng)需要攻克更多的難題。若是感興趣，可以點(diǎn)擊此處詳細(xì)了解。

?

所以，我不會(huì)介紹如何在谷歌或其他高科技公司，從一名初級(jí)開發(fā)人員成長(zhǎng)為技術(shù)經(jīng)理。雖然這些公司在機(jī)器學(xué)習(xí)頗有成就，但他們只能代表“前1%”的公司。因?yàn)槠渌?cái)富100企業(yè)在技術(shù)成熟度、技術(shù)采用的速度以及投資工具和工程人才儲(chǔ)備方面都相對(duì)滯后。

?

AI學(xué)術(shù)讓我們仔細(xì)看看

不少年輕數(shù)據(jù)科學(xué)家花費(fèi)很多時(shí)間思考如何構(gòu)建完美的機(jī)器學(xué)習(xí)模型，或者采用豐富多彩的視化手段向大家展示具有突破性的商業(yè)洞察。當(dāng)然，這些確實(shí)算一部分工作。

?

然而，隨著數(shù)據(jù)科學(xué)被廣泛使用，企業(yè)更關(guān)注其實(shí)際的應(yīng)用價(jià)值。企業(yè)想要部署越來越多的機(jī)器學(xué)習(xí)系統(tǒng)，但他們不關(guān)注系統(tǒng)使用了多少新的模型或者酷炫的儀表板。因此，數(shù)據(jù)科學(xué)家需要處理一堆與機(jī)器學(xué)習(xí)無關(guān)的工作，從此工作就變得枯燥起來。

?

數(shù)據(jù)科學(xué)有多枯燥？看看我周一到周五做點(diǎn)什么就知道了。接下來，我把日常工作進(jìn)行分類闡述，從期望和現(xiàn)實(shí)兩方面對(duì)比說明，并分享我的應(yīng)對(duì)策略。

?

下面列舉的案例都源自過往實(shí)驗(yàn)和團(tuán)隊(duì)項(xiàng)目，我將以“我們”的口吻來敘述。雖然這些案例可能并不詳盡，但也足以論證我的觀點(diǎn)。

?

設(shè)計(jì)（占5-10%時(shí)間）

在設(shè)計(jì)階段，我們發(fā)揮各自最“高”智慧來解決問題和提出卓越的想法。這些想法可以包括新的模型體系結(jié)構(gòu)、數(shù)據(jù)特性和系統(tǒng)設(shè)計(jì)等。但很快，我們就陷入低谷，受時(shí)間因素或受其他重要事情影響，我們只能采用最簡(jiǎn)單（通常也是最無聊）的解決方案。

?

期望：

我們的想法將被收錄于著名的機(jī)器學(xué)習(xí)雜志，如NIPS、谷歌AI項(xiàng)目（Google AI Research）等，還幻想贏得下一屆諾貝爾獎(jiǎng)。

?

現(xiàn)實(shí)：

部署后一切正常運(yùn)行。不錯(cuò)的白板繪圖會(huì)拍照記錄下來，作為參考框架。

?

應(yīng)對(duì)策略：

1）不斷與外行朋友談?wù)撐覀儻偪竦南敕?，他們?huì)十分誠(chéng)實(shí)（甚至是粗魯）地勸我打消那些瘋狂、愚蠢的念頭；

2）把看似瘋狂的好想法作為附帶項(xiàng)目；

3）結(jié)果發(fā)現(xiàn)，大部分瘋狂的想法不起作用，或者只是比簡(jiǎn)單方法稍微好一點(diǎn)點(diǎn)。

所以，遵循簡(jiǎn)單原則（KISS，Keep-It-Simple-Stupid），讓我如釋重負(fù)。

?

編程（占20-70%時(shí)間，取決于你的開發(fā)角色）

此處不必多講，想象你戴上耳機(jī)，喝一個(gè)口咖啡，拉伸你的手指，坐在在電腦屏幕前，敲打出一行行漂亮的代碼后，坐等奇跡發(fā)生。

?

我們的代碼分為5部分（此處用代碼行數(shù)占比說明）：數(shù)據(jù)管道（50-70%），系統(tǒng)和集成（10-20%），機(jī)器學(xué)習(xí)模型（5-10%），調(diào)試和演示支持（5-10%）。其他同行基本也是這么認(rèn)為的，這里有一幅大圖可以說明此：

? ? ? ?

編寫模型的代碼占比（圖），此處有一篇來自谷歌團(tuán)隊(duì)論述機(jī)器學(xué)習(xí)的隱性技術(shù)債的文章。

?

如你所見，我們大部分時(shí)間在處理與機(jī)器學(xué)習(xí)無關(guān)的事務(wù)。雖然機(jī)器學(xué)習(xí)組件非常重要，流行框架和編程語(yǔ)言（如Keras、XGBoost、Python的sklearn等）已經(jīng)幫助我們減輕了許多繁雜的工作。為了達(dá)到目的，我們不需要很重的代碼庫(kù)，工作流已經(jīng)是標(biāo)準(zhǔn)化和相對(duì)完善。雖說做底層優(yōu)化不同，但其影響也就1%。

?

期望：

大部分時(shí)間我們?cè)陂_發(fā)和重塑機(jī)器學(xué)習(xí)組件，其他人關(guān)注剩余部分。

現(xiàn)實(shí)：

沒人愿意

1）做自己不想做的事情；

2）把所有事都留給自己做；

還有3）花費(fèi)大量不成比例的時(shí)間去優(yōu)化已經(jīng)足夠完善的工作流程。

?

應(yīng)對(duì)策略：

我們依據(jù)各自的專業(yè)特長(zhǎng)做設(shè)計(jì)決策，除了完成自己的開發(fā)工作，同時(shí)還會(huì)支持其他人。（例如，貢獻(xiàn)想法、親手寫代碼或者做質(zhì)量評(píng)估）。我們互相學(xué)習(xí)，從而提升團(tuán)隊(duì)水平。更重要的是，如此可以緩解這份“性感工作”所帶來的焦慮。

?

質(zhì)量評(píng)估、調(diào)試和修復(fù)問題（起碼占65%時(shí)間）

在我看來，這所有技術(shù)工作里最沒勁、最痛苦的部分。部署機(jī)器學(xué)習(xí)系統(tǒng)也不例外。

?

一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)有2類常見的bug：不好的結(jié)果和常見軟件問題。不好的結(jié)果可能是模型得分太低（例如：準(zhǔn)確性和精準(zhǔn)度）或難以解釋的預(yù)測(cè)結(jié)果（例如：基于業(yè)務(wù)經(jīng)驗(yàn)的預(yù)測(cè)概率呈現(xiàn)偏態(tài)分布）。代碼沒有問題，只是結(jié)果不具有解釋性或者不夠好。常見軟件問題則是諸如代碼無法運(yùn)行，系統(tǒng)配置等。

?

期望：

我們用更聰明的方法構(gòu)建一個(gè)優(yōu)化的模型就可以解決結(jié)果不佳的問題。這個(gè)過程需要一些智慧，如果想法可以湊效，那還是非常令人欣慰的。

?

現(xiàn)實(shí)：

在質(zhì)量評(píng)估、調(diào)試和處理缺陷的過程中，我們有近70-90%時(shí)間在處理常見軟件問題。通常，我們構(gòu)建端到端的訓(xùn)練和驗(yàn)證管道后，可以很快得到好結(jié)果。然而，實(shí)際我們更關(guān)注系統(tǒng)問題，模型則次之。

?

應(yīng)對(duì)策略：

我用GitHub的issue功能建立了一個(gè)游戲化的“獎(jiǎng)杯板”。每次關(guān)閉問題卡片的時(shí)候，我都非常興奮。看到我們“征服”的問題，我會(huì)感到十分驕傲。當(dāng)然，如果我點(diǎn)擊“啟動(dòng)”一切都能夠奇跡般的正常運(yùn)行，我會(huì)更加驕傲。雖然這一幕只在大學(xué)提交編程作業(yè)的時(shí)候出現(xiàn)過。我一生都記得那一刻的感覺。如果現(xiàn)實(shí)生活中再次發(fā)生，那可能是什么東西出錯(cuò)了。

? ? ? ?

GitHub問題板截圖

?

救火（占10-50%時(shí)間）

再周全的時(shí)間計(jì)劃，總會(huì)發(fā)生一些讓你偏離正軌的意外。不僅是數(shù)據(jù)科學(xué)，對(duì)于任何交付團(tuán)隊(duì)經(jīng)理來說，這就是一場(chǎng)噩夢(mèng)。具體來說，意外可以分為3類：

a）外部因素，如范圍變更、上游系統(tǒng)依賴和客戶抱怨；

b）內(nèi)部團(tuán)隊(duì)問題，如惱人的bug需要更多的時(shí)間解決、團(tuán)隊(duì)成員離職但沒有做好交接、人力不足、個(gè)人沖突等；

c）以及自己的無知，包含一切五花八門的“其他”事情。

?

期望：

從頭到尾巡檢一遍，搞定后，迎接客戶、領(lǐng)導(dǎo)、團(tuán)隊(duì)的擊掌慶祝和擁抱。

現(xiàn)實(shí)：

意料之外的事情總是在最不合時(shí)宜的時(shí)候發(fā)生。意外會(huì)有一些規(guī)律可循，但沒有解決問題的萬(wàn)能良方，這讓人太心煩了。

?

應(yīng)對(duì)策略：

1）遇到高技術(shù)問題或跨團(tuán)隊(duì)協(xié)作，最好將時(shí)間周期延長(zhǎng)至2到2.5倍，預(yù)留足夠的空間；

2）在團(tuán)隊(duì)內(nèi)部設(shè)立激進(jìn)的里程碑；

3）在心里大罵來平衡情緒，時(shí)兒也口頭說說發(fā)泄；

4）深呼吸、保持微笑、學(xué)會(huì)傾聽；

5）和團(tuán)隊(duì)一起探索所有可能的方案，依據(jù)可行性、所需投入、難易程度確定方案優(yōu)先級(jí)；

6）都不能起作用，不要再等待了，尋找?guī)椭?br>

7）繼續(xù)推進(jìn)。以上都不能算是策略，但是在實(shí)踐過程中可以發(fā)揮作用。

?

總結(jié)

本文都在論述真實(shí)世界中，從事數(shù)據(jù)科學(xué)工作會(huì)遇到哪些困難。有志于從事機(jī)器學(xué)習(xí)工作的人需要知道除了構(gòu)建模型，事實(shí)上還有很多其他要做的。與其他工作一樣，你最終都會(huì)感到枯燥、受挫。當(dāng)然，這很正常。但更重要的是，你應(yīng)該建立一套自己的應(yīng)對(duì)策略，那你就可以長(zhǎng)期在這個(gè)賽道上，享受沿途的小成就，奔向最終的勝利。

?

相關(guān)報(bào)道：

https://towardsdatascience.com/data-science-is-boring-1d43473e353e

「回歸分析」知識(shí)點(diǎn)梳理

CSDN資源，免費(fèi)下載！

眾所周知,B站并不是個(gè)學(xué)習(xí)網(wǎng)站