預(yù)測一下數(shù)據(jù)科學(xué)之后的發(fā)展趨勢
點(diǎn)擊上方 "大數(shù)據(jù)肌肉猿"關(guān)注,?星標(biāo)一起成長
后臺回復(fù)【加群】，進(jìn)入高質(zhì)量學(xué)習(xí)交流群
當(dāng)下我們生活在數(shù)據(jù)的時代里。機(jī)器學(xué)習(xí)和數(shù)據(jù)分析技術(shù)已經(jīng)成為了我們當(dāng)今生活密不可分的一部分。那接下來會怎樣呢？
在這篇博客中，我不打算預(yù)測數(shù)據(jù)科學(xué)面對的未來是什么，不會去猜測它的未來是光明有前途，還是毫無希望。這里我只結(jié)合自己，還有我認(rèn)識的一些人的經(jīng)歷，提供一些決定性因素幫忙做預(yù)測。
拋開這些，我先大致勾勒一下今后 10 年影響數(shù)據(jù)科學(xué)未來的關(guān)鍵因素。我希望它會在工作流程上帶給你一些有價(jià)值的見解。不用多說，這只是我的個人預(yù)測。如果你感興趣，請繼續(xù)讀下去！
1 數(shù)據(jù)科學(xué)的未來：我怎樣看待？ 1、更多的數(shù)據(jù)科學(xué)策略數(shù)據(jù)科學(xué)就是通過定量的方式解決問題的一門學(xué)科。在過去，由于缺少數(shù)據(jù)或數(shù)據(jù)處理能力，我們只能依賴其它東西，比如“獨(dú)裁者的突發(fā)奇想”、“專家的直覺”和“普遍的共識”等。今天，這些根本都不管用了，而且毫無疑問，10 年后它們的作用會更有限。數(shù)據(jù)科學(xué)家轉(zhuǎn)而在搭建一些系統(tǒng)，這些系統(tǒng)可以輸出語音、預(yù)測、給出期望并輸出真正的結(jié)果。
數(shù)據(jù)科學(xué)技術(shù)的泡沫不會破裂，相反，數(shù)據(jù)驅(qū)動策略的引入將繼續(xù)占據(jù)主流。更多的人會關(guān)注數(shù)據(jù)，從數(shù)據(jù)中獲得真知灼見，所以數(shù)據(jù)科學(xué)團(tuán)隊(duì)成為任何成功組織機(jī)構(gòu)，至少是大部分組織不可或缺的一部分，由此組織之間會競爭，渴望爭得領(lǐng)域前沿的位置。
2、更多界定明確的角色因此數(shù)據(jù)科學(xué)會更受歡迎，絕大多數(shù)顧客會更清楚數(shù)據(jù)科學(xué)家到底是做什么的。現(xiàn)在，數(shù)據(jù)科學(xué)家是一個寬泛的頭銜。目前領(lǐng)域內(nèi)的人使用相關(guān)名稱和描述時有一些不嚴(yán)謹(jǐn)，所以外界對該領(lǐng)域中人的角色有很多困惑。
我們一般把數(shù)據(jù)科學(xué)領(lǐng)域的角色分成 4 類，它們角色職能不同但有重疊。
數(shù)據(jù)架構(gòu)師——開發(fā)數(shù)據(jù)架構(gòu)，以有效地捕獲、整合、組織、中心化和維護(hù)數(shù)據(jù)。
數(shù)據(jù)分析師——處理和解釋數(shù)據(jù)，為公司提供有執(zhí)行意義的預(yù)測。
數(shù)據(jù)科學(xué)家——一旦數(shù)據(jù)體量和產(chǎn)生速率達(dá)到一定水平，需要復(fù)雜技術(shù)時，他們會對數(shù)據(jù)進(jìn)行分析。
數(shù)據(jù)工程師——開發(fā)、測試和維護(hù)數(shù)據(jù)架構(gòu)，保證隨時使用和分析數(shù)據(jù)。
我認(rèn)為隨著時間推移，所有這些角色我們會更熟悉，我們也會更了解它們的不同點(diǎn)。因此，顧客會對什么可得什么不可得，有更切實(shí)際的期待，頭腦中會有更清晰的工作流程，還有從中獲得的收益。
3、更多的軟技能需求隨著時間推移，我們會更清楚地看到，大量的數(shù)據(jù)科學(xué)家會熟練運(yùn)用 Python 或 R 語言。但是，向管理層推銷你的想法的能力，說服他們相信你的洞察和見解才值得追求的能力，這種能力會怎樣？可視化描述可以承擔(dān)一半工作，而另一半就是老舊的市場營銷能力。結(jié)果，我們會看到市場更青睞那些知道如何圍繞出售產(chǎn)品創(chuàng)造關(guān)鍵性對話的人。因此，那些能將硬軟技能結(jié)合的人會永遠(yuǎn)吃香。
4、數(shù)據(jù)會更多，處理數(shù)據(jù)的人工智能也會更多現(xiàn)在我們談一些嚴(yán)肅的東西。每天我們產(chǎn)生的數(shù)據(jù)量多到難以想象，以我們現(xiàn)在的速度，每天產(chǎn)生數(shù)據(jù)量有 2.5 個 10 的 18 次方字節(jié)，而且這個速度只會加快?？匆幌?Raconteur 網(wǎng)站做出的每日關(guān)鍵數(shù)據(jù)信息圖：
5 億推特信息；
2940 億電子郵件；
四千萬億字節(jié)的 Facebook 數(shù)據(jù)；
四萬億字節(jié)的單位車聯(lián)網(wǎng)數(shù)據(jù)；
650 億條 WhatsApp 信息；
50 億條搜索信息；
到 2025 年，預(yù)計(jì)全球每天將產(chǎn)生 463 艾字節(jié)（463*10^18 字節(jié)）數(shù)據(jù)，相當(dāng)于每天 212,765,957 張 DVD 的數(shù)據(jù)量！
實(shí)際上，僅靠數(shù)據(jù)科學(xué)家，無法管理和處理這么龐大的數(shù)據(jù)。屆時，人工智能很可能成為協(xié)助數(shù)據(jù)科學(xué)家處理數(shù)據(jù)的有效工具。自動化數(shù)據(jù)分析工具和機(jī)器學(xué)習(xí)會“聰明”到取代數(shù)據(jù)科學(xué)家做例行工作，比如探索性數(shù)據(jù)分析、數(shù)據(jù)清理、統(tǒng)計(jì)建模和構(gòu)建機(jī)器學(xué)習(xí)模型。
5、更少的代碼，相當(dāng)少的代碼據(jù)特斯拉 AI 總監(jiān) A. Karpathy 說，不久的將來，我們可以不用寫代碼了。我們只需要找到數(shù)據(jù)，并輸入到機(jī)器學(xué)習(xí)系統(tǒng)即可。此種場景下，軟件工程師的角色會成為“數(shù)據(jù)監(jiān)管者”。未來大多數(shù)程序員都不再需要復(fù)雜的軟件倉庫，不用寫復(fù)雜的程序。Karpathy 說，程序員會從事搜集、清理、操作、標(biāo)記、分析數(shù)據(jù)以及對神經(jīng)網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)進(jìn)行可視化的工作。
機(jī)器學(xué)習(xí)正在引領(lǐng)一種新的計(jì)算范式，在該范式中訓(xùn)練機(jī)器才是關(guān)鍵技能。隨著機(jī)器學(xué)習(xí)技術(shù)的普及，以及通過工具的抽象達(dá)到更高程度，我們會看到大部分編程工作會逐漸消失。最終，制造產(chǎn)品的大部分步驟將是屏幕上的拖拽、刷卡、指向和點(diǎn)擊操作。從業(yè)者會從中解放出來，在解決問題時更有策略性和創(chuàng)造性。你在《星際迷航》中看到過有誰寫計(jì)算機(jī)程序嗎？沒有。
諸如 R 語言、Python 和 Spark 這樣的工具會變得無用武之地嗎？大多數(shù)數(shù)據(jù)科學(xué)家不再需要通過寫程序的方式做統(tǒng)計(jì)分析或訓(xùn)練機(jī)器學(xué)習(xí)模型了嗎？沒有這么簡單。無論如何，把希望寄托于這些方面意義不大。你仍然需要理解和熟悉所有這些處理過程，機(jī)器學(xué)習(xí)只是輔助一些日常事務(wù)。
6、盡可能多地使用 API（應(yīng)用程序接口）大部分公司是先做好一件事情，攢到名氣，然后以此起步，以開源 API 的形式貢獻(xiàn)到社區(qū)。10 年后，大部分軟件的制作方式會可見地接入到終端，最大程度地利用一切所需的服務(wù)生成解決方案。數(shù)據(jù)科學(xué)家能快速構(gòu)建測試模型，一次建立和測試多種算法，最后和整個團(tuán)隊(duì)可視化驗(yàn)證結(jié)果。未來隨著適時地引入深度的技術(shù)思考，科學(xué)家將不再白費(fèi)力氣做重復(fù)工作了。
7、自我學(xué)習(xí)傳統(tǒng)的學(xué)術(shù)環(huán)境將逐漸失去意義。信息經(jīng)濟(jì)需要能快速改變信息的途徑。人們通過 3-4 年的學(xué)習(xí)畢業(yè)后，所學(xué)的技能已經(jīng)過時。人們開始掌控自己的學(xué)習(xí)過程為自己賦能，未來得以生存的學(xué)院將是那些擁抱在線學(xué)習(xí)、快速更新課程授予方式的學(xué)院。未來的學(xué)習(xí)會基于你能構(gòu)建什么而定義，而不是缺乏現(xiàn)實(shí)世界應(yīng)用的基礎(chǔ)原理。
Q1. 數(shù)據(jù)科學(xué)家是否會被自動化算法替代根據(jù)廣受歡迎的 CRISP-DM 數(shù)據(jù)分析項(xiàng)目的管理方法論，數(shù)據(jù)分析項(xiàng)目的實(shí)施分為 6 個階段，每個階段中，分析師或者數(shù)據(jù)科學(xué)家都是直接參與的：
業(yè)務(wù)理解
數(shù)據(jù)理解
數(shù)據(jù)準(zhǔn)備
建模
評估
部署
步驟 3 和 4 包括大量的例行化工作。為了利用機(jī)器學(xué)習(xí)解決每個具體的實(shí)力，你必須不斷地：
配置模型超參；
嘗試新的算法；
向模型加入原始特征的不同表現(xiàn)形態(tài)（標(biāo)準(zhǔn)化、方差穩(wěn)定性、單調(diào)變換、降維、分類變量編碼、從已有特征中創(chuàng)建新特征等等）。
在自動化的幫助下，分析師或數(shù)據(jù)科學(xué)家的例行操作，以及數(shù)據(jù)準(zhǔn)備和清理中的部分操作可以被移除。但是，步驟 3 和 4 中的其他部分，以及 CRISP-DM 中的剩余步驟都會被保留，所以分析師的這種日常工作上的簡化不會對他們的職業(yè)造成任何威脅。
機(jī)器學(xué)習(xí)僅僅是數(shù)據(jù)科學(xué)家使用的工具之一，此外還有可視化、數(shù)據(jù)調(diào)研、統(tǒng)計(jì)和計(jì)量經(jīng)濟(jì)學(xué)方法。即使在機(jī)器學(xué)習(xí)方法里，完全自動化也是不可能的。在解決新算法及其組合的開發(fā)和應(yīng)用中存在的非標(biāo)準(zhǔn)化問題時，數(shù)據(jù)科學(xué)家的高級角色特性毫無疑問會繼續(xù)保持。自動化算法能夠梳理所有的標(biāo)準(zhǔn)組合，生成一個基礎(chǔ)解決方案，專家們可以此為基礎(chǔ)做進(jìn)一步改進(jìn)。但在很多情況下，自動化算法生成的結(jié)果已經(jīng)足夠好，不用改進(jìn)即可直接使用。
很難想像，離開分析師的幫助，一種業(yè)務(wù)可以直接使用自動化機(jī)器學(xué)習(xí)方法生成的結(jié)果。任何情況下，上述方案的數(shù)據(jù)準(zhǔn)備、對生成結(jié)果的解釋以及其他階段都是必需的。同時，現(xiàn)在許多公司的分析師，不斷與數(shù)據(jù)打交道，擁有非常成熟的心態(tài)，在業(yè)務(wù)領(lǐng)域非常精通，但是掌握機(jī)器學(xué)習(xí)方法的水平還不夠。
公司通常很難吸引到特別勝任的高薪機(jī)器學(xué)習(xí)專家，市場對他們的需求不斷增長，而且超出供給很多倍。解決辦法可能是為公司的分析師提供使用自動化機(jī)器學(xué)習(xí)工具的渠道，這需要自動化技術(shù)的普及。未來，許多公司不用組建高度專業(yè)化的團(tuán)隊(duì)，也不需要顧問企業(yè)的參與，就能享受到大數(shù)據(jù)帶來的好處。
Q2. 數(shù)據(jù)工程師會比數(shù)據(jù)科學(xué)家更搶手嗎？我認(rèn)為應(yīng)該區(qū)分一下數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師了。
前者是接受過正規(guī)教育的應(yīng)用數(shù)學(xué)家，他們研究數(shù)據(jù)科學(xué)，開發(fā)新算法，組建神經(jīng)網(wǎng)絡(luò)等等。
后者的興趣關(guān)注點(diǎn)稍微不同，他們了解每種方法的理論和應(yīng)用局限，能成功解決業(yè)務(wù)問題。
前者能做事情永遠(yuǎn)不缺，而后者的部分工作可以自動化完成，但無法完全自動化。新方法、新算法和新的解決途徑總會出現(xiàn)。另外，對主題領(lǐng)域和數(shù)據(jù)本質(zhì)的專業(yè)性理解，對顧客目標(biāo)的理解，以及快速實(shí)現(xiàn)目標(biāo)的能力，無法通過完全自動化的方法做到，所以這些能力仍然極其重要。
數(shù)據(jù)科學(xué)是切合實(shí)際的科學(xué)——但是世界正朝著功能性的數(shù)據(jù)科學(xué)發(fā)展，從業(yè)人員可以自己做數(shù)據(jù)分析。相比于數(shù)據(jù)科學(xué)家，你需要更多的數(shù)據(jù)工程師來啟動數(shù)據(jù)流程和整合的數(shù)據(jù)結(jié)構(gòu)。
聰明的機(jī)構(gòu)擁有聰明的人才，他們很懂自己的數(shù)據(jù)。數(shù)據(jù)科學(xué)家之所以存在的原因是大多數(shù)機(jī)構(gòu)還不太懂?dāng)?shù)據(jù)。但他們以后會懂的。
如果一名數(shù)據(jù)科學(xué)家創(chuàng)造了一項(xiàng)突破性算法，但沒有數(shù)據(jù)工程師將該算法落地到業(yè)務(wù)生產(chǎn)中，那算法會產(chǎn)生價(jià)值嗎？
我重申一下我最喜歡的 Gartner 數(shù)據(jù)，只有 15% 的大數(shù)據(jù)項(xiàng)目最后投入了生產(chǎn)領(lǐng)域。雖然他們從沒有深入探尋剩下的 85% 為什么沒能投入生產(chǎn)領(lǐng)域，但是我提出一些未能成功落地的幾個關(guān)鍵原因：
他們沒有找到一個能值得落地的見解；
他們找到了合適的見解，也構(gòu)建了模型，但沒能創(chuàng)建可以在服務(wù)水平協(xié)議框架下多次使用的流水線；
他們不需要什么見解，因?yàn)樗麄冃枰臄?shù)據(jù)分析不用依賴復(fù)雜的模型。但仍然是沒能可以在服務(wù)水平協(xié)議框架下多次使用的流水線。
這就是為什么每家數(shù)據(jù)科學(xué)公司都需要至少兩名數(shù)據(jù)工程師的原因。
2 總結(jié)數(shù)據(jù)科學(xué)家職業(yè)的未來前景如何，仍然很模糊，需要專業(yè)的判斷。但是，每天都有新的代碼庫和工具出現(xiàn)，我們絕不是走在簡化開發(fā)和創(chuàng)建業(yè)務(wù)模型這些基礎(chǔ)設(shè)施的道路上。許多人都很自信地說不錯，但還有不好的一面，我們創(chuàng)建的系統(tǒng)越復(fù)雜，系統(tǒng)就越隨機(jī)，越基于概率。
目前人工智能階段的主要問題是在預(yù)言結(jié)果的意義是缺乏直覺。我們只有定量的方法來解決某個特定的問題，基于此方法做出預(yù)測，但是預(yù)測的質(zhì)量不高。目前為止，這個方法運(yùn)行得很不錯的，但未來不得而知。
讓我們拭目以待吧。
--end--
掃描下方二維碼
添加好友，備注【交流】可私聊交流，也可進(jìn)資源豐富學(xué)習(xí)群
更文不易，點(diǎn)個“在看”支持一下??