寫在1024：一名數(shù)據(jù)分析師的修煉之路
導(dǎo)讀
大家都把今天當(dāng)做是程序員的節(jié)日，那么自己也想湊個(gè)熱鬧在這個(gè)有意義的日子里，將自己一年來修煉數(shù)據(jù)分析師的親身經(jīng)歷做以分享，以求對(duì)他人有所借鑒。
注：全文無圖，只有干貨。
大概在一年多以前自己重新思考職業(yè)歸屬的時(shí)候，恰巧當(dāng)時(shí)網(wǎng)絡(luò)開始大范圍瘋傳數(shù)據(jù)分析師的各種培訓(xùn)課程、Python也越來越成為網(wǎng)紅語言，受此大環(huán)境的熏陶和感染，自己逐漸入坑數(shù)據(jù)分析，從此數(shù)據(jù)分析師的圈子里便多了一名新人——當(dāng)然，這里的新無關(guān)乎年齡。
時(shí)至今日，自己早已正式從事數(shù)據(jù)分析師一職數(shù)月有余，在目睹網(wǎng)絡(luò)炒作所賦予的職業(yè)屬性之外，對(duì)這個(gè)角色和崗位有了更多的親身感觸和認(rèn)知，雖然與資深數(shù)據(jù)分析師仍相去甚遠(yuǎn)，但至少也算是有了一點(diǎn)體會(huì)和發(fā)言權(quán)。下面主要從數(shù)據(jù)分析師的技能需求、自身學(xué)習(xí)歷程和長遠(yuǎn)發(fā)展定位三個(gè)方面做以分享。
這個(gè)問題其實(shí)是一個(gè)老話題，但仍然覺得有必要重申一下，一方面是覺得當(dāng)前這個(gè)崗位網(wǎng)紅屬性太重——培訓(xùn)機(jī)構(gòu)瘋狂炒作、企業(yè)常常設(shè)此崗位卻又定位不清晰；另一方面很多想投身數(shù)據(jù)分析師的求職者也對(duì)此缺乏清晰的了解，容易受到外界的誤導(dǎo)。當(dāng)然，自己也談不上對(duì)此認(rèn)識(shí)足夠全面和權(quán)威。
與傳統(tǒng)的程序員崗位不同，數(shù)據(jù)分析師本質(zhì)上仍屬于程序員行列，但對(duì)業(yè)務(wù)了解提出了一定要求，如果說程序員和產(chǎn)品經(jīng)理是對(duì)立的雙方，那么數(shù)據(jù)分析師可以說是程序員中最懂產(chǎn)品業(yè)務(wù)的人、也是產(chǎn)品線里最懂編程的人，所以從這個(gè)角度講數(shù)據(jù)分析師的職業(yè)屬性是七分技術(shù)+三分業(yè)務(wù)。正因如此，數(shù)據(jù)分析師的技能需求也主要圍繞技術(shù)功底和業(yè)務(wù)理解。比如在某招聘網(wǎng)站上隨意挑選了一個(gè)數(shù)據(jù)分析師的崗位要求，其中很明確的提出了技術(shù)功底（SQL+數(shù)據(jù)分析語言+算法能力）、業(yè)務(wù)要求（數(shù)據(jù)敏感度+業(yè)務(wù)理解）。
從職位屬性來看，這是一個(gè)面向風(fēng)控的數(shù)據(jù)分析師
與此同時(shí)，正如前文所說數(shù)據(jù)分析師是一個(gè)網(wǎng)紅崗位，所以很多企業(yè)也大多設(shè)立這一職位需求，由于這些企業(yè)的業(yè)務(wù)種類繁多，進(jìn)而導(dǎo)致數(shù)據(jù)分析師的具體要求也隨之而異，除了風(fēng)控?cái)?shù)據(jù)分析師這一大類外，另一種常見的數(shù)據(jù)分析師的應(yīng)用場(chǎng)景是電商。除此之外當(dāng)然還有很多其他小工種的數(shù)據(jù)分析職位。
當(dāng)自己也認(rèn)不清這一局面的時(shí)候，我選擇從數(shù)據(jù)分析是視角來全面認(rèn)識(shí)數(shù)據(jù)分析師，所以就有了這篇推文：聽說數(shù)據(jù)分析師挺火，我們來數(shù)據(jù)分析一下！
可以說，自己的數(shù)據(jù)分析學(xué)歷歷程是受了網(wǎng)絡(luò)炒作的很大影響，基本也都是按照網(wǎng)絡(luò)的那一套學(xué)習(xí)路線走下來的，不過也談不上錯(cuò)，所以也就如實(shí)記錄分享。
數(shù)據(jù)分析必備——ESP基礎(chǔ)套餐。ESP=Excel+SQL+Python，這應(yīng)該也算是數(shù)據(jù)分析師的基本功了，Excel簡(jiǎn)單實(shí)用高效，SQL是數(shù)據(jù)存儲(chǔ)、簡(jiǎn)單分析以及被眾人吐槽的取數(shù)的基本載體，Python是一門膠水語言，尤其是數(shù)據(jù)相關(guān)的第三方庫眾多也是不爭(zhēng)的事實(shí)，所以打算入門數(shù)據(jù)分析卻不知如何入手時(shí)，那么不妨先把ESP基本功打扎實(shí)。Excel相對(duì)簡(jiǎn)單不再細(xì)述，附SQL和Python學(xué)習(xí)歷程：
一名數(shù)據(jù)分析師的SQL學(xué)習(xí)歷程
一名數(shù)據(jù)分析師的Python學(xué)習(xí)歷程。
數(shù)據(jù)分析利器——Python數(shù)分三劍客（numpy+pandas+matplotlib）。都說Python語言適用于數(shù)據(jù)科學(xué)領(lǐng)域，其實(shí)更準(zhǔn)確的說是因?yàn)橛泻芏喙δ軓?qiáng)大的第三方庫，比如數(shù)分三劍客在數(shù)據(jù)分析的領(lǐng)域有著舉足輕重的地位。三者的定位也各不相同：numpy=numerical python，側(cè)重基礎(chǔ)的數(shù)值計(jì)算，類似Matlab中矩陣計(jì)算的思想和方法，但面向數(shù)據(jù)類型主要以數(shù)值為主，功能也更偏重于基礎(chǔ)的矩陣相關(guān)類操作；pandas=python data analysis，則是基于numpy的一個(gè)加強(qiáng)版數(shù)據(jù)分析工具，有著瑞士軍刀的美譽(yù)，涵蓋數(shù)據(jù)讀寫、數(shù)據(jù)清洗、數(shù)據(jù)聚合統(tǒng)計(jì)、建模分析以及可視化全過程，對(duì)于字符串和時(shí)間序列還有專用的屬性接口，尤其是字符串屬性接口中還內(nèi)置了正則功能，運(yùn)用起來簡(jiǎn)直不能再絲滑；matplotlib=matrix plot library，顧名思義是一個(gè)繪圖庫，其實(shí)也是實(shí)現(xiàn)了matlab中功能的一部分，也是基于numpy基礎(chǔ)之上開發(fā)實(shí)現(xiàn)，繪圖操作更為接近底層，雖然繁瑣但支持更為精細(xì)的定制化需求，pandas中的可視化接口實(shí)際上就是調(diào)用了matplotlib。這里仍然附自己學(xué)習(xí)三個(gè)庫的總結(jié)：
python數(shù)據(jù)科學(xué)系列：numpy入門詳細(xì)教程
python數(shù)據(jù)科學(xué)系列：pandas入門詳細(xì)教程
python數(shù)據(jù)科學(xué)系列：matplotlib入門詳細(xì)教程
數(shù)據(jù)分析番外篇：業(yè)務(wù)學(xué)習(xí)。在完成了必備的技術(shù)能力儲(chǔ)備后，發(fā)現(xiàn)缺乏業(yè)務(wù)理解可能會(huì)是一個(gè)致命的短板，但也認(rèn)識(shí)到業(yè)務(wù)不像技術(shù)可以隨時(shí)學(xué)習(xí)，業(yè)務(wù)需要依賴具體場(chǎng)景和方向。在了解大體方向和定位后，自己請(qǐng)教了一名從事數(shù)據(jù)分析師的好友，并聽從了他的建議，學(xué)習(xí)了《數(shù)據(jù)化管理-洞悉零售及電子商務(wù)運(yùn)營》一書，顯然這是一本適用于電商數(shù)據(jù)分析的業(yè)務(wù)書籍，自己當(dāng)前也并不是從事電商類的數(shù)據(jù)分析，但通讀下來仍然對(duì)自己有了很大啟發(fā)，比如也正是從那時(shí)學(xué)到了數(shù)據(jù)分析的六字箴言：對(duì)比細(xì)分溯源，當(dāng)然自己習(xí)慣于在前面再加個(gè)趨勢(shì)二字，于是“趨勢(shì)、對(duì)比、細(xì)分、溯源”這四個(gè)詞八個(gè)字常常是自己做數(shù)據(jù)分析的指導(dǎo)思想。
數(shù)據(jù)分析進(jìn)階一：Tableau。當(dāng)初學(xué)習(xí)Tableau無非是在看了眾多招聘需求后，發(fā)現(xiàn)有些企業(yè)要求對(duì)Tableau具備一定掌握，以便更為方便快速的完成可視化報(bào)表輸出。實(shí)際上，Tableau是否必需，完全取決于職位對(duì)應(yīng)的業(yè)務(wù)種類：如果企業(yè)對(duì)應(yīng)的商業(yè)化數(shù)據(jù)分析，經(jīng)常有輸出報(bào)表需求，那么一般會(huì)要求掌握Tableau或者PowerBI的，這倆功能定位基本相似，視情選擇其一即可。附自學(xué)Tableau學(xué)習(xí)總結(jié)：
數(shù)據(jù)分析進(jìn)階二：Hive。學(xué)過了SQL之后，發(fā)現(xiàn)當(dāng)數(shù)據(jù)體量龐大時(shí)，還會(huì)要求懂得數(shù)倉理論和Hive技能。雖然數(shù)據(jù)庫和數(shù)據(jù)倉庫二者定位和原理有很大差異，但語法功能卻是很相近的，基本上在熟練掌握SQL功底之后學(xué)習(xí)Hive會(huì)很容易上手。不過，學(xué)習(xí)Hive的難點(diǎn)在于它不像學(xué)SQL一樣，就只需要學(xué)SQl就夠了，Hive背后對(duì)應(yīng)的是大數(shù)據(jù)相關(guān)的一套生態(tài)系統(tǒng)，雖不用全面涉獵，但至少也要了解Hadoop的大致原理、hdfs的基本操作，光是配置一個(gè)Hive環(huán)境和依賴，對(duì)很多新人來說都會(huì)是一個(gè)噩夢(mèng)。
數(shù)據(jù)分析進(jìn)階三：機(jī)器學(xué)習(xí)。在完成了數(shù)分三劍客的掌握之后，應(yīng)對(duì)一些基本的數(shù)據(jù)處理和統(tǒng)計(jì)分析其實(shí)已經(jīng)足夠，而且更準(zhǔn)確地將機(jī)器學(xué)習(xí)已經(jīng)算是算法崗位的要求而不再是數(shù)據(jù)分析師的職責(zé)范圍，但仍然推薦在學(xué)有余力的情況下有計(jì)劃的學(xué)習(xí)涉獵。有了機(jī)器學(xué)習(xí)的思維和技能，往往能激發(fā)另一層面的數(shù)據(jù)分析業(yè)務(wù)和結(jié)果。具體而言，Python做機(jī)器學(xué)習(xí)，主要就是掌握sklearn庫，這也是一個(gè)實(shí)現(xiàn)優(yōu)雅、功能強(qiáng)大、說明文檔友好的第三方庫，也是個(gè)人最喜愛的一個(gè)Python第三方庫。當(dāng)然，機(jī)器學(xué)習(xí)本身是一門大課程，甚至在有些企業(yè)中會(huì)單獨(dú)設(shè)置機(jī)器學(xué)習(xí)的崗位，也不會(huì)奢望一名數(shù)據(jù)分析師完全勝任。附sklearn學(xué)習(xí)總結(jié)：
數(shù)據(jù)科學(xué)系列：sklearn庫主要模塊功能簡(jiǎn)介
數(shù)據(jù)分析進(jìn)階四：pyspark。早在開啟hive學(xué)習(xí)之時(shí)，就有入坑spark的打算。前面提到了pandas的種種好處，但在面對(duì)大數(shù)據(jù)時(shí)，其不支持分布式計(jì)算的弱點(diǎn)難免乏力，此時(shí)一種新的數(shù)據(jù)處理框架Spark真香撲來，pyspark當(dāng)然就是spark的python版本。這一塊自己目前仍然在加緊學(xué)習(xí)中，掌握還不夠深入。附幾篇簡(jiǎn)單的pyspark學(xué)習(xí)總結(jié)：
PySpark SQL——SQL和pd.DataFrame的結(jié)合體
Spark Core——RDD何以替代Hadoop MapReduce？
PySpark ML——分布式機(jī)器學(xué)習(xí)庫
數(shù)據(jù)分析進(jìn)階五：深度學(xué)習(xí)。機(jī)器學(xué)習(xí)的plus版就是深度學(xué)習(xí)，當(dāng)然二者側(cè)重的領(lǐng)域也是不一樣的，機(jī)器學(xué)習(xí)面向相對(duì)較為傳統(tǒng)的分類、回歸、聚類、推薦和降維等算法場(chǎng)景，而深度學(xué)習(xí)的兩大經(jīng)典領(lǐng)域則是CV和NLP，其中前者操作的數(shù)據(jù)類型是圖像，后者操作的是語言文本，更具體說用到的深度學(xué)習(xí)技術(shù)就是CNN和RNN，再加上基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)DNN，這也是深度學(xué)習(xí)中三個(gè)最為主要的場(chǎng)景。不過說起來簡(jiǎn)單，但每一個(gè)場(chǎng)景都值得深入研究，每一項(xiàng)技術(shù)都能支撐一個(gè)崗位和專家稱號(hào)，這又是一條漫漫學(xué)習(xí)路。
雖然自己當(dāng)前從事的崗位就是一名數(shù)據(jù)分析師，但內(nèi)心卻仍然覺得只做數(shù)據(jù)分析是遠(yuǎn)遠(yuǎn)不夠的，換句話說數(shù)據(jù)分析師對(duì)應(yīng)的層次仍然是相對(duì)較為基礎(chǔ)的數(shù)據(jù)處理和統(tǒng)計(jì)分析層次，純粹的數(shù)據(jù)分析師發(fā)展可能也會(huì)比較受限（雖然有人還提過數(shù)據(jù)分析師的最高角色叫首席數(shù)據(jù)分析官，Chief Analysis Officer，首字母縮寫就不寫了……），但總覺得不會(huì)是常態(tài)和坦途。所以，目前仍然會(huì)多學(xué)一些算法相關(guān)的技能，主要是對(duì)標(biāo)sklearn+pytorch+pyspark，或許一名算法工程師會(huì)是自己的下一個(gè)dream role。
以上，權(quán)當(dāng)致敬自己忙碌的當(dāng)下！
相關(guān)閱讀：