從技術(shù)到管理,數(shù)據(jù)人如何開(kāi)展工作?
目錄
0x00 先溝通
0x01 再建模
0x02 想分析
0x03 自動(dòng)化
0xFF 做一名合格的TL
0x00 先溝通
我一直有個(gè)觀點(diǎn),數(shù)據(jù)倉(cāng)庫(kù)&數(shù)據(jù)分析,是一個(gè)跟人打交道的工種,而不是技術(shù)。
筆者從事2B方向的數(shù)據(jù)倉(cāng)庫(kù)工作,之前面試過(guò)不少的同學(xué),有一些機(jī)靈的,會(huì)在面試之前,簡(jiǎn)單問(wèn)一問(wèn)崗位的內(nèi)容,我一般也會(huì)照實(shí)回答。在得知工作內(nèi)容是2B之后,一些人就表示了明確的拒絕,更希望從事的工作與2C方向相關(guān)。盡管我比較討厭這種情況的出現(xiàn),但我會(huì)表示尊重,因?yàn)楦闱宄约合霃氖碌墓ぷ鞣较颍裙ぷ鳈C(jī)會(huì)更重要。
為什么會(huì)說(shuō)工作方向更重要?因?yàn)榇蠖鄶?shù)數(shù)據(jù)人,所從事的工作內(nèi)容,都是與業(yè)務(wù)相關(guān)的。并不是說(shuō)技術(shù)方向不可以,而是純技術(shù)的崗位,招聘的人數(shù)遠(yuǎn)比業(yè)務(wù)崗位少得多,而且要求高得多。出于現(xiàn)實(shí)的考慮,從事業(yè)務(wù)方向的開(kāi)發(fā),就是大多數(shù)人的通常選擇。業(yè)務(wù)開(kāi)發(fā),說(shuō)到底,就是要實(shí)現(xiàn)業(yè)務(wù)價(jià)值的,而業(yè)務(wù)價(jià)值,并不僅僅指導(dǎo)出報(bào)表,也不僅僅指做一個(gè)架構(gòu)完美的數(shù)據(jù)倉(cāng)庫(kù),而是要產(chǎn)出切實(shí)的業(yè)務(wù)價(jià)值。技術(shù)人通常比較羞澀,不愿意過(guò)多的跟人打交道,那么產(chǎn)品/運(yùn)營(yíng),甚至是老大的很多想法,就很少去了解,到了匯報(bào)的時(shí)候,往往被質(zhì)疑的懷疑人生,也就不足為奇了。
工作方向,說(shuō)到底,就是你感興趣的,并且能夠有動(dòng)力去跟別人聊下去的愛(ài)好。
我并不想多談業(yè)務(wù)價(jià)值該怎樣實(shí)現(xiàn),成功的人思考問(wèn)題的方式都是類(lèi)似的,而底層的碼農(nóng)做事的方式卻各有各的風(fēng)格。但實(shí)現(xiàn)業(yè)務(wù)價(jià)值的一定要多跟別人交流,思維多碰撞才能產(chǎn)生火花。即便是你在某個(gè)領(lǐng)域深耕多年,不交流也很難繼續(xù)跟上時(shí)代的發(fā)展。
因此,先錨定自己的興趣點(diǎn),并不是指技術(shù),而是指從事的業(yè)務(wù)方向。在這個(gè)基礎(chǔ)上,多溝通、多交流,數(shù)據(jù)人才算是開(kāi)展了數(shù)據(jù)工作的第一步。
0x01 再建模
建模的作用,是用來(lái)描述清楚當(dāng)前的業(yè)務(wù)場(chǎng)景。
建模通常是數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該做的事情,而數(shù)據(jù)倉(cāng)庫(kù)通常是面向過(guò)去的,以描述數(shù)據(jù)的流動(dòng)性為目的。數(shù)據(jù)倉(cāng)庫(kù)有幾種經(jīng)典的數(shù)據(jù)模型:范式模型、維度模型、DataVault。在實(shí)際的工作中,不管采用哪一種模型,能夠把當(dāng)前的業(yè)務(wù)場(chǎng)景講清楚就可以了。
例如你所從事的行業(yè)是2C方向的,那么維度建模就很合適,因?yàn)榫S度能夠很好的描述歷史狀態(tài)的變化情況,用事務(wù)事實(shí)表和快照事實(shí)表,能夠滿(mǎn)足絕大多數(shù)的建模場(chǎng)景。但假如你從事的是2B的行業(yè),那么單一的模型就可能適應(yīng)不了,例如企業(yè)管理,通常主數(shù)據(jù)是以范式建模的方式組織的,或者是星型模型,這時(shí)候基礎(chǔ)模型就要根據(jù)數(shù)據(jù)庫(kù)來(lái)構(gòu)建。但很多分析的場(chǎng)景又需要關(guān)聯(lián)其他的數(shù)據(jù),例如財(cái)務(wù)、法務(wù)數(shù)據(jù),這時(shí)候又需要做一些維度建模來(lái)分析公司的運(yùn)行狀況。
但建模也不是絕對(duì)的,建模本質(zhì)是你對(duì)于商業(yè)運(yùn)行模式的思考,對(duì)于數(shù)據(jù)在其中流動(dòng)方式的總結(jié)。
0x02 想分析
分析的作用,是用來(lái)產(chǎn)出有價(jià)值的洞察報(bào)告。
例如我們?cè)跇?gòu)建宏觀矩陣的時(shí)候,描述的是公司業(yè)務(wù)線(xiàn)和對(duì)應(yīng)的數(shù)據(jù)狀況,其行、列一般對(duì)應(yīng)著業(yè)務(wù)主題和數(shù)據(jù)主題。業(yè)務(wù)主題包括了公司所對(duì)應(yīng)的業(yè)務(wù)線(xiàn)布局,例如電商、游戲、視頻、應(yīng)用商店、新聞資訊和瀏覽器等;數(shù)據(jù)主題根據(jù)抽象程度和視角的不同,對(duì)應(yīng)了相應(yīng)的業(yè)務(wù)形態(tài)數(shù)據(jù),例如曝光、點(diǎn)擊、消費(fèi)、播放、分享等,又可以通過(guò)這些原生的行為進(jìn)行衍生計(jì)算,例如留存、活躍、流失等。
我們每次在啟動(dòng)一個(gè)新的項(xiàng)目前,都需要做一個(gè)行業(yè)的調(diào)研,了解業(yè)界關(guān)于這個(gè)項(xiàng)目的解決方案,在分析具體的數(shù)據(jù)前,其實(shí)也要有對(duì)應(yīng)的調(diào)研過(guò)程。數(shù)據(jù)分析與公司的商業(yè)模型比較強(qiáng)綁定,數(shù)據(jù)分析應(yīng)該以數(shù)據(jù)的關(guān)聯(lián)能力為突破口,將復(fù)雜業(yè)務(wù)過(guò)程,以透?jìng)骱投床炷芰φ故境鰜?lái),匹配到管理者的期望值中。
可以說(shuō),數(shù)據(jù)來(lái)源于業(yè)務(wù),并反作用到業(yè)務(wù)中,還是逃不出商業(yè)價(jià)值的牢籠。
0x03 自動(dòng)化
自動(dòng)化,也可以叫做平臺(tái)化&流程化,是指把已經(jīng)成熟的分析/計(jì)算方法,做成一套固定的方案,后續(xù)有類(lèi)似的場(chǎng)景能夠再次使用,提升業(yè)務(wù)價(jià)值復(fù)用的能力。
自動(dòng)化的目標(biāo),不僅僅是為了節(jié)約時(shí)間,更是為了將已有的方法論固化下來(lái),后人能夠在前人的基礎(chǔ)上,做進(jìn)一步的迭代升級(jí)。業(yè)務(wù)所普及的Hadoop等框架,本質(zhì)也是后人不斷提升前人的工作成果,最終形成一套完整的生態(tài)。
以數(shù)據(jù)中臺(tái)為例,它的發(fā)展有三個(gè)階段:描述階段、分析階段、預(yù)測(cè)階段。剛開(kāi)始的時(shí)候,一無(wú)所有,快速把現(xiàn)有的數(shù)據(jù)進(jìn)行整合和建模,就非常重要,這個(gè)階段能夠理清楚業(yè)務(wù)細(xì)節(jié)就是最大的勝利。在此基礎(chǔ)上,隨著業(yè)務(wù)邊界擴(kuò)張、業(yè)務(wù)邏輯逐漸統(tǒng)一的前提下,多進(jìn)行橫向或者縱向的數(shù)據(jù)對(duì)比工作,能夠切實(shí)解決一批業(yè)務(wù)價(jià)值的問(wèn)題,并將分析和解決的思路沉淀下來(lái),這里就有了初步自動(dòng)化的基礎(chǔ)。最終當(dāng)數(shù)據(jù)流完全數(shù)字化及標(biāo)準(zhǔn)化后,引入模型,建立預(yù)測(cè)機(jī)制,將提升業(yè)務(wù)價(jià)值的能力逐步標(biāo)準(zhǔn)化,并且配置成自動(dòng)流程,這時(shí)候數(shù)據(jù)的智能化場(chǎng)景,就逐步的體現(xiàn)了出來(lái)。
0xFF 做一名合格的TL
技術(shù)人有兩條發(fā)展路線(xiàn):一條是走技術(shù),一條是走管理。其實(shí),在數(shù)據(jù)的場(chǎng)景下,大多數(shù)的技術(shù)能力,在阿里P7階段就已經(jīng)學(xué)會(huì)了,而更深一步的技術(shù)能力,每提升一小步,所付出的精力和時(shí)間,都是之前的一大步,很多人就被迫走向了管理路線(xiàn),也就是TL。但是,TL所面對(duì)的場(chǎng)景非常復(fù)雜,管技術(shù)、管團(tuán)隊(duì)、管業(yè)務(wù),特別忙是一定的,又反向迫使很多人望而卻步,真正的變得迷茫起來(lái)。
TL的核心職責(zé),其實(shí)是可以跨團(tuán)隊(duì)組織工作,這其中,要想讓別人信服,頂層架構(gòu)、發(fā)展分析、落地策略、團(tuán)隊(duì)管理、KPI制定、領(lǐng)域驅(qū)動(dòng)、技術(shù)驅(qū)動(dòng)、穩(wěn)定性建設(shè)、質(zhì)量建設(shè)、準(zhǔn)確性建設(shè)、分布式系統(tǒng)、陌生領(lǐng)域知識(shí)…… 要學(xué)習(xí)的內(nèi)容太多了。數(shù)據(jù)人,很多時(shí)候,走到這里,就30多歲了,中年危機(jī)也來(lái)了。
其實(shí),我們放平心態(tài),把工作想象成一場(chǎng)長(zhǎng)跑,階段性跑的快不是勝利、跑跑停停也注定落后,最合理的方式,其實(shí)是一點(diǎn)一點(diǎn)提升自己,按照自己的節(jié)奏,不被工作和生活所帶跑偏,堅(jiān)持下來(lái),你還是比大多數(shù)人跑得快。
盡管TL很難,但這是大多數(shù)人最切實(shí)可行的路線(xiàn),就像高考一樣,過(guò)了獨(dú)木橋,又是一道美麗的風(fēng)景線(xiàn)。
