數(shù)據(jù)中臺(tái)即服務(wù)——數(shù)據(jù)中臺(tái)的四大支柱
導(dǎo)讀：并不是數(shù)據(jù)中臺(tái)不行，是需要找到正確使用它的方法。
作者：石秀峰
來(lái)源：談數(shù)據(jù)（ID：learning-bigdata）
有人認(rèn)為：數(shù)據(jù)中臺(tái)是一個(gè)方法論，用來(lái)指導(dǎo)企業(yè)實(shí)現(xiàn)“業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化”； 有人認(rèn)為：數(shù)據(jù)中臺(tái)是一個(gè)管理和使用數(shù)據(jù)的思維模式，核心是數(shù)據(jù)資產(chǎn)的沉淀； 有人認(rèn)為：數(shù)據(jù)中臺(tái)是大數(shù)據(jù)平臺(tái)的延伸，是大數(shù)據(jù)的下一站； 有人認(rèn)為：數(shù)據(jù)中臺(tái)是對(duì)內(nèi)進(jìn)行數(shù)據(jù)共享，對(duì)外提供數(shù)據(jù)開(kāi)放的數(shù)據(jù)服務(wù)平臺(tái)； 也有的人將數(shù)據(jù)中臺(tái)當(dāng)做一個(gè)產(chǎn)品，常常拿它與數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行功能比較。
產(chǎn)品導(dǎo)向：這是提供給用戶(hù)的數(shù)據(jù)平臺(tái)、所有特性和功能，是工具和技術(shù)層面的內(nèi)容，負(fù)責(zé)管理、加工、處理、運(yùn)營(yíng)數(shù)據(jù)。 敏捷團(tuán)隊(duì)：這是最重要的、確保數(shù)據(jù)中臺(tái)成功最大的支柱，是實(shí)現(xiàn)新的數(shù)據(jù)運(yùn)營(yíng)模式——DataOps的關(guān)鍵。 數(shù)據(jù)服務(wù)：這是數(shù)據(jù)中臺(tái)的靈魂，通過(guò)數(shù)據(jù)中臺(tái)讓用戶(hù)在不付出大量努力和成本的情況下實(shí)現(xiàn)的結(jié)果，為用戶(hù)提供價(jià)值。 培訓(xùn)賦能：這是讓數(shù)據(jù)用起來(lái)的重要手段，它也是一項(xiàng)服務(wù)可以獨(dú)立突顯價(jià)值。
傾聽(tīng)用戶(hù)（含潛在用戶(hù)）的聲音并嘗試了解他們的需求及用戶(hù)體驗(yàn)。 定義數(shù)據(jù)中臺(tái)的定位和長(zhǎng)期目標(biāo)，數(shù)據(jù)中臺(tái)一定不是一個(gè)通用的工具，每個(gè)企業(yè)的數(shù)據(jù)中臺(tái)都應(yīng)該有自己的“使命”。 全面的數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì)，定義哪些是常用功能，哪些是重要功能，定義盡量簡(jiǎn)化的業(yè)務(wù)場(chǎng)景，方便客戶(hù)實(shí)現(xiàn)目標(biāo)。 以MVP（最小可行產(chǎn)品）方式進(jìn)行開(kāi)發(fā)，及時(shí)與用戶(hù)分享，以獲得用戶(hù)的初步反饋。 循序敏捷開(kāi)發(fā)，不斷優(yōu)化改進(jìn)。 清晰的產(chǎn)品路標(biāo)設(shè)計(jì)，讓老板和關(guān)鍵用戶(hù)能夠看到你現(xiàn)在在哪兒，要到哪去，以及定期獲得用戶(hù)的反饋。 數(shù)據(jù)中臺(tái)的規(guī)劃設(shè)計(jì)，MVP的開(kāi)發(fā)都要一開(kāi)始就致力于為用戶(hù)提供價(jià)值，同時(shí)獲取用戶(hù)的反饋。用戶(hù)需求不是一成不變的，數(shù)據(jù)中臺(tái)必須不斷變化，變化是數(shù)據(jù)中臺(tái)生命周期的一部分。 數(shù)據(jù)中臺(tái)技術(shù)路線最好選擇云原生架構(gòu)，微服務(wù)、DevOps、容器云等將使得數(shù)據(jù)產(chǎn)品的開(kāi)發(fā)變得敏捷。 最后也是最重要的是要記住：數(shù)據(jù)平臺(tái)也好，數(shù)據(jù)中臺(tái)也罷，擁有最好的架構(gòu)并不重要，再好的產(chǎn)品如果沒(méi)有人使用它或者晚了兩年用，那樣就失去意義了。
數(shù)據(jù)整合化，以范式化的主題模型整合異構(gòu)數(shù)據(jù)源數(shù)據(jù)，形成一數(shù)一源（One Data）； 數(shù)據(jù)服務(wù)化，屏蔽上游數(shù)據(jù)結(jié)構(gòu)變化對(duì)下游的影響； 數(shù)據(jù)標(biāo)準(zhǔn)化，統(tǒng)一業(yè)務(wù)和技術(shù)對(duì)數(shù)據(jù)的理解和認(rèn)知。
整合內(nèi)外部數(shù)據(jù)源，提供單線條垂直數(shù)據(jù)服務(wù)能力； 提供貼源的數(shù)據(jù)存儲(chǔ)和服務(wù)，基于批處理或流媒體創(chuàng)建和自動(dòng)化數(shù)據(jù)可靠管道。
統(tǒng)一ID，提供跨系統(tǒng)、跨設(shè)備、統(tǒng)一的數(shù)據(jù)標(biāo)識(shí)（One ID）； 統(tǒng)一標(biāo)簽體系，支持加工和提煉數(shù)據(jù)標(biāo)簽； 統(tǒng)一指標(biāo)體系，支持加工和存儲(chǔ)并提供統(tǒng)一指標(biāo)數(shù)據(jù)； 一般不建議將復(fù)雜的加工萃取數(shù)據(jù)方式放在數(shù)據(jù)中臺(tái)，如計(jì)算引擎，那是數(shù)據(jù)平臺(tái)該干的活兒。
提供多樣的數(shù)據(jù)服務(wù)方式，將數(shù)據(jù)中臺(tái)的數(shù)據(jù)提供給數(shù)據(jù)應(yīng)用方使用； 提供定制化模板服務(wù)，數(shù)據(jù)以約定的格式或復(fù)雜加工后，提供數(shù)據(jù)應(yīng)用方使用。
提供統(tǒng)一的數(shù)據(jù)資產(chǎn)地圖，數(shù)據(jù)目錄和自助數(shù)據(jù)服務(wù)能力； 提供數(shù)據(jù)治理能力，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)和用數(shù)規(guī)范。
支持?jǐn)?shù)據(jù)資產(chǎn)日常運(yùn)營(yíng)，提升數(shù)據(jù)資產(chǎn)價(jià)值； 提升需求響應(yīng)效率，加速應(yīng)用研發(fā)迭代效率。
提供數(shù)據(jù)管理、項(xiàng)目管理、開(kāi)發(fā)管理、運(yùn)營(yíng)管理等支撐能力，為數(shù)據(jù)中臺(tái)的持續(xù)化數(shù)據(jù)服務(wù)保駕護(hù)航。
產(chǎn)品經(jīng)理：負(fù)責(zé)定義業(yè)務(wù)目標(biāo)，維護(hù)和執(zhí)行數(shù)據(jù)愿景、戰(zhàn)略等。 解決方案架構(gòu)師：負(fù)責(zé)定義的需求和要求一致的整體技術(shù)藍(lán)圖。 數(shù)據(jù)工程師：數(shù)據(jù)中臺(tái)的核心技術(shù)團(tuán)隊(duì)，負(fù)責(zé)構(gòu)建整個(gè)數(shù)據(jù)“供應(yīng)鏈”，了解Hadoop、Spark、Kafka等技術(shù)體系架構(gòu)，創(chuàng)建數(shù)據(jù)模型，實(shí)現(xiàn)數(shù)據(jù)采集、流轉(zhuǎn)和存儲(chǔ)，為數(shù)據(jù)集成提供支持。 數(shù)據(jù)治理團(tuán)隊(duì)：負(fù)責(zé)數(shù)據(jù)質(zhì)量和安全的處理和預(yù)防，確保業(yè)務(wù)目標(biāo)的完成。有時(shí)候，也會(huì)將數(shù)據(jù)治理團(tuán)隊(duì)作為DataOps的一個(gè)分支。BI團(tuán)隊(duì)、數(shù)據(jù)科學(xué)家團(tuán)隊(duì)是實(shí)現(xiàn)“DataOps”關(guān)鍵組成，負(fù)責(zé)數(shù)據(jù)的探索、挖掘、分析以及數(shù)據(jù)的可視化。為業(yè)務(wù)問(wèn)題提供支持，幫助理解業(yè)務(wù)問(wèn)題、梳理數(shù)據(jù)結(jié)構(gòu)、優(yōu)化數(shù)據(jù)質(zhì)量等。 業(yè)務(wù)用戶(hù)：提供用數(shù)需求是數(shù)據(jù)中臺(tái)服務(wù)的最終用戶(hù)。業(yè)務(wù)用戶(hù)基于數(shù)據(jù)中臺(tái)的自助服務(wù)能力，進(jìn)行數(shù)據(jù)的探查、探索，以及自助式數(shù)據(jù)分析。
參與培訓(xùn)的學(xué)員，往往將培訓(xùn)當(dāng)成為一個(gè)臨時(shí)的任務(wù)，他們中的一部分還有很多工作，所以他們并沒(méi)有完全專(zhuān)注于培訓(xùn)的課程。 一部分學(xué)員在培訓(xùn)過(guò)程中，經(jīng)常受到其他事項(xiàng)的干擾，導(dǎo)致沒(méi)有完成完整的課程。 即使部分學(xué)員完成了完整的課程，可一旦正式使用還是不會(huì)用。 那么，這些培訓(xùn)是不必要的嗎？當(dāng)然不是，但您可能需要調(diào)整一下培訓(xùn)的方法和內(nèi)容。實(shí)戰(zhàn)例子、參考代碼、練習(xí)，全程的支持，將傳統(tǒng)“授課式”培訓(xùn)轉(zhuǎn)變?yōu)椤皩?shí)戰(zhàn)式”培訓(xùn)，并及時(shí)獲得反饋。
評(píng)論
圖片
表情