當(dāng)前，大部分企業(yè)不再建設(shè)從源數(shù)據(jù)采集到分析應(yīng)用的煙囪式系統(tǒng)，更傾向于數(shù)據(jù)集中采集、存儲(chǔ)，并應(yīng)用分層建設(shè)。這種方式一方面有利于應(yīng)用系統(tǒng)的快速部署，另一方面也保證了數(shù)據(jù)的集中管理與運(yùn)營(yíng)，體現(xiàn)數(shù)據(jù)的資產(chǎn)、資源屬性。筆者根據(jù)個(gè)人數(shù)據(jù)中臺(tái)的工作實(shí)踐和學(xué)習(xí)以及思考總結(jié)，撰寫(xiě)成本文數(shù)據(jù)中臺(tái)知識(shí)體系

一.數(shù)據(jù)中臺(tái)是什么

01 定義

數(shù)據(jù)中臺(tái)是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來(lái)”的機(jī)制，是一種戰(zhàn)略選擇和組織形式，是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)，通過(guò)有形的產(chǎn)品和實(shí)施方法論支撐，構(gòu)建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制

數(shù)據(jù)中臺(tái)是處于業(yè)務(wù)前臺(tái)和技術(shù)后臺(tái)的中間層，是對(duì)業(yè)務(wù)提供的數(shù)據(jù)能力的抽象和共享的過(guò)程，數(shù)據(jù)中臺(tái)通過(guò)將企業(yè)的數(shù)據(jù)變成數(shù)據(jù)資產(chǎn)，并提供數(shù)據(jù)能力組件和運(yùn)行機(jī)制，形成聚合數(shù)據(jù)接入、集成、清洗加工、建模處理、挖掘分析，并以共享服務(wù)的方式將數(shù)據(jù)提供給業(yè)務(wù)端使用，從而與業(yè)務(wù)產(chǎn)生聯(lián)動(dòng)，而后結(jié)合業(yè)務(wù)系統(tǒng)的數(shù)據(jù)生產(chǎn)能力，最終構(gòu)建數(shù)據(jù)生產(chǎn)>消費(fèi)>再生的閉環(huán)，通過(guò)這樣持續(xù)使用數(shù)據(jù)、產(chǎn)生智能、反哺業(yè)務(wù)從而實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)的系統(tǒng)和機(jī)制。

02 本質(zhì)

數(shù)據(jù)中臺(tái)服務(wù)于數(shù)字化轉(zhuǎn)型，而企業(yè)數(shù)字化轉(zhuǎn)型的終局是傳統(tǒng)業(yè)務(wù)變成數(shù)字化業(yè)務(wù)，數(shù)字化業(yè)務(wù)的本質(zhì)就是以數(shù)據(jù)作為新生產(chǎn)要素進(jìn)行加工，構(gòu)建以數(shù)據(jù)作為主要存在形式的產(chǎn)品，產(chǎn)生商業(yè)價(jià)值的業(yè)務(wù)模型。

因此數(shù)據(jù)中臺(tái)的本質(zhì)更像一種企業(yè)架構(gòu)，是一套互聯(lián)網(wǎng)技術(shù)和行業(yè)特性，在企業(yè)發(fā)展的不確定性中，尋找確定性，并且持續(xù)沉淀和提煉企業(yè)核心能力，最終支持企業(yè)快速、高效、低成本進(jìn)行業(yè)務(wù)創(chuàng)新和增強(qiáng)的企業(yè)架構(gòu)。

03 數(shù)據(jù)中臺(tái)、數(shù)倉(cāng)、大數(shù)據(jù)平臺(tái)的區(qū)別

1）數(shù)據(jù)中臺(tái)VS數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)的主要場(chǎng)景是支持管理決策和業(yè)務(wù)分析，而數(shù)據(jù)中臺(tái)則是將數(shù)據(jù)服務(wù)化之后提供給業(yè)務(wù)系統(tǒng)，目標(biāo)是將數(shù)據(jù)能力滲透到各個(gè)業(yè)務(wù)環(huán)節(jié)，不限于決策分析類(lèi)場(chǎng)景。數(shù)據(jù)中臺(tái)持續(xù)不斷地將數(shù)據(jù)進(jìn)行資產(chǎn)化、價(jià)值化并應(yīng)用到業(yè)務(wù)，而且關(guān)注數(shù)據(jù)價(jià)值的運(yùn)營(yíng)。

數(shù)據(jù)中臺(tái)建設(shè)包含數(shù)據(jù)體系建設(shè)，也就是數(shù)據(jù)中臺(tái)包含數(shù)據(jù)倉(cāng)庫(kù)的完整內(nèi)容，數(shù)據(jù)中臺(tái)將企業(yè)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的投入價(jià)值進(jìn)行最大化，以加快數(shù)據(jù)賦能業(yè)務(wù)的速度，為業(yè)務(wù)提供速度更快、更多樣的數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺(tái)也可以將已建好的數(shù)據(jù)倉(cāng)庫(kù)當(dāng)成數(shù)據(jù)源，對(duì)接已有數(shù)據(jù)建設(shè)成果，避免重復(fù)建設(shè)。當(dāng)然也可以基于數(shù)據(jù)中臺(tái)提供的能力，通過(guò)匯聚、加工、治理各類(lèi)數(shù)據(jù)源，構(gòu)建全新的離線或?qū)崟r(shí)數(shù)據(jù)倉(cāng)庫(kù)。

2）數(shù)據(jù)中臺(tái)vs大數(shù)據(jù)平臺(tái)

大數(shù)據(jù)基礎(chǔ)能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、Elasticsearch等。在大數(shù)據(jù)組件上搭建的ETL流水線，包括數(shù)據(jù)分析、機(jī)器學(xué)習(xí)程序。數(shù)據(jù)治理系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。數(shù)據(jù)可視化系統(tǒng)。

數(shù)據(jù)中臺(tái)應(yīng)該是大數(shù)據(jù)平臺(tái)的一個(gè)超集。在大數(shù)據(jù)平臺(tái)的基礎(chǔ)之上，數(shù)據(jù)中臺(tái)還應(yīng)該提供下面的系統(tǒng)功能：

全局的數(shù)據(jù)應(yīng)用資產(chǎn)管理
全局的數(shù)據(jù)治理機(jī)制
自助的、多租戶的數(shù)據(jù)應(yīng)用開(kāi)發(fā)及發(fā)布
數(shù)據(jù)應(yīng)用運(yùn)維
數(shù)據(jù)應(yīng)用集成
數(shù)據(jù)即服務(wù)，模型即服務(wù)
數(shù)據(jù)能力共享管理
完善的運(yùn)營(yíng)指標(biāo)

二.數(shù)據(jù)中臺(tái)核心能力

數(shù)據(jù)中臺(tái)需要具備數(shù)據(jù)匯聚整合、數(shù)據(jù)提純加工、數(shù)據(jù)服務(wù)可視化、數(shù)據(jù)價(jià)值變現(xiàn)４個(gè)核心能力，讓企業(yè)員工、客戶、伙伴能夠方便地應(yīng)用數(shù)據(jù)。

1、匯聚整合（數(shù)據(jù)治理-數(shù)據(jù)整合和管理能力）

數(shù)據(jù)豐富和完善：多樣的數(shù)據(jù)源進(jìn)行合并和完善
管理易用：可視化任務(wù)配置、豐富的監(jiān)控管理功能
數(shù)據(jù)集成運(yùn)營(yíng)：數(shù)據(jù)接入、轉(zhuǎn)換、寫(xiě)入或緩存內(nèi)部來(lái)源的各來(lái)源數(shù)據(jù)
數(shù)據(jù)目錄與治理：用戶可以方便定位所需數(shù)據(jù)，理解數(shù)據(jù)（技術(shù)/業(yè)務(wù)治理）
數(shù)據(jù)安全：確保數(shù)據(jù)的訪問(wèn)權(quán)限
數(shù)據(jù)可用：用戶可簡(jiǎn)便、可擴(kuò)展的訪問(wèn)異構(gòu)數(shù)據(jù)，可用性和易用性高
部署靈活：本地、公有云、私有云等多種部署方式

2、提純加工（數(shù)據(jù)資產(chǎn)化——數(shù)據(jù)提煉與分析加工能力）

完善的安全訪問(wèn)控制
完善的數(shù)據(jù)質(zhì)量保障體系
規(guī)范的、緊密結(jié)合業(yè)務(wù)的可擴(kuò)展的標(biāo)簽體系
面向業(yè)務(wù)主題的資產(chǎn)平臺(tái)
智能的數(shù)據(jù)映射能力，簡(jiǎn)化數(shù)據(jù)資產(chǎn)生成

3、服務(wù)可視化（數(shù)據(jù)資產(chǎn)服務(wù)化能力）

提供自然語(yǔ)言等人工智能服務(wù)
提供豐富的數(shù)據(jù)分析功能
提供友好的數(shù)據(jù)可視化服務(wù)
便捷、快速的服務(wù)開(kāi)發(fā)環(huán)境，方便業(yè)務(wù)人員開(kāi)發(fā)數(shù)據(jù)應(yīng)用
提供實(shí)時(shí)流數(shù)據(jù)分析
提供預(yù)測(cè)分析、機(jī)器學(xué)習(xí)等高級(jí)服務(wù)

4、價(jià)值變現(xiàn)

提供數(shù)據(jù)應(yīng)用的管理能力
提供數(shù)據(jù)洞察直接驅(qū)動(dòng)業(yè)務(wù)行動(dòng)的通路
提供跨行業(yè)務(wù)場(chǎng)景的能力
提供跨部門(mén)的普適性業(yè)務(wù)價(jià)值能力
提供基于場(chǎng)景的數(shù)據(jù)應(yīng)用
提供業(yè)務(wù)行動(dòng)效果評(píng)估功能

三.數(shù)據(jù)中臺(tái)的價(jià)值

數(shù)據(jù)中臺(tái)價(jià)值如下：

1）業(yè)務(wù)價(jià)值（業(yè)務(wù)創(chuàng)新，形成核心壁壘）

1、以客戶為中心，用洞察驅(qū)動(dòng)企業(yè)穩(wěn)健行動(dòng)

2、以數(shù)據(jù)為基礎(chǔ)，直系大規(guī)模商業(yè)模式創(chuàng)新

3、盤(pán)活全量數(shù)據(jù)，構(gòu)筑堅(jiān)實(shí)壁壘已持續(xù)領(lǐng)先

2）技術(shù)價(jià)值（成本低、能力多、應(yīng)用廣）

1、應(yīng)對(duì)多數(shù)據(jù)處理的需求

2、豐富標(biāo)簽數(shù)據(jù)，減低管理成本

3、數(shù)據(jù)價(jià)值能體現(xiàn)業(yè)務(wù)系統(tǒng)效果而不僅是準(zhǔn)確度

4、支持跨主題域訪問(wèn)數(shù)據(jù)

5、數(shù)據(jù)可以快速?gòu)?fù)用、不僅是復(fù)制

總結(jié)：數(shù)據(jù)中臺(tái)是把業(yè)務(wù)生產(chǎn)資料轉(zhuǎn)變?yōu)閿?shù)據(jù)生產(chǎn)力，同時(shí)數(shù)據(jù)生產(chǎn)力反哺業(yè)務(wù)，不斷迭代循環(huán)的閉環(huán)過(guò)程——數(shù)據(jù)驅(qū)動(dòng)決策、運(yùn)營(yíng)

四.數(shù)據(jù)中臺(tái)要解決什么問(wèn)題

1.指標(biāo)口徑不一致

通常表現(xiàn)在3個(gè)方面：業(yè)務(wù)口徑不一致、計(jì)算邏輯不一致、數(shù)據(jù)來(lái)源不一致。

業(yè)務(wù)口徑不一致：業(yè)務(wù)口徑不一致的指標(biāo)，應(yīng)該要有不同的標(biāo)識(shí)去區(qū)分，比如上面提到的銷(xiāo)售額這一指標(biāo)，明明口徑是不一致的，但卻沒(méi)有區(qū)分，容易讓業(yè)務(wù)誤解。
計(jì)算邏輯不一致：業(yè)務(wù)口徑的描述往往是一段話，但對(duì)于一些計(jì)算邏輯比較復(fù)雜的指標(biāo)，一段話通常是描述不清楚的，如果碰巧兩個(gè)相同業(yè)務(wù)口徑的指標(biāo)是不同的數(shù)據(jù)研發(fā)實(shí)現(xiàn)的，極有可能會(huì)出現(xiàn)計(jì)算邏輯不一致的情況。
數(shù)據(jù)來(lái)源不一致：對(duì)于部分指標(biāo)，有多個(gè)數(shù)據(jù)源可供選擇，如果數(shù)據(jù)源正好有些細(xì)微差異不被發(fā)現(xiàn)時(shí)，即使加工邏輯一樣，也有可能結(jié)果不一致。另外，實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)也會(huì)有一定差異。

因此，要實(shí)現(xiàn)一致性，就要確保對(duì)同一個(gè)指標(biāo)，只有一個(gè)業(yè)務(wù)口徑，只加工一次，且數(shù)據(jù)來(lái)源必須一致。

2.煙囪式建設(shè)數(shù)據(jù)平臺(tái)，大量源被浪費(fèi)，響應(yīng)速度慢

主要在于煙囪式的開(kāi)發(fā)模式，使得數(shù)據(jù)復(fù)用性低，導(dǎo)致大量重復(fù)邏輯代碼的研發(fā)，影響需求響應(yīng)速度。

比如，兩個(gè)指標(biāo)都需要對(duì)同一份原始數(shù)據(jù)進(jìn)行清洗，原則上來(lái)說(shuō)，只用一個(gè)任務(wù)對(duì)原始數(shù)據(jù)做清洗，產(chǎn)出一張明細(xì)表，另一個(gè)指標(biāo)開(kāi)發(fā)時(shí)，便可直接引用已經(jīng)清洗好的明細(xì)表，這樣便可節(jié)省一個(gè)清洗邏輯的研發(fā)工作量。但現(xiàn)實(shí)往往是對(duì)同一份原始數(shù)據(jù)做了兩次清洗。因此，要解決需求響應(yīng)速度慢的問(wèn)題，就要提升數(shù)據(jù)的復(fù)用性，確保相同數(shù)據(jù)只加工一次，實(shí)現(xiàn)數(shù)據(jù)的共享。

3.取數(shù)效率低

主要表現(xiàn)在兩個(gè)方面，一方面是找不到數(shù)據(jù)，另一方面是取不到數(shù)據(jù)。要解決找不到數(shù)據(jù)的問(wèn)題，就要構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)目錄，讓數(shù)據(jù)使用者快速找到并理解數(shù)據(jù)。取不到數(shù)據(jù)的主要是非技術(shù)人員不會(huì)寫(xiě)SQL去提取數(shù)據(jù)，所以可以為其提供自助取數(shù)工具，使其簡(jiǎn)單快速的獲取數(shù)據(jù)。

4.數(shù)據(jù)質(zhì)量低

面對(duì)業(yè)務(wù)已經(jīng)沉淀的大量數(shù)據(jù)，逐步形成了企業(yè)的數(shù)據(jù)資產(chǎn)。而這些數(shù)據(jù)資產(chǎn)如何成為可持續(xù)使用的，為企業(yè)帶來(lái)價(jià)值的數(shù)據(jù)，需要數(shù)據(jù)治理進(jìn)行提升數(shù)據(jù)質(zhì)量，比如設(shè)計(jì)數(shù)據(jù)質(zhì)量校驗(yàn)的規(guī)則和使用流程，設(shè)計(jì)數(shù)據(jù)管控權(quán)限，數(shù)據(jù)如何安全輸出及共享的設(shè)計(jì)等，如何在整體上發(fā)揮出數(shù)據(jù)的協(xié)同效應(yīng)，為業(yè)務(wù)提供更高價(jià)值的數(shù)據(jù)服務(wù)鏈路，數(shù)據(jù)中臺(tái)可以將這些數(shù)據(jù)能力整合到一起，對(duì)業(yè)務(wù)端提供穩(wěn)定的持續(xù)的服務(wù)能力。

五.什么企業(yè)適合做數(shù)據(jù)中臺(tái)

數(shù)據(jù)中臺(tái)的構(gòu)建需要大量人力物力的投入，所以數(shù)據(jù)中臺(tái)的建設(shè)一定要結(jié)合企業(yè)的現(xiàn)狀，按需選擇，不可盲目跟風(fēng)。因此，企業(yè)在選擇是否構(gòu)建數(shù)據(jù)中臺(tái)的時(shí)，可以從以下幾個(gè)方面思考：

首先，看企業(yè)是否有一定的數(shù)據(jù)基礎(chǔ)，是否實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)化的過(guò)程，有了一定的數(shù)據(jù)沉淀，數(shù)據(jù)中臺(tái)，顧名思義，數(shù)據(jù)是基礎(chǔ)；

其次，企業(yè)是否存在業(yè)務(wù)數(shù)據(jù)孤島，是否有需要整合各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行關(guān)聯(lián)分析的需求，如果有，需要通過(guò)構(gòu)建數(shù)據(jù)中臺(tái)，打通數(shù)據(jù)孤島，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，滿足關(guān)聯(lián)分析的需求。比如某零售企業(yè)，在業(yè)務(wù)發(fā)展初期，商品、銷(xiāo)售、供應(yīng)鏈等都是獨(dú)立的數(shù)據(jù)倉(cāng)庫(kù)，后期要構(gòu)建智能補(bǔ)貨系統(tǒng)，需要打通多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，因此選擇建設(shè)數(shù)據(jù)中臺(tái)；

最后，在日常的數(shù)據(jù)使用過(guò)程中是否遇到指標(biāo)口徑不一致、需求響應(yīng)速度慢、數(shù)據(jù)質(zhì)量差、數(shù)據(jù)成本高等痛點(diǎn)，如果滿足前兩個(gè)條件，且在數(shù)據(jù)應(yīng)用中存在以上所述的一些痛點(diǎn)，那建議你可以考慮將數(shù)據(jù)中臺(tái)項(xiàng)目提上日程了。

六.數(shù)據(jù)中臺(tái)怎么建設(shè)

01 入手點(diǎn)

應(yīng)從面向“業(yè)務(wù)價(jià)值”入手，簡(jiǎn)單來(lái)講就是，面向應(yīng)用更有目標(biāo)性，能更早地發(fā)揮數(shù)據(jù)的價(jià)值，讓企業(yè)客戶的數(shù)字化轉(zhuǎn)型路徑不再是一個(gè)漫長(zhǎng)的周期建設(shè)，而是一個(gè)逐步演進(jìn)的過(guò)程。換一個(gè)更好的理解方式，其實(shí)是面向企業(yè)客戶實(shí)際需求，以及業(yè)務(wù)價(jià)值構(gòu)建數(shù)據(jù)中臺(tái)。

首先，上數(shù)據(jù)中臺(tái)的最好是業(yè)務(wù)發(fā)展或變化快速的部門(mén)，因?yàn)檫@些業(yè)務(wù)上中臺(tái)，一是ROI容易成正比，二也能充分發(fā)揮數(shù)據(jù)的價(jià)值，容易得到各方認(rèn)可；

其次，一開(kāi)始不一定就得從統(tǒng)一數(shù)據(jù)口徑入手，是不是可以先容忍數(shù)據(jù)層面一定程度的混亂，驗(yàn)證價(jià)值。當(dāng)業(yè)務(wù)發(fā)展起來(lái)后，再去治理它，這很大程度上符合敏捷的理念，也符合很多企業(yè)的實(shí)際情況。

然后，針對(duì)業(yè)務(wù)價(jià)值或?qū)嶋H存在的問(wèn)題提供服務(wù)，務(wù)實(shí)而非務(wù)虛。比如，①先上專家或架構(gòu)師，進(jìn)行項(xiàng)目診斷；②用產(chǎn)品和解決方案，走通關(guān)鍵路徑；③當(dāng)核心業(yè)務(wù)問(wèn)題被解決后，也有一些事情是需要客戶自己來(lái)完成，這時(shí)也能夠針對(duì)性提供一些咨詢服務(wù)。

02 匹配企業(yè)數(shù)字化進(jìn)程

建設(shè)數(shù)據(jù)中臺(tái)要遵循企業(yè)數(shù)字化進(jìn)程各階段的要求，因此，企業(yè)數(shù)字化發(fā)展可以分為數(shù)據(jù)匯集、融合、開(kāi)放、智能化處理幾個(gè)階段。

第一階段，對(duì)于本身已經(jīng)覆蓋較多信息系統(tǒng)的企業(yè)，需要考慮把有關(guān)數(shù)據(jù)匯聚到一起。而對(duì)于信息化程度相對(duì)偏低的企業(yè)，則要實(shí)現(xiàn)企業(yè)業(yè)務(wù)的在線化；

第二階段，需要企業(yè)評(píng)估其自身數(shù)據(jù)是否已經(jīng)實(shí)現(xiàn)了有機(jī)地融合。所謂的“融合”指的是企業(yè)通過(guò)一種標(biāo)準(zhǔn)把各個(gè)系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行有效的資產(chǎn)化。也就是說(shuō)，這個(gè)階段企業(yè)需要完成數(shù)據(jù)治理和歸集工作；

第三階段，涉及數(shù)據(jù)的開(kāi)放，即企業(yè)需要有專門(mén)的部門(mén)把歸集以后的數(shù)據(jù)開(kāi)放給內(nèi)部各個(gè)部門(mén)，讓各部門(mén)了解企業(yè)的數(shù)據(jù)資產(chǎn)情況，從而更好地實(shí)現(xiàn)企業(yè)基于數(shù)據(jù)的服務(wù)提升與創(chuàng)新。有條件的企業(yè)再把數(shù)據(jù)開(kāi)放給生態(tài)鏈上下游的企業(yè)，實(shí)現(xiàn)服務(wù)創(chuàng)新、協(xié)作方式的重構(gòu)，從而形成更大范圍的協(xié)同；

第四階段，指的是利用數(shù)據(jù)進(jìn)行智能化處理。眾所周知，企業(yè)通過(guò)機(jī)器學(xué)習(xí)等人工智能的方式進(jìn)行數(shù)據(jù)處理，可以創(chuàng)造出十分廣闊的增值空間，就像尋找礦產(chǎn)資源一樣，通過(guò)數(shù)據(jù)智能的方式，企業(yè)可以從前所未有的角度挖掘出全新的數(shù)據(jù)價(jià)值。

以上的數(shù)字化進(jìn)程對(duì)于計(jì)劃實(shí)施數(shù)字化戰(zhàn)略的企業(yè)而言，是相對(duì)比較適合的一個(gè)過(guò)程。同時(shí)，由于各企業(yè)的實(shí)際情況不同，各自的戰(zhàn)略也會(huì)有所差別。大型企業(yè)建設(shè)中臺(tái)主要需要考慮轉(zhuǎn)體系問(wèn)題，即企業(yè)應(yīng)從整個(gè)組織、商業(yè)模式、戰(zhàn)略協(xié)同方面，開(kāi)展全面的改造，即三個(gè)全：全在線、全鏈接、全協(xié)同。而發(fā)展中企業(yè)則需要先考慮“工具化”問(wèn)題，即企業(yè)可以借助數(shù)據(jù)平臺(tái)、工具，首先實(shí)現(xiàn)業(yè)務(wù)的在線化，然后再考慮基于數(shù)據(jù)的服務(wù)提升。

03 數(shù)據(jù)中臺(tái)架構(gòu)

從數(shù)據(jù)處理與數(shù)據(jù)治理兩個(gè)維度出發(fā)，可以設(shè)計(jì)一個(gè)解耦的數(shù)據(jù)中臺(tái)體系架構(gòu)。該數(shù)據(jù)中臺(tái)體系架構(gòu)具有一定的柔性，可按照企業(yè)應(yīng)用需求進(jìn)行組合，或者對(duì)單個(gè)模塊進(jìn)行擴(kuò)充，能滿足大多數(shù)企業(yè)數(shù)據(jù)中臺(tái)建設(shè)的需求。

數(shù)據(jù)中臺(tái)的通用體系架構(gòu)如圖所示。該中臺(tái)體系架構(gòu)以減少功能冗余和提高功能復(fù)用為原則，把數(shù)據(jù)中臺(tái)解耦為 6 個(gè)可以分別獨(dú)立建設(shè)、演進(jìn)的功能子系統(tǒng)。

數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)處理子系統(tǒng)是數(shù)據(jù)中臺(tái)體系架構(gòu)的核心，數(shù)據(jù)治理是提升數(shù)據(jù)價(jià)值的重要手段。該數(shù)據(jù)中臺(tái)體系架構(gòu)的通用性表現(xiàn)在以下幾點(diǎn)：

（1）該數(shù)據(jù)中臺(tái)體系架構(gòu)綜合考慮了數(shù)據(jù)中臺(tái)的各種要素，參考這個(gè)架構(gòu)進(jìn)行建設(shè)可以有效提升數(shù)據(jù)資產(chǎn)價(jià)值，提供數(shù)據(jù)及服務(wù)的共享。

（2）參考這個(gè)數(shù)據(jù)中臺(tái)體系架構(gòu)，企業(yè)可以一次規(guī)劃、分步實(shí)施。首先建設(shè)處理子系統(tǒng)及數(shù)據(jù)存儲(chǔ)子系統(tǒng)，然后根據(jù)業(yè)務(wù)發(fā)展需求，逐步補(bǔ)充數(shù)據(jù)采集、數(shù)據(jù)安全及數(shù)據(jù)治理子系統(tǒng)。

（3）該數(shù)據(jù)中臺(tái)由 6 個(gè)解耦的子系統(tǒng)組成。企業(yè)在立項(xiàng)建設(shè)時(shí)可以靈活組合，每個(gè)子系統(tǒng)單獨(dú)招標(biāo)建設(shè)，也可以把多個(gè)子系統(tǒng)合并招標(biāo)建設(shè)。數(shù)據(jù)中臺(tái)通用體系架構(gòu)包含數(shù)據(jù)采集框架、數(shù)據(jù)存儲(chǔ)框架、數(shù)據(jù)處理框架、數(shù)據(jù)治理框架、數(shù)據(jù)安全框架及數(shù)據(jù)運(yùn)營(yíng)框架等 6 大部分。

1）數(shù)據(jù)采集框架

數(shù)據(jù)中臺(tái)的采集框架應(yīng)對(duì)納入數(shù)據(jù)中臺(tái)的各種源數(shù)據(jù)進(jìn)行統(tǒng)一采集管理。數(shù)據(jù)采集框架中應(yīng)提供多種數(shù)據(jù)采集方式，如文件傳輸協(xié)議采集、數(shù)據(jù)庫(kù)采集、接口應(yīng)用程序接入采集、流式采集及網(wǎng)絡(luò)爬蟲(chóng)采集。

同時(shí)采集框架應(yīng)按照數(shù)據(jù)采集規(guī)范對(duì)源數(shù)據(jù)進(jìn)行預(yù)處理，從而去除明顯不需要的數(shù)據(jù)及多余數(shù)據(jù)，并對(duì)采集過(guò)程進(jìn)行管理。雖然數(shù)據(jù)中臺(tái)的體系架構(gòu)沒(méi)有統(tǒng)一模板，但各企業(yè)數(shù)據(jù)采集框架基本一致。

2）數(shù)據(jù)存儲(chǔ)框架

數(shù)據(jù)中臺(tái)的核心是數(shù)據(jù)，數(shù)據(jù)通過(guò)采集系統(tǒng)獲取，然后數(shù)據(jù)經(jīng)過(guò)處理框架加工，并接受數(shù)據(jù)治理框架的管理，同時(shí)也要接受數(shù)據(jù)安全管理框架的管理，最后開(kāi)放的價(jià)值數(shù)據(jù)將通過(guò)數(shù)據(jù)運(yùn)營(yíng)框架對(duì)外提供數(shù)據(jù)服務(wù)。

數(shù)據(jù)中臺(tái)的數(shù)據(jù)架構(gòu)應(yīng)該獨(dú)立規(guī)劃，并采用合理的技術(shù)架構(gòu)對(duì)不同類(lèi)型的數(shù)據(jù)進(jìn)行存儲(chǔ)。數(shù)據(jù)存儲(chǔ)框架中，無(wú)論數(shù)據(jù)采用對(duì)象存儲(chǔ)、塊存儲(chǔ)還是數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)，各種中臺(tái)數(shù)據(jù)可按照上圖所示分類(lèi)管理。

源數(shù)據(jù)主要由采集框架進(jìn)行管理，數(shù)據(jù)治理框架按照數(shù)據(jù)特征把數(shù)據(jù)簡(jiǎn)單分為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)兩大類(lèi)，而規(guī)范化分域數(shù)據(jù)則是數(shù)據(jù)治理框架對(duì)全量數(shù)據(jù)的規(guī)范化分域整理。寬表數(shù)據(jù)是數(shù)據(jù)關(guān)聯(lián)的結(jié)果，利用寬表數(shù)據(jù)可以對(duì)人、事、地、物、組等對(duì)象進(jìn)行完整的數(shù)據(jù)畫(huà)像，同時(shí)寬表數(shù)據(jù)也可以作為上層模型數(shù)據(jù)的中間層數(shù)據(jù)。

元數(shù)據(jù)和標(biāo)簽數(shù)據(jù)都是對(duì)數(shù)據(jù)的描述，其中元數(shù)據(jù)用來(lái)對(duì)數(shù)據(jù)的客觀屬性進(jìn)行表示，標(biāo)簽數(shù)據(jù)更傾向于管理者對(duì)數(shù)據(jù)的主觀表述及等級(jí)劃分，比如質(zhì)量等級(jí)標(biāo)簽、安全標(biāo)簽、屬性標(biāo)簽等。主數(shù)據(jù)需要在各系統(tǒng)間頻繁更新、交換，且需要獨(dú)立的存儲(chǔ)空間進(jìn)行維護(hù)管理。

3）數(shù)據(jù)處理框架

數(shù)據(jù)處理是每個(gè)數(shù)據(jù)應(yīng)用的基本環(huán)節(jié)之一，經(jīng)典的數(shù)據(jù)抽取、轉(zhuǎn)換和加載（ETL）處理流程在數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)整合、數(shù)據(jù)建模等多個(gè)地方均要使用。單獨(dú)建設(shè)數(shù)據(jù)處理框架有利于數(shù)據(jù)處理工具組件的集中開(kāi)發(fā)與管理，也有利于數(shù)據(jù)中臺(tái)數(shù)據(jù)處理任務(wù)的協(xié)調(diào)與調(diào)度。

數(shù)據(jù)處理框架專門(mén)負(fù)責(zé)數(shù)據(jù)處理相關(guān)的任務(wù)，包括批處理、流處理、人工智能分析、數(shù)據(jù)清洗、數(shù)據(jù)交換及查詢，此外數(shù)據(jù)處理的相關(guān)工具組件可在處理框架中配置。任務(wù)調(diào)度模塊在數(shù)據(jù)處理框架中處于居中指揮的作用，并對(duì)運(yùn)行的數(shù)據(jù)處理任務(wù)進(jìn)行監(jiān)控及異常處理等操作。

4）數(shù)據(jù)治理框架

廣義的數(shù)據(jù)治理不僅包含提升數(shù)據(jù)價(jià)值的內(nèi)容，如數(shù)據(jù)管理、數(shù)據(jù)目錄、數(shù)據(jù)質(zhì)量等，也包含數(shù)據(jù)安全管理及數(shù)據(jù)共享服務(wù)。

數(shù)據(jù)安全管理與數(shù)據(jù)價(jià)值提升是一個(gè)矛盾體，如果由一個(gè)廠商或開(kāi)發(fā)團(tuán)隊(duì)進(jìn)行數(shù)據(jù)安全管理及數(shù)據(jù)價(jià)值提升相關(guān)軟件的開(kāi)發(fā)，則開(kāi)發(fā)者的操作難免有所偏向，而且矛盾不容易公開(kāi)，少了沖突也就少了優(yōu)質(zhì)的解決方案。

另外，數(shù)據(jù)共享與數(shù)據(jù)治理的其他內(nèi)容也存在相同的問(wèn)題。因此，本文建議數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理框架中不包含數(shù)據(jù)安全與共享的相關(guān)內(nèi)容。

數(shù)據(jù)治理框架包含數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)管理、模型管理和數(shù)據(jù)質(zhì)量 4 個(gè)模塊：

（1）數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)目錄、知識(shí)圖譜及數(shù)據(jù)血緣的主要作用是展示數(shù)據(jù)的屬性及相互關(guān)系，因此都納入數(shù)據(jù)目錄模塊。

（2）數(shù)據(jù)模型能提高數(shù)據(jù)中臺(tái)對(duì)外部應(yīng)用需求的反應(yīng)能力，固化的中間模型數(shù)據(jù)需要專門(mén)管理。模型管理包括模型目錄、模型血緣及模型地圖等。

（3）數(shù)據(jù)管理又可以細(xì)分為元數(shù)據(jù)管理、主數(shù)據(jù)管理、標(biāo)簽數(shù)據(jù)管理及源數(shù)據(jù)管理。

（4）數(shù)據(jù)質(zhì)量管理模塊按照制定的數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)稽核規(guī)則對(duì)數(shù)據(jù)中臺(tái)中的數(shù)據(jù)進(jìn)行質(zhì)量管理。

5）數(shù)據(jù)安全框架

數(shù)據(jù)已經(jīng)成為數(shù)據(jù)資產(chǎn)，數(shù)據(jù)安全框架是數(shù)據(jù)中臺(tái)必不可少的組成部分。數(shù)據(jù)安全疊加在數(shù)據(jù)中臺(tái)其他功能框架之上，數(shù)據(jù)采集、處理、交換、共享等每個(gè)環(huán)節(jié)均必須實(shí)施安全控制策略。安全框架可以分為日志管理、用戶認(rèn)證、權(quán)限管理及加解密等幾個(gè)功能模塊。

此外，安全全門(mén)戶也可以對(duì)外提供安全能力封裝，展示數(shù)據(jù)中臺(tái)的安全態(tài)勢(shì)及安全視圖。

6）數(shù)據(jù)運(yùn)營(yíng)框架

數(shù)據(jù)中臺(tái)的核心功能是綜合眾多數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理及數(shù)據(jù)治理功能，集中建設(shè)、集中管理、減少冗余、增加復(fù)用。數(shù)據(jù)中臺(tái)的最終目的還是為其他應(yīng)用或開(kāi)發(fā)者提供數(shù)據(jù)服務(wù)，而對(duì)外數(shù)據(jù)服務(wù)功能將直接面向不確定的外部對(duì)象。

因此單獨(dú)建設(shè)數(shù)據(jù)運(yùn)營(yíng)，一方面有利于針對(duì)外部用戶提供針對(duì)性功能；另一方面，數(shù)據(jù)運(yùn)營(yíng)模塊作為用戶與數(shù)據(jù)中臺(tái)核心數(shù)據(jù)服務(wù)之間的中間層，可以有效隔離外部用戶直接控制、接觸核心數(shù)據(jù)及應(yīng)用，可保護(hù)數(shù)據(jù)中臺(tái)的安全性及內(nèi)部功能的穩(wěn)定性。

綜合以上因素，數(shù)據(jù)運(yùn)營(yíng)應(yīng)配置運(yùn)營(yíng)門(mén)戶、能力開(kāi)放、數(shù)據(jù)開(kāi)放及運(yùn)營(yíng)監(jiān)控等功能：

（1）運(yùn)營(yíng)門(mén)戶：對(duì)數(shù)據(jù)中臺(tái)管理者提供管理門(mén)戶，對(duì)開(kāi)發(fā)者提供開(kāi)發(fā)者門(mén)戶。對(duì)內(nèi)部應(yīng)用提供內(nèi)部應(yīng)用門(mén)戶，對(duì)外部應(yīng)用提供外部應(yīng)用門(mén)戶。運(yùn)營(yíng)門(mén)戶針對(duì)不同的用戶提供不同的通道并開(kāi)放不同的數(shù)據(jù)中臺(tái)能力。

（2）能力開(kāi)放：把數(shù)據(jù)中臺(tái)的數(shù)據(jù)處理能力、數(shù)據(jù)分析能力等經(jīng)過(guò)適當(dāng)?shù)姆庋b后對(duì)用戶提供服務(wù)，可以是微服務(wù)，也可以是 API 接口，或者直接提供二次開(kāi)發(fā)能力。

（3）數(shù)據(jù)開(kāi)放：通過(guò)數(shù)據(jù)目錄，數(shù)據(jù)/模型展示（可視化、數(shù)據(jù)視圖等）為其他數(shù)據(jù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)。

（4）運(yùn)營(yíng)監(jiān)控：對(duì)數(shù)據(jù)中臺(tái)的總體運(yùn)營(yíng)情況進(jìn)行監(jiān)控管理，包括硬件環(huán)境、軟件環(huán)境，并且確定監(jiān)控指標(biāo)，按需求提供運(yùn)營(yíng)日?qǐng)?bào)，處理告警信息。

七.數(shù)據(jù)中臺(tái)發(fā)展趨勢(shì)

1、標(biāo)準(zhǔn)化與市場(chǎng)下沉

數(shù)據(jù)中臺(tái)的核心在于共享和沉淀能力，隨著數(shù)據(jù)中臺(tái)在行業(yè)頭部及領(lǐng)先企業(yè)逐漸落地，供應(yīng)商經(jīng)歷了各類(lèi)業(yè)務(wù)場(chǎng)景能力沉淀的過(guò)程。

在深度上，數(shù)據(jù)中臺(tái)廠商承載細(xì)分行業(yè)的各類(lèi)定制化業(yè)務(wù)，不斷沉淀業(yè)務(wù)能力。

在廣度上，隨著不同業(yè)務(wù)場(chǎng)景的持續(xù)輸入，數(shù)據(jù)中臺(tái)廠商產(chǎn)品的能力越來(lái)越豐富，覆蓋的領(lǐng)域也越來(lái)越廣泛。

完善數(shù)據(jù)中臺(tái)的深度和廣度，提煉和整合數(shù)據(jù)中臺(tái)的服務(wù)，尤其是對(duì)于對(duì)數(shù)據(jù)中臺(tái)能力要求相對(duì)簡(jiǎn)單的中小企業(yè)，為客戶提供標(biāo)準(zhǔn)化的整體解決方案將成為數(shù)據(jù)中臺(tái)服務(wù)商的產(chǎn)品方向。

2、精細(xì)化

首先，數(shù)據(jù)中臺(tái)所提供的底層技術(shù)支撐能力，需要供應(yīng)商在軟件架構(gòu)、云技術(shù)、容器編排、DevOps等多方面有充足的技術(shù)儲(chǔ)備，還需要具備資本和技術(shù)實(shí)力的雙重積累。

縱觀中國(guó)數(shù)據(jù)中臺(tái)行業(yè)，雖然界限并不明晰，但是大致形成了以阿里、騰訊等技術(shù)雄厚的頭部企業(yè)側(cè)重提供底層架構(gòu)技術(shù)，其他中小供應(yīng)商側(cè)重提供行業(yè)化服務(wù)和產(chǎn)品的競(jìng)爭(zhēng)格局。

其次，沒(méi)有一家供應(yīng)商可以覆蓋企業(yè)龐大的、所有的需求，尤其是多組織、多板塊、跨業(yè)務(wù)的大型企業(yè)，所以在一個(gè)領(lǐng)域內(nèi)已經(jīng)完成實(shí)踐和形成規(guī)模的供應(yīng)商會(huì)優(yōu)先深耕本領(lǐng)域，提供更加細(xì)分的場(chǎng)景切入口。

最后，企業(yè)也會(huì)根據(jù)業(yè)務(wù)需求面向不同領(lǐng)域的數(shù)據(jù)中臺(tái)產(chǎn)品進(jìn)行選擇，不會(huì)局限于一家中臺(tái)服務(wù)商。隨著創(chuàng)業(yè)公司不斷成長(zhǎng)，細(xì)小賽道逐漸被填充，愈加激烈的市場(chǎng)競(jìng)爭(zhēng)會(huì)使差異化成為供應(yīng)商采取的產(chǎn)品戰(zhàn)略。

3、SAAS化

從內(nèi)部來(lái)看，數(shù)據(jù)中臺(tái)不斷沉淀跨行業(yè)、跨企業(yè)復(fù)用的組件、模塊，存在朝SaaS和本地部署混合模式發(fā)展的趨勢(shì)。從外部來(lái)看，隨著云計(jì)算的普及，部分系統(tǒng)SaaS化趨勢(shì)較強(qiáng)。因此，作為前臺(tái)和后臺(tái)的連接，數(shù)據(jù)中臺(tái)與SaaS應(yīng)用融合對(duì)接的實(shí)踐越來(lái)越多，市場(chǎng)將逐漸形成一套成熟的中臺(tái)+SaaS系統(tǒng)融合閉環(huán)方案。

敏捷開(kāi)發(fā)、快速迭代以適應(yīng)業(yè)務(wù)需求是數(shù)據(jù)中臺(tái)的基本能力。隨著數(shù)據(jù)中臺(tái)市場(chǎng)滲透率的提高，應(yīng)對(duì)小量應(yīng)用調(diào)整的場(chǎng)景，低代碼需求在近期興起。允許通過(guò)零代碼或少量代碼就可以快速創(chuàng)建應(yīng)用，對(duì)企業(yè)運(yùn)維團(tuán)隊(duì)的要求降低，將充分提升數(shù)據(jù) 中臺(tái)的應(yīng)用性。

4、智能化

海量數(shù)據(jù)與多樣的業(yè)務(wù)場(chǎng)景導(dǎo)致數(shù)據(jù)中臺(tái)數(shù)據(jù)量大增，積累了豐富的數(shù)據(jù)指標(biāo)，未來(lái)數(shù)據(jù)中臺(tái)將會(huì)應(yīng)用智能技術(shù)提供通用化智能服務(wù)，為業(yè)務(wù)決策提供直接輔助場(chǎng)景，比如商品銷(xiāo)量預(yù)測(cè)，千人千面推薦算法、營(yíng)銷(xiāo)活動(dòng)預(yù)測(cè)等。同時(shí)，通過(guò)智能技術(shù)算法可以為前端員工降低數(shù)據(jù)使用的門(mén)檻，提高整體工作效率和生產(chǎn)效率。

來(lái)源：一個(gè)數(shù)據(jù)人自留地

免責(zé)聲明：

本公眾號(hào)所有分享的軟件和資料來(lái)自網(wǎng)絡(luò)收集和整理，所有文字和圖片版權(quán)歸屬于原作者所有，且僅代表作者個(gè)人觀點(diǎn)，與數(shù)據(jù)工匠俱樂(lè)部無(wú)關(guān)，文章僅供讀者學(xué)習(xí)交流使用，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容，如文章內(nèi)容涉及侵權(quán)，請(qǐng)聯(lián)系后臺(tái)管理員刪除

(歡迎大家加入數(shù)據(jù)工匠知識(shí)星球獲取更多資訊。)

聯(lián)系我們

掃描二維碼關(guān)注我們

微信：SZH9543

郵箱：[email protected]

QQ：2286075659