干貨 | 一網(wǎng)打盡數(shù)據(jù)中臺知識體系！

來源：談數(shù)據(jù)

當前，大部分企業(yè)不再建設從源數(shù)據(jù)采集到分析應用的煙囪式系統(tǒng)，更傾向于數(shù)據(jù)集中采集、存儲，并應用分層建設。這種方式一方面有利于應用系統(tǒng)的快速部署，另一方面也保證了數(shù)據(jù)的集中管理與運營，體現(xiàn)數(shù)據(jù)的資產(chǎn)、資源屬性。筆者根據(jù)個人數(shù)據(jù)中臺的工作實踐和學習以及思考總結，撰寫成本文數(shù)據(jù)中臺知識體系。

一.數(shù)據(jù)中臺是什么

01 定義

    數(shù)據(jù)中臺是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來”的機制，是一種戰(zhàn)略選擇和組織形式，是依據(jù)企業(yè)特有的業(yè)務模式和組織架構，通過有形的產(chǎn)品和實施方法論支撐，構建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務于業(yè)務的機制

    數(shù)據(jù)中臺是處于業(yè)務前臺和技術后臺的中間層，是對業(yè)務提供的數(shù)據(jù)能力的抽象和共享的過程，數(shù)據(jù)中臺通過將企業(yè)的數(shù)據(jù)變成數(shù)據(jù)資產(chǎn)，并提供數(shù)據(jù)能力組件和運行機制，形成聚合數(shù)據(jù)接入、集成、清洗加工、建模處理、挖掘分析，并以共享服務的方式將數(shù)據(jù)提供給業(yè)務端使用，從而與業(yè)務產(chǎn)生聯(lián)動，而后結合業(yè)務系統(tǒng)的數(shù)據(jù)生產(chǎn)能力，最終構建數(shù)據(jù)生產(chǎn)>消費>再生的閉環(huán)，通過這樣持續(xù)使用數(shù)據(jù)、產(chǎn)生智能、反哺業(yè)務從而實現(xiàn)數(shù)據(jù)變現(xiàn)的系統(tǒng)和機制。

02 本質

    數(shù)據(jù)中臺服務于數(shù)字化轉型，而企業(yè)數(shù)字化轉型的終局是傳統(tǒng)業(yè)務變成數(shù)字化業(yè)務，數(shù)字化業(yè)務的本質就是以數(shù)據(jù)作為新生產(chǎn)要素進行加工，構建以數(shù)據(jù)作為主要存在形式的產(chǎn)品，產(chǎn)生商業(yè)價值的業(yè)務模型。

    因此數(shù)據(jù)中臺的本質更像一種企業(yè)架構，是一套互聯(lián)網(wǎng)技術和行業(yè)特性，在企業(yè)發(fā)展的不確定性中，尋找確定性，并且持續(xù)沉淀和提煉企業(yè)核心能力，最終支持企業(yè)快速、高效、低成本進行業(yè)務創(chuàng)新和增強的企業(yè)架構。

03 數(shù)據(jù)中臺、數(shù)倉、大數(shù)據(jù)平臺的區(qū)別

1）數(shù)據(jù)中臺VS數(shù)據(jù)倉庫

數(shù)據(jù)倉庫的主要場景是支持管理決策和業(yè)務分析，而數(shù)據(jù)中臺則是將數(shù)據(jù)服務化之后提供給業(yè)務系統(tǒng)，目標是將數(shù)據(jù)能力滲透到各個業(yè)務環(huán)節(jié)，不限于決策分析類場景。數(shù)據(jù)中臺持續(xù)不斷地將數(shù)據(jù)進行資產(chǎn)化、價值化并應用到業(yè)務，而且關注數(shù)據(jù)價值的運營。

數(shù)據(jù)中臺建設包含數(shù)據(jù)體系建設，也就是數(shù)據(jù)中臺包含數(shù)據(jù)倉庫的完整內(nèi)容，數(shù)據(jù)中臺將企業(yè)數(shù)據(jù)倉庫建設的投入價值進行最大化，以加快數(shù)據(jù)賦能業(yè)務的速度，為業(yè)務提供速度更快、更多樣的數(shù)據(jù)服務。數(shù)據(jù)中臺也可以將已建好的數(shù)據(jù)倉庫當成數(shù)據(jù)源，對接已有數(shù)據(jù)建設成果，避免重復建設。當然也可以基于數(shù)據(jù)中臺提供的能力，通過匯聚、加工、治理各類數(shù)據(jù)源，構建全新的離線或實時數(shù)據(jù)倉庫。

2）數(shù)據(jù)中臺vs大數(shù)據(jù)平臺

大數(shù)據(jù)基礎能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、Elasticsearch等。在大數(shù)據(jù)組件上搭建的ETL流水線，包括數(shù)據(jù)分析、機器學習程序。數(shù)據(jù)治理系統(tǒng)。數(shù)據(jù)倉庫系統(tǒng)。數(shù)據(jù)可視化系統(tǒng)。

數(shù)據(jù)中臺應該是大數(shù)據(jù)平臺的一個超集。在大數(shù)據(jù)平臺的基礎之上，數(shù)據(jù)中臺還應該提供下面的系統(tǒng)功能：

• 全局的數(shù)據(jù)應用資產(chǎn)管理

• 全局的數(shù)據(jù)治理機制

• 自助的、多租戶的數(shù)據(jù)應用開發(fā)及發(fā)布

• 數(shù)據(jù)應用運維

• 數(shù)據(jù)應用集成

• 數(shù)據(jù)即服務，模型即服務

• 數(shù)據(jù)能力共享管理

• 完善的運營指標

  
  

二.數(shù)據(jù)中臺核心能力

數(shù)據(jù)中臺需要具備數(shù)據(jù)匯聚整合、數(shù)據(jù)提純加工、數(shù)據(jù)服務可視化、數(shù)據(jù)價值變現(xiàn)４個核心能力，讓企業(yè)員工、客戶、伙伴能夠方便地應用數(shù)據(jù)。

1、匯聚整合（數(shù)據(jù)治理-數(shù)據(jù)整合和管理能力）

數(shù)據(jù)豐富和完善：多樣的數(shù)據(jù)源進行合并和完善

• 管理易用：可視化任務配置、豐富的監(jiān)控管理功能

• 數(shù)據(jù)集成運營：數(shù)據(jù)接入、轉換、寫入或緩存內(nèi)部來源的各來源數(shù)據(jù)

• 數(shù)據(jù)目錄與治理：用戶可以方便定位所需數(shù)據(jù)，理解數(shù)據(jù)（技術/業(yè)務治理）

• 數(shù)據(jù)安全：確保數(shù)據(jù)的訪問權限

• 數(shù)據(jù)可用：用戶可簡便、可擴展的訪問異構數(shù)據(jù)，可用性和易用性高

• 部署靈活：本地、公有云、私有云等多種部署方式

2、提純加工（數(shù)據(jù)資產(chǎn)化——數(shù)據(jù)提煉與分析加工能力）

• 完善的安全訪問控制

• 完善的數(shù)據(jù)質量保障體系

• 規(guī)范的、緊密結合業(yè)務的可擴展的標簽體系

• 面向業(yè)務主題的資產(chǎn)平臺

• 智能的數(shù)據(jù)映射能力，簡化數(shù)據(jù)資產(chǎn)生成

3、服務可視化（數(shù)據(jù)資產(chǎn)服務化能力）

• 提供自然語言等人工智能服務

• 提供豐富的數(shù)據(jù)分析功能

• 提供友好的數(shù)據(jù)可視化服務

• 便捷、快速的服務開發(fā)環(huán)境，方便業(yè)務人員開發(fā)數(shù)據(jù)應用

• 提供實時流數(shù)據(jù)分析

• 提供預測分析、機器學習等高級服務

4、價值變現(xiàn)

• 提供數(shù)據(jù)應用的管理能力

• 提供數(shù)據(jù)洞察直接驅動業(yè)務行動的通路

• 提供跨行業(yè)務場景的能力

• 提供跨部門的普適性業(yè)務價值能力

• 提供基于場景的數(shù)據(jù)應用

• 提供業(yè)務行動效果評估功能

三.數(shù)據(jù)中臺的價值

數(shù)據(jù)中臺價值如下：

1）業(yè)務價值（業(yè)務創(chuàng)新，形成核心壁壘）

1、以客戶為中心，用洞察驅動企業(yè)穩(wěn)健行動

2、以數(shù)據(jù)為基礎，直系大規(guī)模商業(yè)模式創(chuàng)新

3、盤活全量數(shù)據(jù)，構筑堅實壁壘已持續(xù)領先

2）技術價值（成本低、能力多、應用廣）

1、應對多數(shù)據(jù)處理的需求

2、豐富標簽數(shù)據(jù)，減低管理成本

3、數(shù)據(jù)價值能體現(xiàn)業(yè)務系統(tǒng)效果而不僅是準確度

4、支持跨主題域訪問數(shù)據(jù)

5、數(shù)據(jù)可以快速復用、不僅是復制

總結：數(shù)據(jù)中臺是把業(yè)務生產(chǎn)資料轉變?yōu)閿?shù)據(jù)生產(chǎn)力，同時數(shù)據(jù)生產(chǎn)力反哺業(yè)務，不斷迭代循環(huán)的閉環(huán)過程——數(shù)據(jù)驅動決策、運營

四.數(shù)據(jù)中臺要解決什么問題

1.指標口徑不一致

通常表現(xiàn)在3個方面：業(yè)務口徑不一致、計算邏輯不一致、數(shù)據(jù)來源不一致。

• 業(yè)務口徑不一致：業(yè)務口徑不一致的指標，應該要有不同的標識去區(qū)分，比如上面提到的銷售額這一指標，明明口徑是不一致的，但卻沒有區(qū)分，容易讓業(yè)務誤解。

• 計算邏輯不一致：業(yè)務口徑的描述往往是一段話，但對于一些計算邏輯比較復雜的指標，一段話通常是描述不清楚的，如果碰巧兩個相同業(yè)務口徑的指標是不同的數(shù)據(jù)研發(fā)實現(xiàn)的，極有可能會出現(xiàn)計算邏輯不一致的情況。

• 數(shù)據(jù)來源不一致：對于部分指標，有多個數(shù)據(jù)源可供選擇，如果數(shù)據(jù)源正好有些細微差異不被發(fā)現(xiàn)時，即使加工邏輯一樣，也有可能結果不一致。另外，實時數(shù)據(jù)和離線數(shù)據(jù)也會有一定差異。

  
  

因此，要實現(xiàn)一致性，就要確保對同一個指標，只有一個業(yè)務口徑，只加工一次，且數(shù)據(jù)來源必須一致。

2.煙囪式建設數(shù)據(jù)平臺，大量源被浪費，響應速度慢

    主要在于煙囪式的開發(fā)模式，使得數(shù)據(jù)復用性低，導致大量重復邏輯代碼的研發(fā)，影響需求響應速度。

    比如，兩個指標都需要對同一份原始數(shù)據(jù)進行清洗，原則上來說，只用一個任務對原始數(shù)據(jù)做清洗，產(chǎn)出一張明細表，另一個指標開發(fā)時，便可直接引用已經(jīng)清洗好的明細表，這樣便可節(jié)省一個清洗邏輯的研發(fā)工作量。但現(xiàn)實往往是對同一份原始數(shù)據(jù)做了兩次清洗。因此，要解決需求響應速度慢的問題，就要提升數(shù)據(jù)的復用性，確保相同數(shù)據(jù)只加工一次，實現(xiàn)數(shù)據(jù)的共享。

3.取數(shù)效率低

    主要表現(xiàn)在兩個方面，一方面是找不到數(shù)據(jù)，另一方面是取不到數(shù)據(jù)。要解決找不到數(shù)據(jù)的問題，就要構建企業(yè)數(shù)據(jù)資產(chǎn)目錄，讓數(shù)據(jù)使用者快速找到并理解數(shù)據(jù)。取不到數(shù)據(jù)的主要是非技術人員不會寫SQL去提取數(shù)據(jù)，所以可以為其提供自助取數(shù)工具，使其簡單快速的獲取數(shù)據(jù)。

4.數(shù)據(jù)質量低

    面對業(yè)務已經(jīng)沉淀的大量數(shù)據(jù)，逐步形成了企業(yè)的數(shù)據(jù)資產(chǎn)。而這些數(shù)據(jù)資產(chǎn)如何成為可持續(xù)使用的，為企業(yè)帶來價值的數(shù)據(jù)，需要數(shù)據(jù)治理進行提升數(shù)據(jù)質量，比如設計數(shù)據(jù)質量校驗的規(guī)則和使用流程，設計數(shù)據(jù)管控權限，數(shù)據(jù)如何安全輸出及共享的設計等，如何在整體上發(fā)揮出數(shù)據(jù)的協(xié)同效應，為業(yè)務提供更高價值的數(shù)據(jù)服務鏈路，數(shù)據(jù)中臺可以將這些數(shù)據(jù)能力整合到一起，對業(yè)務端提供穩(wěn)定的持續(xù)的服務能力。

五.什么企業(yè)適合做數(shù)據(jù)中臺

數(shù)據(jù)中臺的構建需要大量人力物力的投入，所以數(shù)據(jù)中臺的建設一定要結合企業(yè)的現(xiàn)狀，按需選擇，不可盲目跟風。因此，企業(yè)在選擇是否構建數(shù)據(jù)中臺的時，可以從以下幾個方面思考：

首先，看企業(yè)是否有一定的數(shù)據(jù)基礎，是否實現(xiàn)了業(yè)務數(shù)據(jù)化的過程，有了一定的數(shù)據(jù)沉淀，數(shù)據(jù)中臺，顧名思義，數(shù)據(jù)是基礎；

其次，企業(yè)是否存在業(yè)務數(shù)據(jù)孤島，是否有需要整合各個業(yè)務系統(tǒng)的數(shù)據(jù)，進行關聯(lián)分析的需求，如果有，需要通過構建數(shù)據(jù)中臺，打通數(shù)據(jù)孤島，整合各業(yè)務系統(tǒng)數(shù)據(jù)，滿足關聯(lián)分析的需求。比如某零售企業(yè)，在業(yè)務發(fā)展初期，商品、銷售、供應鏈等都是獨立的數(shù)據(jù)倉庫，后期要構建智能補貨系統(tǒng)，需要打通多個業(yè)務系統(tǒng)的數(shù)據(jù)，因此選擇建設數(shù)據(jù)中臺； 

最后，在日常的數(shù)據(jù)使用過程中是否遇到指標口徑不一致、需求響應速度慢、數(shù)據(jù)質量差、數(shù)據(jù)成本高等痛點，如果滿足前兩個條件，且在數(shù)據(jù)應用中存在以上所述的一些痛點，那建議你可以考慮將數(shù)據(jù)中臺項目提上日程了。

六.數(shù)據(jù)中臺怎么建設

01 入手點

應從面向“業(yè)務價值”入手，簡單來講就是，面向應用更有目標性，能更早地發(fā)揮數(shù)據(jù)的價值，讓企業(yè)客戶的數(shù)字化轉型路徑不再是一個漫長的周期建設，而是一個逐步演進的過程。換一個更好的理解方式，其實是面向企業(yè)客戶實際需求，以及業(yè)務價值構建數(shù)據(jù)中臺。

首先，上數(shù)據(jù)中臺的最好是業(yè)務發(fā)展或變化快速的部門，因為這些業(yè)務上中臺，一是ROI容易成正比，二也能充分發(fā)揮數(shù)據(jù)的價值，容易得到各方認可；

其次，一開始不一定就得從統(tǒng)一數(shù)據(jù)口徑入手，是不是可以先容忍數(shù)據(jù)層面一定程度的混亂，驗證價值。當業(yè)務發(fā)展起來后，再去治理它，這很大程度上符合敏捷的理念，也符合很多企業(yè)的實際情況。

然后，針對業(yè)務價值或實際存在的問題提供服務，務實而非務虛。比如，①先上專家或架構師，進行項目診斷；②用產(chǎn)品和解決方案，走通關鍵路徑；③當核心業(yè)務問題被解決后，也有一些事情是需要客戶自己來完成，這時也能夠針對性提供一些咨詢服務。

02 匹配企業(yè)數(shù)字化進程

建設數(shù)據(jù)中臺要遵循企業(yè)數(shù)字化進程各階段的要求，因此，企業(yè)數(shù)字化發(fā)展可以分為數(shù)據(jù)匯集、融合、開放、智能化處理幾個階段。

第一階段，對于本身已經(jīng)覆蓋較多信息系統(tǒng)的企業(yè)，需要考慮把有關數(shù)據(jù)匯聚到一起。而對于信息化程度相對偏低的企業(yè)，則要實現(xiàn)企業(yè)業(yè)務的在線化； 

第二階段，需要企業(yè)評估其自身數(shù)據(jù)是否已經(jīng)實現(xiàn)了有機地融合。所謂的“融合”指的是企業(yè)通過一種標準把各個系統(tǒng)產(chǎn)生的數(shù)據(jù)進行有效的資產(chǎn)化。也就是說，這個階段企業(yè)需要完成數(shù)據(jù)治理和歸集工作；

第三階段，涉及數(shù)據(jù)的開放，即企業(yè)需要有專門的部門把歸集以后的數(shù)據(jù)開放給內(nèi)部各個部門，讓各部門了解企業(yè)的數(shù)據(jù)資產(chǎn)情況，從而更好地實現(xiàn)企業(yè)基于數(shù)據(jù)的服務提升與創(chuàng)新。有條件的企業(yè)再把數(shù)據(jù)開放給生態(tài)鏈上下游的企業(yè)，實現(xiàn)服務創(chuàng)新、協(xié)作方式的重構，從而形成更大范圍的協(xié)同；

第四階段，指的是利用數(shù)據(jù)進行智能化處理。眾所周知，企業(yè)通過機器學習等人工智能的方式進行數(shù)據(jù)處理，可以創(chuàng)造出十分廣闊的增值空間，就像尋找礦產(chǎn)資源一樣，通過數(shù)據(jù)智能的方式，企業(yè)可以從前所未有的角度挖掘出全新的數(shù)據(jù)價值。 

以上的數(shù)字化進程對于計劃實施數(shù)字化戰(zhàn)略的企業(yè)而言，是相對比較適合的一個過程。同時，由于各企業(yè)的實際情況不同，各自的戰(zhàn)略也會有所差別。大型企業(yè)建設中臺主要需要考慮轉體系問題，即企業(yè)應從整個組織、商業(yè)模式、戰(zhàn)略協(xié)同方面，開展全面的改造，即三個全：全在線、全鏈接、全協(xié)同。而發(fā)展中企業(yè)則需要先考慮“工具化”問題，即企業(yè)可以借助數(shù)據(jù)平臺、工具，首先實現(xiàn)業(yè)務的在線化，然后再考慮基于數(shù)據(jù)的服務提升。

03 數(shù)據(jù)中臺架構

從數(shù)據(jù)處理與數(shù)據(jù)治理兩個維度出發(fā)，可以設計一個解耦的數(shù)據(jù)中臺體系架構。該數(shù)據(jù)中臺體系架構具有一定的柔性，可按照企業(yè)應用需求進行組合，或者對單個模塊進行擴充，能滿足大多數(shù)企業(yè)數(shù)據(jù)中臺建設的需求。

數(shù)據(jù)中臺的通用體系架構如圖  所示。該中臺體系架構以減少功能冗余和提高功能復用為原則，把數(shù)據(jù)中臺解耦為 6 個可以分別獨立建設、演進的功能子系統(tǒng)。

數(shù)據(jù)結構與數(shù)據(jù)處理子系統(tǒng)是數(shù)據(jù)中臺體系架構的核心，數(shù)據(jù)治理是提升數(shù)據(jù)價值的重要手段。該數(shù)據(jù)中臺體系架構的通用性表現(xiàn)在以下幾點：

（1）該數(shù)據(jù)中臺體系架構綜合考慮了數(shù)據(jù)中臺的各種要素，參考這個架構進行建設可以有效提升數(shù)據(jù)資產(chǎn)價值，提供數(shù)據(jù)及服務的共享。

（2）參考這個數(shù)據(jù)中臺體系架構，企業(yè)可以一次規(guī)劃、分步實施。首先建設處理子系統(tǒng)及數(shù)據(jù)存儲子系統(tǒng)，然后根據(jù)業(yè)務發(fā)展需求，逐步補充數(shù)據(jù)采集、數(shù)據(jù)安全及數(shù)據(jù)治理子系統(tǒng)。

（3）該數(shù)據(jù)中臺由 6 個解耦的子系統(tǒng)組成。企業(yè)在立項建設時可以靈活組合，每個子系統(tǒng)單獨招標建設，也可以把多個子系統(tǒng)合并招標建設。數(shù)據(jù)中臺通用體系架構包含數(shù)據(jù)采集框架、數(shù)據(jù)存儲框架、數(shù)據(jù)處理框架、數(shù)據(jù)治理框架、數(shù)據(jù)安全框架及數(shù)據(jù)運營框架等 6 大部分。

1）數(shù)據(jù)采集框架

數(shù)據(jù)中臺的采集框架應對納入數(shù)據(jù)中臺的各種源數(shù)據(jù)進行統(tǒng)一采集管理。數(shù)據(jù)采集框架中應提供多種數(shù)據(jù)采集方式，如文件傳輸協(xié)議采集、數(shù)據(jù)庫采集、接口應用程序接入采集、流式采集及網(wǎng)絡爬蟲采集。

同時采集框架應按照數(shù)據(jù)采集規(guī)范對源數(shù)據(jù)進行預處理，從而去除明顯不需要的數(shù)據(jù)及多余數(shù)據(jù)，并對采集過程進行管理。雖然數(shù)據(jù)中臺的體系架構沒有統(tǒng)一模板，但各企業(yè)數(shù)據(jù)采集框架基本一致。

2）數(shù)據(jù)存儲框架

數(shù)據(jù)中臺的核心是數(shù)據(jù)，數(shù)據(jù)通過采集系統(tǒng)獲取，然后數(shù)據(jù)經(jīng)過處理框架加工，并接受數(shù)據(jù)治理框架的管理，同時也要接受數(shù)據(jù)安全管理框架的管理，最后開放的價值數(shù)據(jù)將通過數(shù)據(jù)運營框架對外提供數(shù)據(jù)服務。

數(shù)據(jù)中臺的數(shù)據(jù)架構應該獨立規(guī)劃，并采用合理的技術架構對不同類型的數(shù)據(jù)進行存儲。數(shù)據(jù)存儲框架中，無論數(shù)據(jù)采用對象存儲、塊存儲還是數(shù)據(jù)庫存儲技術，各種中臺數(shù)據(jù)可按照上圖所示分類管理。

源數(shù)據(jù)主要由采集框架進行管理，數(shù)據(jù)治理框架按照數(shù)據(jù)特征把數(shù)據(jù)簡單分為結構化和非結構化數(shù)據(jù)兩大類，而規(guī)范化分域數(shù)據(jù)則是數(shù)據(jù)治理框架對全量數(shù)據(jù)的規(guī)范化分域整理。寬表數(shù)據(jù)是數(shù)據(jù)關聯(lián)的結果，利用寬表數(shù)據(jù)可以對人、事、地、物、組等對象進行完整的數(shù)據(jù)畫像，同時寬表數(shù)據(jù)也可以作為上層模型數(shù)據(jù)的中間層數(shù)據(jù)。

元數(shù)據(jù)和標簽數(shù)據(jù)都是對數(shù)據(jù)的描述，其中元數(shù)據(jù)用來對數(shù)據(jù)的客觀屬性進行表示，標簽數(shù)據(jù)更傾向于管理者對數(shù)據(jù)的主觀表述及等級劃分，比如質量等級標簽、安全標簽、屬性標簽等。主數(shù)據(jù)需要在各系統(tǒng)間頻繁更新、交換，且需要獨立的存儲空間進行維護管理。

3）數(shù)據(jù)處理框架

數(shù)據(jù)處理是每個數(shù)據(jù)應用的基本環(huán)節(jié)之一，經(jīng)典的數(shù)據(jù)抽取、轉換和加載（ETL）處理流程在數(shù)據(jù)采集預處理、數(shù)據(jù)整合、數(shù)據(jù)建模等多個地方均要使用。單獨建設數(shù)據(jù)處理框架有利于數(shù)據(jù)處理工具組件的集中開發(fā)與管理，也有利于數(shù)據(jù)中臺數(shù)據(jù)處理任務的協(xié)調(diào)與調(diào)度。

數(shù)據(jù)處理框架專門負責數(shù)據(jù)處理相關的任務，包括批處理、流處理、人工智能分析、數(shù)據(jù)清洗、數(shù)據(jù)交換及查詢，此外數(shù)據(jù)處理的相關工具組件可在處理框架中配置。任務調(diào)度模塊在數(shù)據(jù)處理框架中處于居中指揮的作用，并對運行的數(shù)據(jù)處理任務進行監(jiān)控及異常處理等操作。

4）數(shù)據(jù)治理框架

廣義的數(shù)據(jù)治理不僅包含提升數(shù)據(jù)價值的內(nèi)容，如數(shù)據(jù)管理、數(shù)據(jù)目錄、數(shù)據(jù)質量等，也包含數(shù)據(jù)安全管理及數(shù)據(jù)共享服務。

數(shù)據(jù)安全管理與數(shù)據(jù)價值提升是一個矛盾體，如果由一個廠商或開發(fā)團隊進行數(shù)據(jù)安全管理及數(shù)據(jù)價值提升相關軟件的開發(fā)，則開發(fā)者的操作難免有所偏向，而且矛盾不容易公開，少了沖突也就少了優(yōu)質的解決方案。

另外，數(shù)據(jù)共享與數(shù)據(jù)治理的其他內(nèi)容也存在相同的問題。因此，本文建議數(shù)據(jù)中臺的數(shù)據(jù)治理框架中不包含數(shù)據(jù)安全與共享的相關內(nèi)容。

數(shù)據(jù)治理框架包含數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)管理、模型管理和數(shù)據(jù)質量 4 個模塊：

（1）數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)目錄、知識圖譜及數(shù)據(jù)血緣的主要作用是展示數(shù)據(jù)的屬性及相互關系，因此都納入數(shù)據(jù)目錄模塊。

（2）數(shù)據(jù)模型能提高數(shù)據(jù)中臺對外部應用需求的反應能力，固化的中間模型數(shù)據(jù)需要專門管理。模型管理包括模型目錄、模型血緣及模型地圖等。

（3）數(shù)據(jù)管理又可以細分為元數(shù)據(jù)管理、主數(shù)據(jù)管理、標簽數(shù)據(jù)管理及源數(shù)據(jù)管理。

（4）數(shù)據(jù)質量管理模塊按照制定的數(shù)據(jù)標準及數(shù)據(jù)稽核規(guī)則對數(shù)據(jù)中臺中的數(shù)據(jù)進行質量管理。

5）數(shù)據(jù)安全框架

數(shù)據(jù)已經(jīng)成為數(shù)據(jù)資產(chǎn)，數(shù)據(jù)安全框架是數(shù)據(jù)中臺必不可少的組成部分。數(shù)據(jù)安全疊加在數(shù)據(jù)中臺其他功能框架之上，數(shù)據(jù)采集、處理、交換、共享等每個環(huán)節(jié)均必須實施安全控制策略。安全框架可以分為日志管理、用戶認證、權限管理及加解密等幾個功能模塊。

此外，安全全門戶也可以對外提供安全能力封裝，展示數(shù)據(jù)中臺的安全態(tài)勢及安全視圖。

6）數(shù)據(jù)運營框架

數(shù)據(jù)中臺的核心功能是綜合眾多數(shù)據(jù)應用的數(shù)據(jù)處理及數(shù)據(jù)治理功能，集中建設、集中管理、減少冗余、增加復用。數(shù)據(jù)中臺的最終目的還是為其他應用或開發(fā)者提供數(shù)據(jù)服務，而對外數(shù)據(jù)服務功能將直接面向不確定的外部對象。

因此單獨建設數(shù)據(jù)運營，一方面有利于針對外部用戶提供針對性功能；另一方面，數(shù)據(jù)運營模塊作為用戶與數(shù)據(jù)中臺核心數(shù)據(jù)服務之間的中間層，可以有效隔離外部用戶直接控制、接觸核心數(shù)據(jù)及應用，可保護數(shù)據(jù)中臺的安全性及內(nèi)部功能的穩(wěn)定性。

綜合以上因素，數(shù)據(jù)運營應配置運營門戶、能力開放、數(shù)據(jù)開放及運營監(jiān)控等功能：

（1）運營門戶：對數(shù)據(jù)中臺管理者提供管理門戶，對開發(fā)者提供開發(fā)者門戶。對內(nèi)部應用提供內(nèi)部應用門戶，對外部應用提供外部應用門戶。運營門戶針對不同的用戶提供不同的通道并開放不同的數(shù)據(jù)中臺能力。

（2）能力開放：把數(shù)據(jù)中臺的數(shù)據(jù)處理能力、數(shù)據(jù)分析能力等經(jīng)過適當?shù)姆庋b后對用戶提供服務，可以是微服務，也可以是 API 接口，或者直接提供二次開發(fā)能力。

（3）數(shù)據(jù)開放：通過數(shù)據(jù)目錄，數(shù)據(jù)/模型展示（可視化、數(shù)據(jù)視圖等）為其他數(shù)據(jù)應用系統(tǒng)提供數(shù)據(jù)服務。

（4）運營監(jiān)控：對數(shù)據(jù)中臺的總體運營情況進行監(jiān)控管理，包括硬件環(huán)境、軟件環(huán)境，并且確定監(jiān)控指標，按需求提供運營日報，處理告警信息。

七.數(shù)據(jù)中臺發(fā)展趨勢

1、標準化與市場下沉

數(shù)據(jù)中臺的核心在于共享和沉淀能力，隨著數(shù)據(jù)中臺在行業(yè)頭部及領先企業(yè)逐漸落地，供應商經(jīng)歷了各類業(yè)務場景能力沉淀的過程。

在深度上，數(shù)據(jù)中臺廠商承載細分行業(yè)的各類定制化業(yè)務，不斷沉淀業(yè)務能力。

在廣度上，隨著不同業(yè)務場景的持續(xù)輸入，數(shù)據(jù)中臺廠商產(chǎn)品的能力越來越豐富，覆蓋的領域也越來越廣泛。

完善數(shù)據(jù)中臺的深度和廣度，提煉和整合數(shù)據(jù)中臺的服務，尤其是對于對數(shù)據(jù)中臺能力要求相對簡單的中小企業(yè)，為客戶提供標準化的整體解決方案將成為數(shù)據(jù)中臺服務商的產(chǎn)品方向。

2、精細化

首先，數(shù)據(jù)中臺所提供的底層技術支撐能力，需要供應商在軟件架構、云技術、容器編排、DevOps等多方面有充足的技術儲備，還需要具備資本和技術實力的雙重積累。

縱觀中國數(shù)據(jù)中臺行業(yè)，雖然界限并不明晰，但是大致形成了以阿里、騰訊等技術雄厚的頭部企業(yè)側重提供底層架構技術，其他中小供應商側重提供行業(yè)化服務和產(chǎn)品的競爭格局。

其次，沒有一家供應商可以覆蓋企業(yè)龐大的、所有的需求，尤其是多組織、多板塊、跨業(yè)務的大型企業(yè)，所以在一個領域內(nèi)已經(jīng)完成實踐和形成規(guī)模的供應商會優(yōu)先深耕本領域，提供更加細分的場景切入口。

最后，企業(yè)也會根據(jù)業(yè)務需求面向不同領域的數(shù)據(jù)中臺產(chǎn)品進行選擇，不會局限于一家中臺服務商。隨著創(chuàng)業(yè)公司不斷成長，細小賽道逐漸被填充，愈加激烈的市場競爭會使差異化成為供應商采取的產(chǎn)品戰(zhàn)略。

3、SAAS化

從內(nèi)部來看，數(shù)據(jù)中臺不斷沉淀跨行業(yè)、跨企業(yè)復用的組件、模塊，存在朝SaaS和本地部署混合模式發(fā)展的趨勢。從外部來看，隨著云計算的普及，部分系統(tǒng)SaaS化趨勢較強。因此，作為前臺和后臺的連接，數(shù)據(jù)中臺與SaaS應用融合對接的 實踐越來越多，市場將逐漸形成一套成熟的中臺+SaaS系統(tǒng)融合閉環(huán)方案。

敏捷開發(fā)、快速迭代以適應業(yè)務需求是數(shù)據(jù)中臺的基本能力。隨著數(shù)據(jù)中臺市場滲透率的提高，應對小量應用調(diào)整的場景，低代碼需求在近期興起。允許通過零代碼或少量代碼就可以快速創(chuàng)建應用，對企業(yè)運維團隊的要求降低，將充分提升數(shù)據(jù) 中臺的應用性。

4、智能化

海量數(shù)據(jù)與多樣的業(yè)務場景導致數(shù)據(jù)中臺數(shù)據(jù)量大增，積累了豐富的數(shù)據(jù)指標，未來數(shù)據(jù)中臺將會應用智能技術提供通用化智能服務，為業(yè)務決策提供直接輔助場景，比如商品銷量預測，千人千面推薦算法、營銷活動預測等。同時，通過智能技術算法可以為前端員工降低數(shù)據(jù)使用的門檻，提高整體工作效率和生產(chǎn)效率。

(歡迎大家加入數(shù)據(jù)工匠知識星球獲取更多資訊。)

聯(lián)系我們

掃描二維碼關注我們

微信：SZH9543

郵箱：[email protected]

QQ：2286075659

熱門文章

什么是 DataOps？它與數(shù)據(jù)治理、數(shù)據(jù)中臺以及敏捷的關系是什么？

數(shù)據(jù)中臺：海量標簽如何治理？

推進中臺戰(zhàn)略，實施數(shù)據(jù)治理！

專題丨地方數(shù)字政府、數(shù)字經(jīng)濟一體化發(fā)展研究

數(shù)據(jù)治理體系之一-數(shù)據(jù)安全

我們的使命：發(fā)展數(shù)據(jù)治理行業(yè)、普及數(shù)據(jù)治理知識、改變企業(yè)數(shù)據(jù)管理現(xiàn)狀、提高企業(yè)數(shù)據(jù)質量、推動企業(yè)走進大數(shù)據(jù)時代。

我們的愿景：打造數(shù)據(jù)治理專家、數(shù)據(jù)治理平臺、數(shù)據(jù)治理生態(tài)圈。

我們的價值觀：凝聚行業(yè)力量、打造數(shù)據(jù)治理全鏈條平臺、改變數(shù)據(jù)治理生態(tài)圈。

了解更多精彩內(nèi)容

長按，識別二維碼，關注我們吧！

數(shù)據(jù)工匠俱樂部

微信號：zgsjgjjlb

專注數(shù)據(jù)治理，推動大數(shù)據(jù)發(fā)展。