0到1搭建企業(yè)級數(shù)據(jù)治理體系

數(shù)據(jù)治理是企業(yè)數(shù)據(jù)建設(shè)必不可少的一個環(huán)節(jié)。

好的數(shù)據(jù)治理體系可以盤活整條數(shù)據(jù)鏈路，最大化保障企業(yè)數(shù)據(jù)的采集、存儲、計算和使用過程的可控和可追溯。

如何構(gòu)建企業(yè)數(shù)據(jù)治理體系？企業(yè)數(shù)據(jù)治理過程需要注意哪些問題？總體而言，不能一口一個胖子，路要一步一步地走。

下面我將結(jié)合企業(yè)級數(shù)據(jù)治理經(jīng)驗，詳細介紹從0到1搭建數(shù)據(jù)治理體系全流程，幫你梳理數(shù)據(jù)治理的主要內(nèi)容以及過程中會遇到的哪些坑。

如有遺漏之處，歡迎留言評論區(qū)探討。

1 數(shù)據(jù)治理到底是在做什么

1.1  一個小故事

在正文之前，我先介紹一個小故事。

年底了，企業(yè)財務(wù)管理員小張需要統(tǒng)計公司的金融財務(wù)情況。忙碌了一年，公司老板亟需知道公司目前的運營狀況。

小張需要考慮哪幾個點呢：

“

1. 公司目前有哪些財產(chǎn)？
2. 這些財產(chǎn)從哪里來？用到了哪些地方？
3. 是否所有財產(chǎn)的使用均符合規(guī)范和制度？

”

幸好小張年初已經(jīng)制定了一套管理標準。每筆財產(chǎn)的出入都有記錄且嚴格把控使用情況，過程可追溯可審查。

最后，小張得到了領(lǐng)導們的一致好評。

1.2 數(shù)據(jù)治理做的事情

故事中的小張監(jiān)管著公司所有金融財產(chǎn)活動，確保財產(chǎn)使用的有序高效。這也是數(shù)據(jù)治理角色的類似功能。

“

數(shù)據(jù)治理的核心工作： 在企業(yè)的數(shù)據(jù)建設(shè)進程中，保障企業(yè)的數(shù)據(jù)資產(chǎn)得到正確有效地管理。

”

一般來說，數(shù)據(jù)從外部或者內(nèi)部產(chǎn)生后，經(jīng)過大數(shù)據(jù)手段處理，流轉(zhuǎn)到不同的業(yè)務(wù)端，為企業(yè)的上層應(yīng)用提供數(shù)據(jù)賦能。

整個過程，如圖所示。

• 我們先做一些類似數(shù)據(jù)同步的工作將數(shù)據(jù)放入到大數(shù)據(jù)系統(tǒng)中
• 數(shù)據(jù)進來后需要管理和存儲，即參考建模理論和實際場景建設(shè)數(shù)倉
• 經(jīng)過主題規(guī)劃、維度確定、標簽計算輸出等步驟處理
• 數(shù)據(jù)輸出到報表、應(yīng)用端使用

整體流程數(shù)據(jù)治理體系將全程監(jiān)管。要確認進出系統(tǒng)的數(shù)據(jù)質(zhì)量怎么樣？是否可轉(zhuǎn)化數(shù)據(jù)資產(chǎn)？數(shù)據(jù)血緣是否可追溯、數(shù)據(jù)安全等問題。

“

臟亂差的數(shù)據(jù)是無法使用的，甚至嚴重埋雷。

”

2 為什么要做數(shù)據(jù)治理

有一些企業(yè)對這個問題的概念很模糊，認為目前的數(shù)據(jù)規(guī)模很小，人為可控，暫時不需要做數(shù)據(jù)治理。

但是在實際使用中還是會遇到很多問題：

• 數(shù)據(jù)監(jiān)管力度不夠，出現(xiàn)臟數(shù)據(jù)
• 數(shù)據(jù)體系逐漸規(guī)模變大，管理混亂
• 數(shù)據(jù)的血緣丟失，無法回溯舊、老的數(shù)據(jù)

無論企業(yè)的數(shù)據(jù)規(guī)模如何，我認為還是提起做好數(shù)據(jù)治理的規(guī)劃。考慮到成本的問題，可以分階段進行。

“

為什么要進行數(shù)據(jù)治理：

1. 你的數(shù)據(jù)是否真的可用，缺失和異常值怎么辦？
2. 數(shù)據(jù)從哪里來到哪里去，血緣信息是否丟失
3. 數(shù)據(jù)訪問是否安全，明文標識還是加密？
4. 新的數(shù)據(jù)加工參考什么規(guī)范，維度和標簽管理是否存在標準？

”

有劍在手不用和無劍可用是兩回事。提前做好數(shù)據(jù)治理規(guī)劃，會節(jié)省后續(xù)的改造成本，避免過程冗余重構(gòu)或者推倒重來等情況的發(fā)生。

數(shù)據(jù)治理可以有效保障數(shù)據(jù)建設(shè)過程在一個合理高效的監(jiān)管體系下進行，最終提供高質(zhì)量、安全、流程可追溯的業(yè)務(wù)數(shù)據(jù)。

3 數(shù)據(jù)治理體系

企業(yè)數(shù)據(jù)治理體系包括數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全及數(shù)據(jù)標準等內(nèi)容。

1）數(shù)據(jù)質(zhì)量

一般采用業(yè)內(nèi)常用的標準來衡量數(shù)據(jù)質(zhì)量的好壞：完整性、準確性、一致性和及時性。

• 完整性：數(shù)據(jù)的記錄和信息是否完整，是否存在缺失情況
• 準確性：數(shù)據(jù)匯總記錄的信息和數(shù)據(jù)是否準確，是否存在異常或者錯誤
• 一致性：多個業(yè)務(wù)數(shù)倉間的公共數(shù)據(jù)，必須在各個數(shù)據(jù)倉庫中保持一致
• 及時性：數(shù)據(jù)能及時產(chǎn)出和預(yù)警

2）元數(shù)據(jù)管理

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息，通俗理解，元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)。

元數(shù)據(jù)包含技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。可以幫助數(shù)據(jù)分析人員清楚了解企業(yè)擁有什么數(shù)據(jù)，它們存儲在哪里，如何抽取、清理、維護z這類數(shù)據(jù)，也即數(shù)據(jù)血緣。

• 幫助構(gòu)建業(yè)務(wù)知識體系，確立數(shù)據(jù)業(yè)務(wù)含義可解釋性
• 提升數(shù)據(jù)整合和溯源能力，血緣關(guān)系可維護
• 建立數(shù)據(jù)質(zhì)量稽核體系，分類管理監(jiān)控

3）主數(shù)據(jù)管理

企業(yè)主數(shù)據(jù)指企業(yè)內(nèi)一致并共享的業(yè)務(wù)主體，大白話理解就是各專業(yè)公司和業(yè)務(wù)系統(tǒng)間共享的數(shù)據(jù)。

常見的主數(shù)據(jù)比如公司的員工、客戶數(shù)據(jù)、機構(gòu)信息、供應(yīng)商信息等。這些數(shù)據(jù)具有權(quán)威性和全局性，可歸約至公司的企業(yè)資產(chǎn)。

一般主數(shù)據(jù)管理需要遵循如下幾點：

• 管理和監(jiān)管各組織機構(gòu)、子公司、部門對主數(shù)據(jù)的訪問，制定訪問規(guī)范和管理原則
• 定期進行主數(shù)據(jù)評估，判斷既定目標的完善程度
• 組織相關(guān)人員和機構(gòu)，統(tǒng)一完善主數(shù)據(jù)建設(shè)
• 提供技術(shù)和業(yè)務(wù)流程支持，全集團集中統(tǒng)籌

4）數(shù)據(jù)資產(chǎn)管理

一般企業(yè)在數(shù)字化轉(zhuǎn)型時都會考慮數(shù)據(jù)資產(chǎn)梳理。你的數(shù)據(jù)有沒有被合理利用？如何產(chǎn)生最大價值？這是數(shù)據(jù)資產(chǎn)管理關(guān)心的核心工作。

在構(gòu)建企業(yè)資產(chǎn)時一般會考慮不同角度，即業(yè)務(wù)角度和技術(shù)角度，最后進行合并，輸出統(tǒng)一的數(shù)據(jù)資產(chǎn)分析，并向外提供統(tǒng)一的數(shù)據(jù)資產(chǎn)查詢服務(wù)。

如何盤活數(shù)據(jù)，形成數(shù)據(jù)資產(chǎn)，提供完整的數(shù)據(jù)資產(chǎn)全景視圖，可方便運營者全局、宏觀地掌控企業(yè)資產(chǎn)動態(tài)。

5）數(shù)據(jù)安全

數(shù)據(jù)安全是企業(yè)數(shù)據(jù)建設(shè)必不可少的一環(huán)，我們的數(shù)據(jù)都存儲在大大小小的磁盤中，對外提供不同程度的查詢和計算服務(wù)。

需要定時對數(shù)據(jù)進行核查、敏感字段加密、訪問權(quán)限控制，確保數(shù)據(jù)能夠被安全地使用。

6）數(shù)據(jù)標準

大白話理解，我們需要在組織內(nèi)定義一套關(guān)于數(shù)據(jù)的規(guī)范，好讓我們都能理解這些數(shù)據(jù)的含義。

今天張三說這個客戶號是辦理銀行卡的客戶，明天李四又說是借貸過的客戶。對比一看，兩者的字段類型和長度一致，到底要采納哪個意見呢？

數(shù)據(jù)標準是保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性和準確性的規(guī)范性約束，通過統(tǒng)一規(guī)范，消除二義性。

4 企業(yè)數(shù)據(jù)治理實施過程

4.1 數(shù)據(jù)治理實施框架

數(shù)據(jù)治理體系是為了規(guī)范業(yè)務(wù)數(shù)據(jù)規(guī)范、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全中的各類管理任務(wù)活動而建立的組織、流程與工具。

通過一個常態(tài)化的數(shù)據(jù)治理組織，建立數(shù)據(jù)集中管理長效機制，規(guī)范數(shù)據(jù)管控流程，提升數(shù)據(jù)質(zhì)量，促進數(shù)據(jù)標準一致，保障數(shù)據(jù)共享與使用安全，從而提高企業(yè)運營效率和管理水平。

4.2 數(shù)據(jù)治理組織架構(gòu)

企業(yè)數(shù)據(jù)治理體系除了在技術(shù)方面的實施架構(gòu)，還需要管理方面的組織架構(gòu)支撐。

一般在數(shù)據(jù)治理建設(shè)初期，集團會先成立數(shù)據(jù)治理管理委員會。從上至下由決策層、管理層、執(zhí)行層構(gòu)成。決策層決策、管理層制定方案、執(zhí)行層實施。層級管理、統(tǒng)一協(xié)調(diào)。

4.2.1 組織架構(gòu)

1）決策層

提供數(shù)據(jù)標準管理的決策職能，通俗理解即拍板定方案。

2）管理層

• 審議數(shù)據(jù)標準管理相關(guān)制度
• 對跨部門難的數(shù)據(jù)標準管理爭議事項進行討論并決策
• 管理重大數(shù)據(jù)標準事項，提交信息科技管理委員會審議

3）執(zhí)行層

• 業(yè)務(wù)部門：負責業(yè)務(wù)線數(shù)據(jù)標準的制定、修改、復(fù)審，推廣落實數(shù)據(jù)標準等
• 科技開發(fā)：承擔治理平臺、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量等實施工作；系統(tǒng)設(shè)計和開發(fā)工作中遵循數(shù)據(jù)標準
• 科技運營：負責技術(shù)標準的制定和技術(shù)推廣

4.2.2 管理層職責

1）項目經(jīng)理

• 確定項目目標、范圍和計劃
• 制定項目里程碑
• 管理跨項目協(xié)同

2）專家評審組

評審項目方案，確定方案的合理性

3）PMO

• 確保項目按計劃執(zhí)行
• 管理項目重大風險
• 執(zhí)行跨項目協(xié)同、溝通
• 組織項目關(guān)鍵評審

3）數(shù)據(jù)治理專項組

執(zhí)行各項目的落地實施和運營推廣，推動執(zhí)行層的實施數(shù)據(jù)治理技術(shù)落地和項目進展。

4.2.3 執(zhí)行層職責

數(shù)據(jù)架構(gòu)師、數(shù)據(jù)治理專家和業(yè)務(wù)專員形成數(shù)據(jù)治理"鐵三角"，緊密協(xié)作，推進數(shù)據(jù)治理與數(shù)據(jù)架構(gòu)落地。

1）業(yè)務(wù)專員

業(yè)務(wù)專員作為業(yè)務(wù)部門數(shù)據(jù)治理的接口人，在標準、質(zhì)量、應(yīng)用等領(lǐng)域組織業(yè)務(wù)人員開展工作

• 定義數(shù)據(jù)規(guī)則
• 保障數(shù)據(jù)質(zhì)量
• 提出數(shù)據(jù)需求

2）數(shù)據(jù)治理專家

數(shù)據(jù)治理專家作為數(shù)據(jù)治理組成員，負責設(shè)計數(shù)據(jù)架構(gòu)，運營數(shù)據(jù)資產(chǎn)；牽頭組織業(yè)務(wù)、IT達成數(shù)據(jù)治理目標。

• 構(gòu)建數(shù)據(jù)邏輯模型
• 監(jiān)控數(shù)據(jù)質(zhì)量
• 運營數(shù)據(jù)資產(chǎn)

3）數(shù)據(jù)架構(gòu)師

數(shù)據(jù)架構(gòu)師作為IT開發(fā)部門的專家，承擔數(shù)據(jù)標準落地、模型落地的重任，協(xié)助解決數(shù)據(jù)質(zhì)量問題。

• 數(shù)據(jù)標準落地
• 邏輯模型落地
• 物理模型落地

4.3 數(shù)據(jù)治理平臺

在確定了技術(shù)實施方案和組織管理架構(gòu)，下面需要進行數(shù)據(jù)治理體系的落地實施。

在大型企業(yè)中一般會開發(fā)一個完整的數(shù)據(jù)治理平臺，囊括所有數(shù)據(jù)治理功能，對外提供平臺服務(wù)。

1）核心功能

數(shù)據(jù)治理平臺作為數(shù)據(jù)治理的產(chǎn)品體系，旨在保障數(shù)據(jù)平臺的數(shù)據(jù)是安全、可靠的、標準的、有價值的。

• 數(shù)據(jù)資產(chǎn)管理：提供面向用戶的場景化搜素，提供全景數(shù)據(jù)資產(chǎn)地圖，方便快速查找資產(chǎn)和資產(chǎn)分析
• 數(shù)據(jù)標準管理：統(tǒng)一定制數(shù)據(jù)標準，提高包括字段、碼值、數(shù)據(jù)字典管理，保障業(yè)務(wù)數(shù)據(jù)和中臺數(shù)據(jù)的統(tǒng)一標準
• 數(shù)據(jù)質(zhì)量監(jiān)控：提供事前、事中、事后的數(shù)據(jù)質(zhì)量體系，支持數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則配置、告警管理等功能
• 數(shù)據(jù)安全：提供數(shù)據(jù)安全脫敏、安全分級和監(jiān)控
• 數(shù)據(jù)建模中心：統(tǒng)一建模，提供業(yè)務(wù)系統(tǒng)建模和模型管理

2）元數(shù)據(jù)管理

元數(shù)據(jù)管理系統(tǒng)作為數(shù)據(jù)治理平臺的前端展示門戶，幫助實現(xiàn)對數(shù)據(jù)資產(chǎn)的快速檢索能力，提高數(shù)據(jù)使用有效性和效率。

通過建立完整且一致的元數(shù)據(jù)管理策略，提供集中、統(tǒng)一、規(guī)范的元數(shù)據(jù)信息訪問、查詢和調(diào)用功能。

3）數(shù)據(jù)質(zhì)量

• 數(shù)據(jù)質(zhì)量監(jiān)控：支持所有用戶進行數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則配置
• 規(guī)則阻斷：配置數(shù)據(jù)質(zhì)量監(jiān)控阻斷規(guī)則，數(shù)據(jù)質(zhì)量出現(xiàn)差異可實時阻斷下游作業(yè)運行，屏蔽錯誤結(jié)果鏈路擴散。
• 告警：數(shù)據(jù)質(zhì)量出現(xiàn)預(yù)設(shè)偏差，及時發(fā)出預(yù)警通知及時修復(fù)

4）數(shù)據(jù)標準

支持定制統(tǒng)一的數(shù)據(jù)標準平臺，包括字段標準管理，碼值標準管理以及字典管理，業(yè)務(wù)源數(shù)據(jù)和中臺數(shù)據(jù)統(tǒng)一標準。

5）數(shù)據(jù)安全

基于集團數(shù)據(jù)資產(chǎn)實現(xiàn)數(shù)據(jù)安全分級管理，自動識別安全信息；提供數(shù)據(jù)訪問安全行為監(jiān)測，及時識別訪問風險。

4.4 數(shù)據(jù)治理評估

數(shù)據(jù)治理平臺開發(fā)完成并運行，需要對整體數(shù)據(jù)治理體系的效果進行驗證和評估。

“

1）數(shù)據(jù)是否可以消除"臟、亂、差"的現(xiàn)象
2）數(shù)據(jù)資產(chǎn)是否最大價值化
3）所有數(shù)據(jù)的血緣是否完整可追溯。。。

”

1）數(shù)據(jù)資產(chǎn)

通過構(gòu)建數(shù)據(jù)資產(chǎn)管理體系，實現(xiàn)資產(chǎn)全覆蓋，并支持全局搜索和精準定位目標資產(chǎn)。

• 實現(xiàn)全局搜索，面向用戶提供場景化檢索服務(wù)
• 支持標簽、數(shù)據(jù)地圖、表名和字段名等多種檢索維度
• 支持進行數(shù)據(jù)地圖，源業(yè)務(wù)數(shù)據(jù)字典的結(jié)果篩選
• 比如支持PV/UV用戶搜索和資產(chǎn)展示，明確服務(wù)目標

2）數(shù)據(jù)標準

新舊數(shù)據(jù)標準沉淀，打通了數(shù)據(jù)建模工具、數(shù)據(jù)標準庫和詞根標準庫，落地數(shù)據(jù)標準和詞根。

• 實現(xiàn)數(shù)據(jù)標準庫100%拉通
• 智能識別數(shù)據(jù)標準和引用
• 客戶端同步更新數(shù)據(jù)標準、詞根

3）數(shù)據(jù)安全

保持事前制度建設(shè)、事中技術(shù)管控、事后監(jiān)控審計的原則建立全流程數(shù)據(jù)安全管控體系。

基于以上數(shù)據(jù)安全管控體系，支持數(shù)據(jù)安全定級，構(gòu)建靈活的數(shù)據(jù)安全共享流程。

4）數(shù)據(jù)質(zhì)量

通過數(shù)據(jù)質(zhì)量雷達圖，定期進行數(shù)據(jù)和任務(wù)質(zhì)量打分，綜合考察數(shù)據(jù)質(zhì)量效果。

• 數(shù)據(jù)完整性：查看數(shù)據(jù)項信息是否全面、完整無缺失
• 告警響應(yīng)程度：日常管理、應(yīng)急響應(yīng)、降低影響；避免數(shù)據(jù)損毀和丟失
• 監(jiān)控覆蓋程度：確保數(shù)據(jù)遵循統(tǒng)一的數(shù)據(jù)標準和規(guī)范要求
• 作業(yè)穩(wěn)定性：監(jiān)控作業(yè)穩(wěn)定性，是否存在作業(yè)異常等問題
• 作業(yè)時效性：檢查任務(wù)對應(yīng)的數(shù)據(jù)項信息獲取是否滿足預(yù)期要求

5 數(shù)據(jù)治理的幾點誤區(qū)

1）數(shù)據(jù)治理是否要做得大而全

“

這是一個經(jīng)典問題，一般對于不同階段和規(guī)模的企業(yè)，數(shù)據(jù)治理的實施程度會有所不同。一般建議先根據(jù)自身的數(shù)據(jù)狀況分階段進行，避免盲目鋪開規(guī)模，過程中可調(diào)整。

”

2）數(shù)據(jù)治理只是技術(shù)考慮的事情

“

正如文中所說，數(shù)據(jù)治理不僅僅是技術(shù)團隊的事情，而是整個集團一起協(xié)作完成。其中就包括各業(yè)務(wù)線以及其他管理組織，沒有一個好的實施方案和協(xié)作機制，往往事倍功半。

”

3）數(shù)據(jù)治理可以短期見效

“

數(shù)據(jù)治理是個長期過程，會跟隨著企業(yè)數(shù)據(jù)的規(guī)模和數(shù)倉規(guī)劃的變更同步調(diào)整，部分功能可能會在短期內(nèi)卓有成效，完整體系搭建短期很難實現(xiàn)。

”

4）必須得有工具平臺，才能開展數(shù)據(jù)治理

“

俗話說工欲善其事必先利其器，有好的工具當然是更好，前提是已經(jīng)有了成熟的數(shù)據(jù)治理體系規(guī)劃和策略。工具和技術(shù)手段目前市面上很成熟，先把理論給鋪墊好。

”

5）數(shù)據(jù)治理感覺很模糊？不知道最后的落地結(jié)果

“

數(shù)據(jù)治理是一個長期工作，需要相關(guān)從業(yè)者根據(jù)企業(yè)的數(shù)據(jù)現(xiàn)狀和管理模式去構(gòu)建和調(diào)整，建議邊做實踐邊總結(jié)歸納，小步慢跑是一個很好的方式。

”