點(diǎn)擊上方藍(lán)色字體，選擇“設(shè)為星標(biāo)”
回復(fù)”資源“獲取更多資源
作者丨石秀峰
今天我們來探討一下關(guān)于數(shù)據(jù)治理的靈魂三問：
1、數(shù)據(jù)治理治什么，治的是數(shù)據(jù)嗎？
2、數(shù)據(jù)治理在哪里治，中臺還是后臺？
3、數(shù)據(jù)治理到底怎么治？
一、數(shù)據(jù)治理 治的是“數(shù)據(jù)”嗎？
數(shù)據(jù)是指對客觀事件進(jìn)行記錄并可以鑒別的符號，是對客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號或這些物理符號的組合。其實(shí)在我看來，數(shù)據(jù)可以分為兩個(gè)部分，一是數(shù)字，二是文字。數(shù)字是沒有意義的抽象符號，數(shù)據(jù)是有意義的數(shù)字。文字表意，數(shù)字表量，當(dāng)兩者結(jié)合起來，數(shù)據(jù)就產(chǎn)生了。
在我們的生活和工作當(dāng)中，數(shù)據(jù)無處不在。對企業(yè)來講，有很多數(shù)據(jù)是無關(guān)企業(yè)重大利益的數(shù)據(jù)，是沒有治理的必要的。數(shù)據(jù)治理的對象必須是重要的數(shù)據(jù)資源，是關(guān)乎企業(yè)重大商業(yè)利益的數(shù)據(jù)資源，這樣的數(shù)據(jù)資源可以稱其為“數(shù)據(jù)資產(chǎn)”。正如北大教授王漢生先生所說：“數(shù)據(jù)治理不是對“數(shù)據(jù)”的治理，而是對“數(shù)據(jù)資產(chǎn)”的治理，是對數(shù)據(jù)資產(chǎn)所有相關(guān)方利益的協(xié)調(diào)與規(guī)范?！?/span>
我們需要分開來理解這句話：
①什么是數(shù)據(jù)資產(chǎn)？
②數(shù)據(jù)資產(chǎn)的相關(guān)利益方是誰？
③協(xié)調(diào)與規(guī)范什么？
先說一說什么是數(shù)據(jù)資產(chǎn)。我們說不是所有數(shù)據(jù)都是數(shù)據(jù)資產(chǎn)，那到底什么才是數(shù)據(jù)資產(chǎn)呢？
《企業(yè)會(huì)計(jì)準(zhǔn)則-基本準(zhǔn)則》第20條規(guī)定：“資產(chǎn)是指企業(yè)過去的交易或者事項(xiàng)形成的、由企業(yè)擁有或者控制的、預(yù)期會(huì)給企業(yè)帶來經(jīng)濟(jì)利益的資源?！?如果照貓畫虎修改一下，不難獲得一個(gè)關(guān)于數(shù)據(jù)資產(chǎn)的定義：“數(shù)據(jù)資產(chǎn)是指企業(yè)過去的交易或者事項(xiàng)形成的，由企業(yè)擁有或者控制的，預(yù)期會(huì)給企業(yè)帶來經(jīng)濟(jì)利益的數(shù)據(jù)資源?！庇纱丝梢?，數(shù)據(jù)要成為數(shù)據(jù)資產(chǎn)，至少要滿足3個(gè)核心必要條件：
①數(shù)據(jù)資產(chǎn)應(yīng)該是企業(yè)的交易或者事項(xiàng)形成的；
②企業(yè)擁有或者控制；
③預(yù)期會(huì)給企業(yè)帶來經(jīng)濟(jì)利益。
數(shù)據(jù)資產(chǎn)的利益相關(guān)方是誰？
根據(jù)數(shù)據(jù)資產(chǎn)的定義，數(shù)據(jù)資產(chǎn)的利益相關(guān)方，包括：
①數(shù)據(jù)的生產(chǎn)者，即通過業(yè)務(wù)交易或事項(xiàng)產(chǎn)生數(shù)據(jù)的人或組織。
②數(shù)據(jù)的擁有或控制者，生產(chǎn)數(shù)據(jù)的人不一定是擁有數(shù)據(jù)，就像我們天天上網(wǎng)的各種數(shù)據(jù)都不歸我們自己所有，而是落在了各個(gè)互聯(lián)網(wǎng)公司的數(shù)據(jù)庫中。
③數(shù)據(jù)價(jià)值和經(jīng)濟(jì)利益的收益者。數(shù)據(jù)治理就是對數(shù)據(jù)生產(chǎn)者、擁有或控制者，數(shù)據(jù)價(jià)值獲益者的規(guī)范和協(xié)調(diào)。
都什么是需要協(xié)調(diào)和規(guī)范？
首先是數(shù)據(jù)的標(biāo)準(zhǔn)化，定義統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，“寫中國字、說普通話”讓數(shù)據(jù)資產(chǎn)的相關(guān)利益方在同一個(gè)“頻道”溝通。數(shù)據(jù)的標(biāo)準(zhǔn)化包含幾個(gè)層面：①數(shù)據(jù)模型標(biāo)準(zhǔn)化。②核心數(shù)據(jù)實(shí)體的標(biāo)準(zhǔn)化（主數(shù)據(jù)的標(biāo)準(zhǔn)化）。③關(guān)鍵指標(biāo)的標(biāo)準(zhǔn)化。
其次是數(shù)據(jù)的確權(quán)。數(shù)據(jù)一旦成為資產(chǎn)，就一定有擁有方，或者實(shí)際控制人，可以把他們統(tǒng)稱產(chǎn)權(quán)人。與實(shí)物不同的是，實(shí)物的產(chǎn)權(quán)是比較明確的，數(shù)據(jù)則比較復(fù)雜。產(chǎn)品在生產(chǎn)制造過程中，并沒有與消費(fèi)者交易之前，制造商擁有完全產(chǎn)權(quán)。產(chǎn)品生產(chǎn)出來后，消費(fèi)者通過購買支付相應(yīng)的貨幣，便擁有了產(chǎn)品的產(chǎn)權(quán)。而數(shù)據(jù)的生產(chǎn)過程就不一樣了，我們的各種上網(wǎng)行為每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，例如：網(wǎng)上購物、瀏覽網(wǎng)頁、使用地圖、評論/評價(jià)……。這些數(shù)據(jù)到底歸誰所有？控制權(quán)該如何治理？這是擺在面前的一個(gè)難題！我們看到近幾年一些不良商家，利用我們的上網(wǎng)數(shù)據(jù)，導(dǎo)致安全隱私泄密的事件也層出不窮。希望隨著技術(shù)和商業(yè)的進(jìn)步，盡快能夠找到解決方案！
第三是流程的優(yōu)化。數(shù)據(jù)治理的兩個(gè)目標(biāo)：一個(gè)是提質(zhì)量，一個(gè)是控安全。互聯(lián)網(wǎng)數(shù)據(jù)的確權(quán)目前已經(jīng)是一個(gè)世界級難題，做好企業(yè)業(yè)務(wù)流程的優(yōu)化可能會(huì)對隱私保護(hù)起到一定的作用。通過業(yè)務(wù)流程優(yōu)化，規(guī)范數(shù)據(jù)從產(chǎn)生、處理、使用到銷毀的整個(gè)生命周期，使得數(shù)據(jù)在各階段、各流程環(huán)節(jié)安全可控，合規(guī)使用。另外，通過一定的流程優(yōu)化，通過對相關(guān)流程進(jìn)行監(jiān)管，按照數(shù)據(jù)的質(zhì)量規(guī)則進(jìn)行數(shù)據(jù)校驗(yàn)，符合“垃圾進(jìn)、垃圾出”的數(shù)據(jù)采集、處理、存儲原則，提升數(shù)據(jù)治理，賦能業(yè)務(wù)應(yīng)用。
二、數(shù)據(jù)治理 到底在哪里治？
數(shù)據(jù)治理到底應(yīng)該放在中臺，還是后臺，我個(gè)人的理解是：小數(shù)據(jù)標(biāo)準(zhǔn)化治理靠人工、大數(shù)據(jù)預(yù)測性分析靠智能，將兩者結(jié)合起來：“人工+智能”形成了完整的數(shù)據(jù)治理技術(shù)體系。一個(gè)企業(yè)的數(shù)據(jù)治理既離不開小數(shù)據(jù)的標(biāo)準(zhǔn)化治理，也離不開大數(shù)據(jù)的預(yù)測性分析。
這里的小數(shù)據(jù)，是在承載事物實(shí)體的數(shù)據(jù)，例如：人、財(cái)、物等，是企業(yè)所有業(yè)務(wù)開展的載體。其實(shí)說白了就是主數(shù)據(jù)管理。對于主數(shù)據(jù)的治理筆者認(rèn)為是一個(gè)后臺行為，治理核心是“唯一數(shù)據(jù)源、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)”，而要達(dá)到這一目標(biāo)是需要從數(shù)據(jù)的源頭抓起的，并且需要大量的人為干預(yù)，比如：數(shù)據(jù)標(biāo)準(zhǔn)的制定和落實(shí)，數(shù)據(jù)質(zhì)量的清洗，數(shù)據(jù)的申請審批，數(shù)據(jù)的分發(fā)和共享等。從這里也能夠看出小數(shù)據(jù)的治理，追求的是標(biāo)準(zhǔn)化、精確化，應(yīng)該是一個(gè)后臺行為。
而在大數(shù)據(jù)時(shí)代，得益于大數(shù)據(jù)技術(shù)的突破，大量的結(jié)構(gòu)化、非結(jié)構(gòu)化、異構(gòu)化的數(shù)據(jù)能夠得到儲存、處理、計(jì)算和分析，這一方面提升了我們從海量數(shù)據(jù)中獲取知識和洞見的能力。對于大數(shù)據(jù)，傳統(tǒng)的一味追求精確的思維受到了挑戰(zhàn)。而對于大數(shù)據(jù)的治理，允許一定程度上的容錯(cuò)，反而可以在宏觀層面擁有更好的知識和洞察力。對于大數(shù)據(jù)的治理更多的是采用AI技術(shù)，例如：知識圖譜、語音識別等，對大數(shù)據(jù)的采集、處理、使用過程加以控制，使其能夠合規(guī)使用。所以，大數(shù)據(jù)的治理放在中臺似乎更為合適。
三、數(shù)據(jù)治理 到底應(yīng)該怎么治？
1、找癥狀，明確目標(biāo)
任何企業(yè)實(shí)施數(shù)據(jù)治理都不是為了治理數(shù)據(jù)而治理數(shù)據(jù)，其背后都是管理和業(yè)務(wù)目標(biāo)的驅(qū)動(dòng)。企業(yè)中普遍存在的數(shù)據(jù)質(zhì)量問題有：數(shù)據(jù)不一致、數(shù)據(jù)重復(fù)、數(shù)據(jù)不準(zhǔn)確、數(shù)據(jù)不完整、數(shù)據(jù)關(guān)系混亂、數(shù)據(jù)不及時(shí)等。
由于這些數(shù)據(jù)問題的存在對業(yè)務(wù)的開展和業(yè)務(wù)部門之間的溝通造成了較大的困擾，產(chǎn)生了很大的成本；各異構(gòu)的系統(tǒng)中數(shù)據(jù)不一致，導(dǎo)致業(yè)務(wù)系統(tǒng)之間的應(yīng)用集成無法開展；數(shù)據(jù)質(zhì)量差無法支撐數(shù)據(jù)分析，分析結(jié)果與實(shí)際偏差較大。然而要實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)管理、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的目標(biāo)，沒有高質(zhì)量的數(shù)據(jù)支撐是行不通的。
目標(biāo)：企業(yè)實(shí)施數(shù)據(jù)治理的第一步，就是要明確數(shù)據(jù)治理的目標(biāo)，理清數(shù)據(jù)治理的關(guān)鍵點(diǎn)。
技術(shù)工具：實(shí)地調(diào)研、高層訪談、組織架構(gòu)圖。
輸入：企業(yè)數(shù)據(jù)戰(zhàn)略規(guī)劃，亟待解決的業(yè)務(wù)問題，經(jīng)營發(fā)展需求，業(yè)務(wù)需求等；
輸出：數(shù)據(jù)治理的初步溝通方案，項(xiàng)目任務(wù)書，工作計(jì)劃表；
2、理數(shù)據(jù)，現(xiàn)狀分析
針對企業(yè)數(shù)據(jù)治理所處的內(nèi)外部環(huán)境，從組織、人員、流程、數(shù)據(jù)四個(gè)方面入手，進(jìn)行數(shù)據(jù)治理現(xiàn)狀的分析。
某企業(yè)數(shù)據(jù)治理痛點(diǎn)分析
組織方面：是否有專業(yè)的數(shù)據(jù)治理組織，是否明確崗位職責(zé)和分工。
人員方面：數(shù)據(jù)人才的資源配置情況，包括數(shù)據(jù)標(biāo)準(zhǔn)化人員、數(shù)據(jù)建模人員，數(shù)據(jù)分析人員，數(shù)據(jù)開發(fā)人員等，以及數(shù)據(jù)人才的占比情況。
流程方面：數(shù)據(jù)管理的現(xiàn)狀，是否有歸口管理部門，是否有數(shù)據(jù)管理的流程、流程各環(huán)節(jié)的數(shù)據(jù)控制情況等；
數(shù)據(jù)方面：梳理數(shù)據(jù)質(zhì)量問題列表，例如：數(shù)據(jù)不一致問題，數(shù)據(jù)不完整，數(shù)據(jù)不準(zhǔn)確、數(shù)據(jù)不真實(shí)、數(shù)據(jù)不及時(shí)、數(shù)據(jù)關(guān)系混亂，以及數(shù)據(jù)的隱私與安全問題等。
目標(biāo)：分析企業(yè)數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量的現(xiàn)狀，確定初步數(shù)據(jù)治理成熟度評估方案。
技術(shù)工具：實(shí)地訪談、調(diào)研表、數(shù)據(jù)質(zhì)量問題評議表、關(guān)鍵數(shù)據(jù)識別方法論（例如：主數(shù)據(jù)特征識別法）；
輸入：需求及現(xiàn)狀調(diào)研表、訪談?dòng)涗?、?shù)據(jù)樣本、數(shù)據(jù)架構(gòu)、數(shù)據(jù)管理制度和流程文件；
輸出：數(shù)據(jù)問題列表、數(shù)據(jù)U/C矩陣、數(shù)據(jù)治理現(xiàn)狀分析報(bào)告、數(shù)據(jù)治理評估方案；
3、數(shù)據(jù)治理成熟度評估
數(shù)據(jù)治理成熟度反映了組織進(jìn)行數(shù)據(jù)治理所具備的條件和水平，包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、業(yè)務(wù)流程整合、主數(shù)據(jù)管理和信息生命周期管理。
CMMI DMM數(shù)據(jù)管理能力成熟度評估模型
數(shù)據(jù)治理成熟度評估是利用標(biāo)準(zhǔn)的成熟度評估工具結(jié)合行業(yè)最佳實(shí)踐，針對企業(yè)的數(shù)據(jù)治理現(xiàn)狀進(jìn)行的客觀評價(jià)和打分，找到企業(yè)數(shù)據(jù)治理的短板，以便制定切實(shí)可行的行動(dòng)方案。數(shù)據(jù)治理成熟度結(jié)束后形成初步的行動(dòng)方案，一般包括數(shù)據(jù)治理戰(zhàn)略，數(shù)據(jù)治理指標(biāo)，數(shù)據(jù)治理規(guī)則，數(shù)據(jù)治理權(quán)責(zé)。數(shù)據(jù)治理愿景和使命是數(shù)據(jù)治理的整體目標(biāo)；數(shù)據(jù)治理指標(biāo)定義了數(shù)據(jù)治理目標(biāo)的衡量方法；數(shù)據(jù)治理規(guī)則和定義包括與數(shù)據(jù)相關(guān)的政策、標(biāo)準(zhǔn)、合規(guī)要求、業(yè)務(wù)規(guī)則和數(shù)據(jù)定義等；權(quán)利和職責(zé)規(guī)定了由誰來負(fù)責(zé)制訂數(shù)據(jù)相關(guān)的決策、何時(shí)實(shí)施、如何實(shí)施，以及組織和個(gè)人在數(shù)據(jù)治理策略中該做什么。
目標(biāo)：結(jié)合業(yè)界標(biāo)準(zhǔn)的數(shù)據(jù)治理成熟度模型，根據(jù)企業(yè)管理和業(yè)務(wù)需求進(jìn)行數(shù)據(jù)治理成熟的評估，形成初步的數(shù)據(jù)治理策略和行動(dòng)路線。
技術(shù)工具：數(shù)據(jù)治理評估模型，例如：DCMM，CMMI DMM，IBM數(shù)據(jù)治理成熟度評估模型等；
輸入：第2步的輸入以及數(shù)據(jù)治理評估模型、數(shù)據(jù)治理評估工具（評估指標(biāo)、打分表等）；
輸出：數(shù)據(jù)治理評估結(jié)果，數(shù)據(jù)治理策略，初步的行動(dòng)方案；
4、數(shù)據(jù)質(zhì)量問題根因分析
數(shù)據(jù)治理的目的是解決數(shù)據(jù)質(zhì)量問題提升數(shù)據(jù)質(zhì)量，從而為數(shù)據(jù)驅(qū)動(dòng)的數(shù)字化企業(yè)提供源動(dòng)力，而提到數(shù)據(jù)質(zhì)量問題，做過BI、數(shù)倉的同學(xué)一定知道，這是一個(gè)技術(shù)和業(yè)務(wù)“經(jīng)常打架”相互推諉的問題。
某企業(yè)數(shù)據(jù)問題根因分析魚骨圖
產(chǎn)生數(shù)據(jù)質(zhì)量問題的原因有很多，有業(yè)務(wù)方面的、有管理方面的、也有技術(shù)方面的，按照80/20法則，80%的問題是由20%的原因造成起的。所以，如果能夠解決這20%的問題，就能得到80%的改進(jìn)。
目標(biāo)：分析并找到數(shù)據(jù)質(zhì)量問題產(chǎn)生的根本原因，制定行之有效的解決方案；
技術(shù)工具：頭腦風(fēng)暴、5W1H、SWOT、因果（魚刺）圖、帕拉圖等；
輸入：數(shù)據(jù)問題列表、數(shù)據(jù)U/C矩陣、數(shù)據(jù)治理現(xiàn)狀分析報(bào)告、數(shù)據(jù)治理評估結(jié)果；
輸出：數(shù)據(jù)質(zhì)量評估結(jié)果、對業(yè)務(wù)的潛在影響和根本原因。
5、業(yè)務(wù)影響及實(shí)施優(yōu)先級評估
通過數(shù)據(jù)治理成熟度評估，從組織、流程、制度、人員、技術(shù)等方面找到企業(yè)在數(shù)據(jù)治理的待提升的領(lǐng)域和環(huán)節(jié)，再通過數(shù)據(jù)質(zhì)量根因分析找到數(shù)據(jù)質(zhì)量問題發(fā)生的根本原因，進(jìn)一步明確了數(shù)據(jù)治理的目標(biāo)和內(nèi)容。再接下來，就需要確定數(shù)據(jù)治理策略，定義數(shù)據(jù)治理的實(shí)施優(yōu)先級。
某企業(yè)主數(shù)據(jù)治理實(shí)施優(yōu)先級評估
不同的數(shù)據(jù)治理領(lǐng)域解決的是不同的問題，而數(shù)據(jù)治理的每個(gè)領(lǐng)域都有它的實(shí)施難點(diǎn)，對企業(yè)來說，需要從業(yè)務(wù)的影響程度，問題的緊急程度、實(shí)施的難易程度等多個(gè)維度進(jìn)行分析和權(quán)衡，從而找到符合企業(yè)需求并滿足企業(yè)發(fā)展的方案。
目標(biāo)：確定數(shù)據(jù)治理核心領(lǐng)域和支撐體系的建設(shè)/實(shí)施優(yōu)先級；
技術(shù)工具：四象限法則（分別從業(yè)務(wù)影響程度/實(shí)施難以程度，問題重要程度/問題緊急程度繪制優(yōu)先級矩陣）、KANO模型
輸入：數(shù)據(jù)治理成熟度能力評估結(jié)果、數(shù)據(jù)質(zhì)量問題根因分析結(jié)果；
輸出：數(shù)據(jù)治理實(shí)施優(yōu)先級策略
6、制定數(shù)據(jù)治理行動(dòng)路線和計(jì)劃
路線圖是使用特定技術(shù)方案幫助達(dá)到短期或者長期目標(biāo)的計(jì)劃，用于新產(chǎn)品、項(xiàng)目或技術(shù)領(lǐng)域的開發(fā)，是指應(yīng)用簡潔的圖形、表格、文字等形式描述技術(shù)變化的步驟或技術(shù)相關(guān)環(huán)節(jié)之間的邏輯關(guān)系。路線圖是一種目標(biāo)計(jì)劃，就是把未來計(jì)劃要做的事列出來，直至達(dá)到某一個(gè)目標(biāo)，就好像沿著地圖路線一步一步找到終點(diǎn)一樣，故稱路線圖。
某企業(yè)數(shù)據(jù)治理實(shí)施路線圖
企業(yè)數(shù)據(jù)治理的實(shí)施路線圖的制定是以企業(yè)數(shù)據(jù)戰(zhàn)略——愿景和使命為綱領(lǐng)，以急用優(yōu)先為原則，以分步實(shí)施為策略進(jìn)行了整體設(shè)計(jì)和規(guī)劃。實(shí)施路線圖主要包含的內(nèi)容：分幾個(gè)階段實(shí)施，每個(gè)階段的目標(biāo)、工作內(nèi)容、時(shí)間節(jié)點(diǎn)要求、環(huán)境條件等。筆者觀點(diǎn)：任何一個(gè)企業(yè)的數(shù)據(jù)治理都不是一蹴而就，一步到位的，需要循序漸進(jìn)、持續(xù)優(yōu)化！實(shí)施路線圖就是基于此產(chǎn)生的，因此說數(shù)據(jù)治理實(shí)施路線圖也是說服利益相關(guān)者支持的一個(gè)重要手段。
目標(biāo)：確定數(shù)據(jù)治理的階段以及每個(gè)階段的目標(biāo)；
技術(shù)工具：路線圖法
輸入：數(shù)據(jù)治理成熟度能力評估結(jié)果、業(yè)務(wù)影響及實(shí)施優(yōu)先級評估結(jié)果；
輸出：數(shù)據(jù)治理實(shí)施路線圖或稱階段目標(biāo)計(jì)劃
7、制定數(shù)據(jù)治理詳細(xì)實(shí)施方案
數(shù)據(jù)治理詳細(xì)實(shí)施方案是用于指導(dǎo)主數(shù)據(jù)的各項(xiàng)實(shí)施工作，一般包括：數(shù)據(jù)治理核心領(lǐng)域、數(shù)據(jù)治理支撐體系、數(shù)據(jù)治理項(xiàng)目管理三個(gè)方面。
數(shù)據(jù)治理總體框架圖
數(shù)據(jù)治理核心領(lǐng)域包括：數(shù)據(jù)架構(gòu)、數(shù)據(jù)服務(wù)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期管理。
數(shù)據(jù)治理支撐體系包括：組織（組織架構(gòu)、組織層次、崗位職責(zé)）、制度（管控模式、規(guī)章制度、考核機(jī)制）、流程（歸口部門、管理流程、流程任務(wù)等）、技術(shù)（數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)開發(fā)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)運(yùn)營、支撐平臺、實(shí)施方案等）。
數(shù)據(jù)治理項(xiàng)目管理方案包括：項(xiàng)目組隊(duì)、項(xiàng)目計(jì)劃、質(zhì)量保證計(jì)劃、配置管理計(jì)劃、培訓(xùn)和售后等。
關(guān)于數(shù)據(jù)治理的核心領(lǐng)域，詳見筆者之前分享的數(shù)據(jù)治理框架解讀系列文章。
關(guān)于數(shù)據(jù)治理的支撐體系，詳見筆者之前分享的數(shù)據(jù)治理成功關(guān)鍵要素系列文章。
目標(biāo)：基于數(shù)據(jù)質(zhì)量根因分析、業(yè)務(wù)影響和實(shí)施優(yōu)先級評估結(jié)果，制定詳細(xì)實(shí)施方案；
輸入：業(yè)務(wù)影響及實(shí)施優(yōu)先級評估結(jié)果，行動(dòng)路線和計(jì)劃；
輸出：數(shù)據(jù)治理詳細(xì)實(shí)施方案。
8、數(shù)據(jù)治理實(shí)施過程控制
數(shù)據(jù)治理實(shí)施過程控制是對數(shù)據(jù)治理項(xiàng)目的范圍控制、進(jìn)度控制、質(zhì)量控制和成本控制，通過對企業(yè)的各項(xiàng)資源的合理協(xié)調(diào)與利用，而達(dá)成的數(shù)據(jù)治理目標(biāo)的各種措施。從項(xiàng)目管理的角度來講也是項(xiàng)目管理的黃金三角：范圍、時(shí)間、質(zhì)量、成本。
任何項(xiàng)目的質(zhì)量和進(jìn)度是需要良好的項(xiàng)目管理來保證的，數(shù)據(jù)治理也一樣。與傳統(tǒng)的軟件工程項(xiàng)目不同，數(shù)據(jù)治理項(xiàng)目有著范圍邊界模糊、影響范圍廣、短期難見效、實(shí)施周期長等特點(diǎn)：
①范圍邊界模糊，數(shù)據(jù)治理涉及到的關(guān)鍵領(lǐng)域如元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理等很多是存在交叉的，邊界很難界定，例如：實(shí)施數(shù)據(jù)質(zhì)量管理項(xiàng)目，會(huì)涉及元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理等，同樣一個(gè)元數(shù)據(jù)管理項(xiàng)目也會(huì)涉及數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量。
②影響范圍廣，數(shù)據(jù)治理的實(shí)施不是一個(gè)部門能夠完成的，是需要從高級管理層、到各業(yè)務(wù)部門、信息部門通力協(xié)作，共同完成的；
③短期難見效，數(shù)據(jù)治理項(xiàng)目實(shí)施完成后，其數(shù)據(jù)治理的效果被每個(gè)業(yè)務(wù)點(diǎn)滴操作所“稀釋”，并不像其他項(xiàng)目，例如BI，那樣明顯的體現(xiàn)出來，所以主導(dǎo)數(shù)據(jù)治理的部門會(huì)經(jīng)常遭到質(zhì)疑。
④實(shí)施周期長，在沒有清晰的數(shù)據(jù)治理目標(biāo)和范圍約定的情況下，數(shù)據(jù)治理是一個(gè)“無底洞”。所以，在實(shí)施數(shù)據(jù)治理項(xiàng)目之前制定好實(shí)施路線圖和詳細(xì)的實(shí)施方案就顯得格外重要（第6、7步）。
目標(biāo)：通過對數(shù)據(jù)治理項(xiàng)目實(shí)施過程的進(jìn)度控制、質(zhì)量控制和成本控制以實(shí)現(xiàn)數(shù)據(jù)治理的目標(biāo)；
技術(shù)工具：PP（項(xiàng)目計(jì)劃）、PMC（項(xiàng)目控制）、IPM（集成項(xiàng)目管理）、RSKM（風(fēng)險(xiǎn)管理）——CMMI過程域；
輸入：6-7步的輸出：數(shù)據(jù)治理實(shí)施路線圖，數(shù)據(jù)治理詳細(xì)實(shí)施方案；
輸出：各項(xiàng)項(xiàng)目控制措施，例如：項(xiàng)目計(jì)劃、SOW、項(xiàng)目風(fēng)險(xiǎn)列表、項(xiàng)目報(bào)告、項(xiàng)目總結(jié)等；
9、監(jiān)控評估數(shù)據(jù)治理實(shí)施效果
隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，應(yīng)當(dāng)從企業(yè)的全局?jǐn)?shù)據(jù)治理環(huán)境的角度，明確數(shù)據(jù)治理關(guān)鍵技術(shù)運(yùn)用及其標(biāo)準(zhǔn)規(guī)范，構(gòu)建成效評估指標(biāo)體系，進(jìn)行治理效果評價(jià)；并運(yùn)用數(shù)據(jù)治理能力成熟度模型再次評估，界定數(shù)據(jù)管理層次，從而使得跨系統(tǒng)、跨業(yè)務(wù)、跨部門的數(shù)據(jù)治理體系的建設(shè)與實(shí)施能夠通過各方協(xié)作順利進(jìn)行，實(shí)現(xiàn)卓越數(shù)據(jù)治理，進(jìn)而通過數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)、數(shù)據(jù)驅(qū)動(dòng)管理和運(yùn)營以實(shí)現(xiàn)企業(yè)的降本、增效、提質(zhì)、創(chuàng)新。
某企業(yè)數(shù)據(jù)治理看板（數(shù)據(jù)已脫敏）
數(shù)據(jù)治理成效評估指標(biāo)體系應(yīng)根據(jù)企業(yè)及數(shù)據(jù)治理項(xiàng)目的實(shí)際情況制定，一般包括：時(shí)間性、數(shù)量性、完整性、準(zhǔn)確性四個(gè)維度。
①時(shí)間性即數(shù)據(jù)的及時(shí)性。該維度主要通過源業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的上報(bào)及時(shí)性、接入及時(shí)性等方面進(jìn)行核對。通過分析月指標(biāo)、周指標(biāo)、日指標(biāo)的數(shù)據(jù)及時(shí)率，得出在規(guī)定時(shí)間和頻度周期內(nèi)接入系統(tǒng)的比例，以此反映數(shù)據(jù)接入及時(shí)性。
②數(shù)量性。該維度是從數(shù)據(jù)存量，數(shù)據(jù)增量，數(shù)據(jù)訪問量，數(shù)據(jù)交換量、數(shù)據(jù)使用量等指標(biāo)反映數(shù)據(jù)的使用情況，可以分為月度指標(biāo)、周指標(biāo)、日指標(biāo)、時(shí)分指標(biāo)等。
③準(zhǔn)確性。這個(gè)維度主要由各類數(shù)據(jù)中邏輯的準(zhǔn)確性、數(shù)據(jù)值的準(zhǔn)確性、數(shù)據(jù)頻段和字段之間的準(zhǔn)確性以及數(shù)據(jù)的精度等內(nèi)容組成。該準(zhǔn)確率同樣包括：月度、每周、每日等準(zhǔn)確率指標(biāo)。
④完整性。此維度主要以單元維度完整性、數(shù)據(jù)業(yè)務(wù)維度組合完整性、索引值完整性等不同方面進(jìn)行核對，是驗(yàn)證數(shù)據(jù)質(zhì)量完整性的主要組成部分，包括月度指標(biāo)、周指標(biāo)、日指標(biāo)數(shù)據(jù)的完整性等內(nèi)容。
目標(biāo)：檢驗(yàn)各項(xiàng)數(shù)據(jù)治理指標(biāo)的落實(shí)情況，查漏補(bǔ)缺，夯實(shí)數(shù)據(jù)治理效果；
技術(shù)工具：數(shù)據(jù)治理效果的評價(jià)指標(biāo)體系、各種數(shù)據(jù)圖表工具；
輸入：數(shù)據(jù)治理效果評估指標(biāo)；
輸出：數(shù)據(jù)治理評估的月報(bào)、周報(bào)、日報(bào)等；
10、數(shù)據(jù)治理持續(xù)改進(jìn)
數(shù)據(jù)治理模式應(yīng)業(yè)務(wù)化、常態(tài)化，不應(yīng)是一個(gè)項(xiàng)目、“一陣風(fēng)”的模式。
數(shù)據(jù)治理工作應(yīng)向企業(yè)生產(chǎn)、銷售業(yè)務(wù)一樣作為一項(xiàng)重點(diǎn)的業(yè)務(wù)工作來開展，構(gòu)建專業(yè)的數(shù)據(jù)治理組織，設(shè)置合適的崗位權(quán)責(zé)，建立相應(yīng)的管理流程和制度，讓數(shù)據(jù)標(biāo)準(zhǔn)貫徹到每個(gè)業(yè)務(wù)環(huán)節(jié)，形成一種常態(tài)的工作。在筆者看來，在數(shù)據(jù)源頭加強(qiáng)企業(yè)數(shù)據(jù)的治理，讓常態(tài)化治理成為日常業(yè)務(wù)，才能從根本上徹底解決企業(yè)數(shù)據(jù)質(zhì)量的各種問題，讓數(shù)據(jù)真正轉(zhuǎn)化為企業(yè)資產(chǎn)，以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)流程優(yōu)化、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新、數(shù)據(jù)驅(qū)動(dòng)管理決策的目標(biāo)。
目標(biāo)：數(shù)據(jù)治理常態(tài)化，持續(xù)提升數(shù)據(jù)質(zhì)量，驅(qū)動(dòng)流程優(yōu)化和管理創(chuàng)新。
輸入：持續(xù)的、規(guī)范的、標(biāo)準(zhǔn)的各項(xiàng)業(yè)務(wù)操作；數(shù)據(jù)治理監(jiān)控的各項(xiàng)指標(biāo)和報(bào)告；
輸出：持續(xù)輸出的高質(zhì)量的數(shù)據(jù)。
四、美團(tuán)配送數(shù)據(jù)治理實(shí)戰(zhàn)
從大的階段來看，數(shù)據(jù)治理主要分為存量數(shù)據(jù)“由亂到治”的階段，以及增量數(shù)據(jù)嚴(yán)格按照規(guī)章制度實(shí)施確?！靶胁挥饩亍钡倪\(yùn)營階段。在“由亂到治”的過程中，我們需要沉淀出規(guī)章制度、標(biāo)準(zhǔn)規(guī)范，以及輔以規(guī)章制度標(biāo)準(zhǔn)規(guī)范實(shí)施的工具和組織。在增量數(shù)據(jù)的運(yùn)營階段，我們主要靠對應(yīng)的組織確保規(guī)章制度的落實(shí)，通過審計(jì)定期考察實(shí)施效果，并在長期的運(yùn)營中不斷完善規(guī)章制度。在實(shí)現(xiàn)存量數(shù)據(jù)“由亂到治”的階段，我們主要采取了“兩步走”策略，具體執(zhí)行策略如下所示。
4.1 定標(biāo)準(zhǔn)，提質(zhì)量
4.1.1 業(yè)務(wù)標(biāo)準(zhǔn)
業(yè)務(wù)標(biāo)準(zhǔn)主要是指標(biāo)的管理和運(yùn)營標(biāo)準(zhǔn)，我們主要解決三個(gè)問題：指標(biāo)由誰來定義，指標(biāo)該如何定義，指標(biāo)該如何運(yùn)營?；谶@三個(gè)問題，我們同時(shí)提出了三條原則：
業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)指標(biāo)的定義。
產(chǎn)研商分負(fù)責(zé)給出指標(biāo)定義標(biāo)準(zhǔn)和輔助工具，輔助業(yè)務(wù)團(tuán)隊(duì)完成指標(biāo)的規(guī)范定義，達(dá)成指標(biāo)認(rèn)知一致性這一目標(biāo)。
最后由指標(biāo)管理委員會(huì)負(fù)責(zé)指標(biāo)的管理與運(yùn)營，保障指標(biāo)從創(chuàng)建、審核、上線以及到最后消亡的整個(gè)生命周期的運(yùn)營。
為統(tǒng)一指標(biāo)的定義，我們將指標(biāo)分為原子指標(biāo)、衍生指標(biāo)和派生指標(biāo)，原子指標(biāo)通過限定條件和時(shí)間的限定生成衍生指標(biāo)。衍生指標(biāo)間的“四則混合運(yùn)算”構(gòu)成了派生指標(biāo)。我們不但制定了指標(biāo)的標(biāo)準(zhǔn)定義，還對其做了準(zhǔn)確的資產(chǎn)歸屬，一個(gè)指標(biāo)出自一個(gè)具體的業(yè)務(wù)過程，一個(gè)業(yè)務(wù)過程歸屬于不同的數(shù)據(jù)域，多個(gè)數(shù)據(jù)域構(gòu)成了美團(tuán)配送業(yè)務(wù)線下的分析場景，如下圖所示：
指標(biāo)定義標(biāo)準(zhǔn)
4.1.2 技術(shù)標(biāo)準(zhǔn)
這里所說的技術(shù)標(biāo)準(zhǔn)，主要是針對數(shù)據(jù)RD提出的建模標(biāo)準(zhǔn)和數(shù)據(jù)生產(chǎn)規(guī)范，通過建模標(biāo)準(zhǔn)來明確數(shù)倉分層架構(gòu)，并清晰定義每一層的邊界與職責(zé)，采用維度建模的設(shè)計(jì)理念。我們的整個(gè)倉庫架構(gòu)分為四層：操作層、基礎(chǔ)事實(shí)層、中間層和應(yīng)用層，并在每一層同步制定對應(yīng)的建模規(guī)范，如下圖所示：
數(shù)倉架構(gòu)以及建模標(biāo)準(zhǔn)
除了建模標(biāo)準(zhǔn)外，我們還制定了涵蓋從生產(chǎn)到運(yùn)維環(huán)節(jié)的生產(chǎn)規(guī)范以保障模型的質(zhì)量，主要包括上線前的模型評審、生產(chǎn)過程中的完成元數(shù)據(jù)配置、DQC、SLA和生命周期設(shè)置以及上線后的日常運(yùn)維機(jī)制等等。尤其針對元數(shù)據(jù)管理和生命周期管理，我們分別制定了倉庫每一層元數(shù)據(jù)維護(hù)規(guī)范和生命周期管理規(guī)范，其中元數(shù)據(jù)管理規(guī)范，是依據(jù)數(shù)倉各層級中各種類型表的建模標(biāo)準(zhǔn)來制定，需要做到規(guī)范命名，明確數(shù)據(jù)歸屬，并打通業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)之間的關(guān)系。而生命周期管理規(guī)范，是依據(jù)配送業(yè)務(wù)特點(diǎn)和數(shù)倉各層級現(xiàn)狀來制定的，如下表所示：
倉庫各層元數(shù)據(jù)管理標(biāo)準(zhǔn)
倉庫各層生命周期管理策略
4.1.3 安全標(biāo)準(zhǔn)
圍繞數(shù)據(jù)安全標(biāo)準(zhǔn)，首先要有數(shù)據(jù)的分級、分類標(biāo)準(zhǔn)，確保數(shù)據(jù)在上線前有著準(zhǔn)確的密級。第二，針對數(shù)據(jù)使用方，要有明確的角色授權(quán)標(biāo)準(zhǔn)，通過分級分類和角色授權(quán)，來保障重要數(shù)據(jù)拿不走。第三，針對敏感數(shù)據(jù)，要有隱私管理標(biāo)準(zhǔn)，保障敏感數(shù)據(jù)的安全存儲，即使未授權(quán)用戶繞過權(quán)限管理拿到敏感數(shù)據(jù)，也要確保其看不懂。第四，通過制定審計(jì)標(biāo)準(zhǔn)，為后續(xù)的審計(jì)提供審計(jì)依據(jù)，確保數(shù)據(jù)走不脫。
安全標(biāo)準(zhǔn)建設(shè)
4.1.4 資源管理標(biāo)準(zhǔn)
在資源管理方面，配送技術(shù)工程部已經(jīng)對資源管理涉及的內(nèi)容進(jìn)行了合理抽象和準(zhǔn)確定義，抽象出租戶、資源和項(xiàng)目組等概念。不管是后續(xù)的資源預(yù)算還是資源管理，我們都需要基于租戶和項(xiàng)目組來進(jìn)行運(yùn)營，因此，對于業(yè)務(wù)團(tuán)隊(duì)而言，我們只需要將租戶和項(xiàng)目組特定職能劃分清楚，然后根據(jù)不同的職能歸屬我們的資產(chǎn)，并分配生產(chǎn)該資產(chǎn)所需要的資源。為了方便后續(xù)的運(yùn)營，我們對每個(gè)租戶和項(xiàng)目組分配確定了責(zé)任人，由責(zé)任人對運(yùn)營結(jié)果負(fù)責(zé)。
對業(yè)務(wù)部門來說，資源管理的關(guān)鍵是對數(shù)據(jù)資產(chǎn)做清晰的分類，基于數(shù)據(jù)的分類劃分不同的租戶和項(xiàng)目組，將數(shù)據(jù)和租戶、項(xiàng)目組實(shí)現(xiàn)一一映射。由于租戶和項(xiàng)目組都有特定的責(zé)任人對其負(fù)責(zé)，因此，我們通過這種映射關(guān)系，不僅實(shí)現(xiàn)了資產(chǎn)的隔離，還實(shí)現(xiàn)了資產(chǎn)確權(quán)（項(xiàng)目組負(fù)責(zé)人同時(shí)對資產(chǎn)負(fù)責(zé)和運(yùn)營）。我們整體將數(shù)據(jù)分為兩大類，一是原始數(shù)據(jù)，包括流到數(shù)據(jù)中心的數(shù)據(jù)和日志中心的數(shù)據(jù)，針對流入數(shù)據(jù)中心的數(shù)據(jù)，根據(jù)其產(chǎn)生的方式不同，又進(jìn)一步分為業(yè)務(wù)數(shù)據(jù)和流量數(shù)據(jù)。二是加工數(shù)據(jù)，對應(yīng)著數(shù)據(jù)團(tuán)隊(duì)的倉庫建設(shè)和其他團(tuán)隊(duì)的集市建設(shè)。基于上述的描述，針對資源管理，我們做了如下劃分和確權(quán)：
資源劃分與管理
4.2 重實(shí)施，保落實(shí)
第二步，落實(shí)第一步的標(biāo)準(zhǔn)，完成數(shù)據(jù)治理第一階段的目標(biāo)，實(shí)現(xiàn)存量數(shù)據(jù)“由亂到治”，并完成相應(yīng)組織和工具的建設(shè)，為實(shí)現(xiàn)第二階段“行不逾矩”這一目標(biāo)提供工具和組織能力。在此過程中，主要分成三個(gè)方面的治理工作：第一，架構(gòu)模型“由亂到治”的治理，消除模型冗余、跨層引用和鏈路過長等問題，在架構(gòu)上保證模型的穩(wěn)定性和數(shù)據(jù)一致性；第二，元數(shù)據(jù)“由亂到治”的治理，實(shí)現(xiàn)指標(biāo)的標(biāo)準(zhǔn)定義、技術(shù)元數(shù)據(jù)的完整采集并建立指標(biāo)與表、字段的映射關(guān)系，徹底解決指標(biāo)認(rèn)知一致性，以及用戶在使用數(shù)據(jù)過程中的“找數(shù)難”等問題；第三，圍繞著隱私安全和共享安全加強(qiáng)數(shù)據(jù)的安全管控來實(shí)現(xiàn)數(shù)據(jù)走不脫、拿不走，以及隱私數(shù)據(jù)看不懂這一目標(biāo)。
4.2.1 架構(gòu)治理
總結(jié)起來，架構(gòu)方面的治理主要是解決兩個(gè)問題：第一，模型的靈活性，避免需求變更和業(yè)務(wù)迭代對核心模型帶來的沖擊，讓RD深陷無休止的需求迭代中；第二，數(shù)據(jù)一致性，消除因模型冗余、跨層引用等問題帶來的數(shù)據(jù)一致性問題。
模型靈活性
配送解決的是效率、成本和體驗(yàn)三者之間的平衡問題，即在滿足一定用戶體驗(yàn)的條件下，如何提升騎手配送效率，服務(wù)更多的商家，以及如何管控騎手，降低配送成本。抽象到數(shù)據(jù)層面，基本上反映為上游包裹來源的變化、配送對外提供服務(wù)的變化以及對內(nèi)業(yè)務(wù)管控的變化。為屏蔽業(yè)務(wù)迭代給核心模型帶來的沖擊，我們通過對外封裝包裹屬性和對內(nèi)封裝運(yùn)單屬性，抽象出包裹來源、提供服務(wù)、業(yè)務(wù)架構(gòu)等一致性維度，任何業(yè)務(wù)迭代在數(shù)據(jù)層面只涉及維度的調(diào)整，大大降低了對核心模型沖擊和“煙囪式”數(shù)據(jù)建設(shè)問題（新來一個(gè)業(yè)務(wù)，就拉起一個(gè)分支進(jìn)行建設(shè)）。
包裹事實(shí)分配到運(yùn)單明細(xì)構(gòu)造單一運(yùn)單模型
配送指標(biāo)體系建設(shè)的一個(gè)重點(diǎn)就是要輸出各組織層級的規(guī)模、體驗(yàn)和效率指標(biāo)，實(shí)現(xiàn)對運(yùn)力的有效管控，運(yùn)力所屬組織的層級關(guān)系會(huì)隨業(yè)務(wù)的迭代而不斷變化。為了適應(yīng)這種變化，避免僅僅因增加維度帶來中間層數(shù)據(jù)的重復(fù)建設(shè)，我們將組織層級維表由固定層級建模方式調(diào)整為橋接表的方式來自適配組織層級變化，從而實(shí)現(xiàn)了中間層模型可以自動(dòng)適配組織層級的變化，能自動(dòng)產(chǎn)生新維度的指標(biāo)。如下圖所示：
橋接表自適配組織層級靈活變動(dòng)
在精細(xì)化分析的場景下，業(yè)務(wù)會(huì)有分時(shí)段、分距離段以及分價(jià)格段的數(shù)據(jù)分析訴求。我們以分時(shí)段為例，有晚高峰、午高峰、下午茶等不同的分時(shí)段，不同的業(yè)務(wù)方對同一個(gè)時(shí)段的定義口徑不同，即不同的業(yè)務(wù)方會(huì)有不同的分時(shí)段策略。為解決該場景下的分析訴求，我們在事實(shí)表中消除退化維度，將原來封裝到事實(shí)表的時(shí)段邏輯遷移到維度表中，并將事實(shí)表中的時(shí)間進(jìn)行按特定的間隔進(jìn)行刻度化作為維表中的主鍵，將該主鍵作為事實(shí)表的外鍵。這樣，針對業(yè)務(wù)不同的時(shí)間策略需要，我們就可以在維表中進(jìn)行配置，避免了重復(fù)調(diào)整事實(shí)表和反復(fù)刷數(shù)的問題。即通過將時(shí)間、價(jià)格、距離事實(shí)刻度化，實(shí)現(xiàn)靈活維度分析。如下圖所示：
通過將時(shí)間刻度化，實(shí)現(xiàn)靈活分析
數(shù)據(jù)一致性
數(shù)據(jù)一致性得不到保障的一個(gè)根本原因，是在建模的過程中沒有實(shí)現(xiàn)業(yè)務(wù)口徑標(biāo)簽化，并將業(yè)務(wù)口徑下沉到主題層。很多同學(xué)在基于需求進(jìn)行開發(fā)時(shí)，為實(shí)現(xiàn)方便，將新指標(biāo)口徑通過“Case When”的方式在應(yīng)用層和中間層進(jìn)行封裝開發(fā)，主題層建設(shè)不能隨著業(yè)務(wù)的迭代不斷完善，RD在開發(fā)過程中會(huì)直接引用倉庫的快照表在中間層或應(yīng)用層完成需求開發(fā)。久而久之，就會(huì)造成數(shù)據(jù)復(fù)用性低下，相同指標(biāo)的口徑封裝在不同的應(yīng)用表來滿足不同報(bào)表的需求，但隨著應(yīng)用的增多，很難保障相同指標(biāo)在不用應(yīng)用表封裝邏輯的一致性，數(shù)據(jù)一致性難以得到保障，同時(shí)這種方式還帶來兩個(gè)嚴(yán)重后果：第一，跨層引用增多，數(shù)據(jù)復(fù)用性低下，造成計(jì)算和存儲成本的浪費(fèi)；第二，一旦指標(biāo)口徑發(fā)生變化，將是一個(gè)“災(zāi)難”，不僅影響評估是一個(gè)問題，而且涉及該指標(biāo)的應(yīng)用層邏輯調(diào)整對RD來說也是一個(gè)巨大的挑戰(zhàn)。
治理前模型架構(gòu)
因此，我們在“由亂到治”的治理過程中，以衍生事實(shí)的方式實(shí)現(xiàn)業(yè)務(wù)口徑標(biāo)簽化，將業(yè)務(wù)邏輯下沉到主題層，消除跨層引用和模型冗余等問題，從技術(shù)層面保障數(shù)據(jù)一致性是該階段架構(gòu)治理的重點(diǎn)。我們在業(yè)務(wù)上，已經(jīng)劃分了嚴(yán)格的數(shù)據(jù)域和業(yè)務(wù)過程，在主題建設(shè)層面，將業(yè)務(wù)劃分的數(shù)據(jù)域作為我們的主題，并基于業(yè)務(wù)過程進(jìn)行維度建模，將屬于該業(yè)務(wù)過程的指標(biāo)口徑封裝在對應(yīng)業(yè)務(wù)過程下的衍生事實(shí)中。
治理后模型架構(gòu)
4.2.2 元數(shù)據(jù)治理
元數(shù)據(jù)治理主要解決三個(gè)問題：首先，通過建立相應(yīng)的組織、流程和工具，推動(dòng)業(yè)務(wù)標(biāo)準(zhǔn)的落地實(shí)施，實(shí)現(xiàn)指標(biāo)的規(guī)范定義，消除指標(biāo)認(rèn)知的歧義；其次，基于業(yè)務(wù)現(xiàn)狀和未來的演進(jìn)方式，對業(yè)務(wù)模型進(jìn)行抽象，制定清晰的主題、業(yè)務(wù)過程和分析方向，構(gòu)建完備的技術(shù)元數(shù)據(jù)，對物理模型進(jìn)行準(zhǔn)確完善的描述，并打通技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的關(guān)系，對物理模型進(jìn)行完備的刻畫；第三，通過元數(shù)據(jù)建設(shè)，為使用數(shù)據(jù)提效，解決“找數(shù)、理解數(shù)、評估”難題以及“取數(shù)、數(shù)據(jù)可視化”等難題。
首先，為保障業(yè)務(wù)標(biāo)準(zhǔn)的順利實(shí)施，實(shí)現(xiàn)業(yè)務(wù)對指標(biāo)認(rèn)知一致性這一目標(biāo)。我們協(xié)同產(chǎn)研、商分、業(yè)務(wù)部門推動(dòng)成立了度量衡委員會(huì)，并建立起指標(biāo)運(yùn)營機(jī)制，通過組織保障來實(shí)現(xiàn)指標(biāo)運(yùn)營按照規(guī)范的標(biāo)準(zhǔn)和流程實(shí)施。如下圖所示：
指標(biāo)注冊流程
其次，基于配送業(yè)務(wù)的現(xiàn)狀和未來演進(jìn)方式，我們進(jìn)行了高度的業(yè)務(wù)抽象，完成了主題、業(yè)務(wù)過程和分析方向等元數(shù)據(jù)內(nèi)容的建設(shè)。配送即物流，通過線上系統(tǒng)和線下運(yùn)營，我們將用戶的配送需求和美團(tuán)的運(yùn)力進(jìn)行有效的資源配置，實(shí)現(xiàn)高服務(wù)體驗(yàn)、低成本的配送服務(wù)。對外，我們將配送服務(wù)通過平臺化的方式，提供給用戶、商戶和電商平臺，以滿足不同用戶在不同業(yè)務(wù)場景下的配送需求。對內(nèi)，我們通過不同的調(diào)度模式將運(yùn)單池中的運(yùn)單調(diào)度給合適的騎手來完成履約，平衡規(guī)模、成本和體驗(yàn)之間的關(guān)系。如下圖所示：
配送業(yè)務(wù)模式抽象
基于以上的業(yè)務(wù)模式，我們劃分了運(yùn)單主題（對履約數(shù)據(jù)域下的數(shù)據(jù)進(jìn)行構(gòu)建，支撐規(guī)模和體驗(yàn)的數(shù)據(jù)分析需求）、調(diào)度主題（調(diào)度數(shù)據(jù)域下產(chǎn)生的數(shù)據(jù)，用于支撐調(diào)度策略的分析）、結(jié)算、評價(jià)、投訴、取消主題（用于支撐體驗(yàn)、成本數(shù)據(jù)分析需求）和管控主題（用于支撐運(yùn)力獎(jiǎng)懲、違規(guī)和招募分析需求）等各種主題，并在每個(gè)主題下劃分對應(yīng)的業(yè)務(wù)過程，在應(yīng)用層制定分析方向的分析標(biāo)簽，通過對元數(shù)據(jù)內(nèi)容的建設(shè)完成對業(yè)務(wù)的抽象，為物理模型的刻畫準(zhǔn)備了基礎(chǔ)數(shù)據(jù)。
第三，元數(shù)據(jù)服務(wù)建設(shè)，我們打通了元數(shù)據(jù)從采集到構(gòu)建再到應(yīng)用的整條鏈路，為使用數(shù)據(jù)提效，解決“找數(shù)、理解數(shù)、評估”難題以及“取數(shù)、數(shù)據(jù)可視化”難題。在整個(gè)建設(shè)過程中，我們圍繞著元數(shù)據(jù)采集、元模型構(gòu)建、元數(shù)據(jù)服務(wù)以及最后的產(chǎn)品應(yīng)用進(jìn)行展開，整體架構(gòu)如下圖所示：
元數(shù)據(jù)建設(shè)架構(gòu)圖
元數(shù)據(jù)采集
元數(shù)據(jù)采集分為人工錄入和自動(dòng)抽取，通過人工錄入的方式實(shí)現(xiàn)物理表的準(zhǔn)確歸屬（包括該表屬于倉庫哪一層、對應(yīng)的主題、業(yè)務(wù)過程、星型模型關(guān)系等）以及指標(biāo)的采集，從而完成技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的采集，通過自動(dòng)抽取的方式完成生產(chǎn)元數(shù)據(jù)的采集和使用元數(shù)據(jù)的采集，主要包括：物理模型的依賴關(guān)系、存儲占用、熱度、等信息。
元模型構(gòu)建
分為以物理表為核心的基礎(chǔ)元模型構(gòu)建，以及以血緣為中心的血緣元模型?；A(chǔ)元模型構(gòu)建以物理表為中心，打通其與技術(shù)元數(shù)據(jù)（主題、業(yè)務(wù)過程、Schema）的關(guān)系，實(shí)現(xiàn)了物理表的清晰歸屬，打通其與生產(chǎn)元數(shù)據(jù)的關(guān)系，為其加上了物理表查詢熱度、資源消耗、查詢密級等生產(chǎn)使用信息，打通其與指標(biāo)、維度和應(yīng)用的對應(yīng)關(guān)系，為上層的取數(shù)應(yīng)用建立了完備的元數(shù)據(jù)。血緣元模型以血緣為中心，不僅構(gòu)建了從上游業(yè)務(wù)表到倉庫離線表的物理血緣，而且打通了倉庫離線表到下游對應(yīng)報(bào)表的血緣，為后續(xù)的影響評估構(gòu)建了完備的元數(shù)據(jù)基礎(chǔ)。
元數(shù)據(jù)服務(wù)
統(tǒng)一元數(shù)據(jù)服務(wù)（OneService），主要提供兩類元數(shù)據(jù)服務(wù)，提供查詢表、指標(biāo)、維度基本信息的基礎(chǔ)元數(shù)據(jù)服務(wù)以及查詢表級血緣、字段級血緣的血緣服務(wù)。
元數(shù)據(jù)應(yīng)用
主要孵化出了三個(gè)產(chǎn)品，以“找數(shù)、理解數(shù)、影響評估”為應(yīng)用場景的數(shù)據(jù)地圖（Wherehows），以“取數(shù)、數(shù)據(jù)可視化”為應(yīng)用場景的數(shù)據(jù)可視化（QuickSight），以及以管理審計(jì)為目的的管理審計(jì)報(bào)表。
4.2.3 安全治理
安全治理主要加強(qiáng)了敏感數(shù)據(jù)的安全治理和數(shù)據(jù)共享環(huán)節(jié)的安全治理。通過對隱私數(shù)據(jù)的安全治理，不僅要保證其在存儲環(huán)節(jié)的不可見性，而且還要保證在其使用環(huán)節(jié)對用戶進(jìn)行雙重鑒權(quán)，字段的密級鑒權(quán)和解密的密鑰鑒權(quán)；通過對數(shù)據(jù)共享環(huán)節(jié)的安全治理，我們在數(shù)據(jù)分級分類的基礎(chǔ)上，使數(shù)據(jù)的權(quán)限控制從表級權(quán)限控制擴(kuò)展到行級權(quán)限控制。
敏感數(shù)據(jù)安全治理
敏感數(shù)據(jù)的安全治理，主要是解決敏感數(shù)據(jù)的存儲安全和使用安全。離線場景下，敏感數(shù)據(jù)存儲安全要解決兩大挑戰(zhàn)：
因此，為解決倉庫處理方案與上游業(yè)務(wù)系統(tǒng)和下游BI系統(tǒng)的解耦問題，我們在上游敏感數(shù)據(jù)落到ODS環(huán)節(jié)，確保落到ODS層的敏感數(shù)據(jù)必須是明文，為保障其安全，對ODS層的所有數(shù)據(jù)進(jìn)行文件加密，但是在使用層面，對下游鏈路透明保障下游鏈路的正常生產(chǎn)，并限制ODS層數(shù)據(jù)權(quán)限的開放。
ODS層數(shù)據(jù)只用于安全生產(chǎn)，通過此方案既屏蔽了上游處理方案對倉庫的影響，又解決了敏感數(shù)據(jù)的安全問題。當(dāng)數(shù)據(jù)從離開倉庫時(shí)，在傳輸環(huán)節(jié)對敏感數(shù)據(jù)進(jìn)行可逆操作，將敏感數(shù)據(jù)以明文的形式推入BI庫，實(shí)現(xiàn)與下游BI系統(tǒng)的解耦。為解決敏感數(shù)據(jù)在整個(gè)生產(chǎn)鏈路的擴(kuò)散，我們在快照層對敏感數(shù)據(jù)進(jìn)行脫敏處理，從快照層開始消除敏感數(shù)據(jù)，為保障敏感數(shù)據(jù)的可逆性，將ODS層的敏感數(shù)據(jù)抽取到安全庫中并進(jìn)行加密存儲，實(shí)現(xiàn)安全獨(dú)立管理。具體執(zhí)行如下圖所示：
針對敏感數(shù)據(jù)的使用安全，我們通過對敏感字段的權(quán)限控制和對解密密鑰的權(quán)限控制，來實(shí)現(xiàn)敏感數(shù)據(jù)使用安全這一目標(biāo)。針對單獨(dú)抽取的敏感數(shù)據(jù)，我們除了針對敏感數(shù)據(jù)設(shè)置其相應(yīng)的密級確保敏感數(shù)據(jù)的權(quán)限管控外，還基于"暗語"的加密方式為每個(gè)項(xiàng)目組分配一個(gè)相同的密鑰，并且將該密鑰存放到與Hadoop集群集成的KMS進(jìn)行管理（確保支撐離線計(jì)算的高并發(fā)），確保解密時(shí)實(shí)現(xiàn)密鑰的權(quán)限管控。
共享環(huán)節(jié)安全治理
針對共享環(huán)節(jié)的安全治理，我們主要是在數(shù)據(jù)生產(chǎn)環(huán)節(jié)完成數(shù)據(jù)的分級分類和數(shù)據(jù)確權(quán)，在數(shù)據(jù)的使用環(huán)節(jié)完成數(shù)據(jù)的表級權(quán)限控制和行級權(quán)限控制。確保數(shù)據(jù)在使用環(huán)節(jié)規(guī)范的審批流轉(zhuǎn)，權(quán)限開放以后的安全審計(jì)，保證數(shù)據(jù)走不脫。
首先，我們在生產(chǎn)環(huán)節(jié)B3、B2、B1層數(shù)據(jù)按照主題或?qū)嶓wC層數(shù)據(jù)按照應(yīng)用方向進(jìn)行邏輯劃分，并設(shè)定資源的密級和權(quán)限負(fù)責(zé)人。特別地為實(shí)現(xiàn)B3層數(shù)據(jù)在查詢環(huán)節(jié)可按照業(yè)務(wù)線進(jìn)行權(quán)限管控這一目標(biāo)（即行級鑒權(quán)），針對B3層數(shù)據(jù)，我們標(biāo)記該數(shù)據(jù)需要在查詢環(huán)節(jié)進(jìn)行行級權(quán)限管控，標(biāo)記使用行級鑒權(quán)所需的字段和該字段對應(yīng)的枚舉值。
其次，在使用環(huán)節(jié)，我們按照資產(chǎn)密級和使用人角色完成數(shù)據(jù)的審批流轉(zhuǎn)，實(shí)現(xiàn)數(shù)據(jù)的安全共享。
第三，針對B3層數(shù)據(jù)，審計(jì)是否設(shè)置了行級權(quán)限管控。在數(shù)據(jù)開放時(shí)是否存在越權(quán)使用的情況，以及針對即將離職員工加強(qiáng)數(shù)據(jù)的使用審計(jì)，保證數(shù)據(jù)走不脫。
在數(shù)據(jù)“由亂到治”的治理過程中，我們不僅實(shí)現(xiàn)了存量數(shù)據(jù)的“由亂到治”，并且在此過程中沉淀出了一系列的建模方法論、工具，并建立了相應(yīng)的安全小組和指標(biāo)運(yùn)營組織。同時(shí)，我們?yōu)楹罄m(xù)增量數(shù)據(jù)治理確保數(shù)據(jù)建設(shè)“行不逾矩”，提供了強(qiáng)有力的組織保障、穩(wěn)定的輔助工具和嚴(yán)格的執(zhí)行標(biāo)準(zhǔn)。在數(shù)據(jù)治理的第二階段實(shí)現(xiàn)增量數(shù)據(jù)的“行不逾矩”的過程中，我們主要圍繞大數(shù)據(jù)架構(gòu)審計(jì)、大數(shù)據(jù)安全與隱私管理審計(jì)、大數(shù)據(jù)質(zhì)量管理審計(jì)和大數(shù)據(jù)生命周期管理審計(jì)這四方面的工作展開，保障治理工作的持續(xù)進(jìn)行，不斷提高了組織的治理水平。
5. 工具簡介
5.1 數(shù)據(jù)地圖（Wherehows）
數(shù)據(jù)地圖作為元數(shù)據(jù)應(yīng)用的一個(gè)產(chǎn)品，聚焦于數(shù)據(jù)使用者的“找數(shù)”場景，實(shí)現(xiàn)檢索數(shù)據(jù)和理解數(shù)據(jù)的“找數(shù)”訴求。我們通過對離線數(shù)據(jù)集和在線數(shù)據(jù)集的元數(shù)據(jù)刻畫，滿足了用戶找數(shù)和理解數(shù)的訴求，通過血緣圖譜，完成物理表到產(chǎn)品的血緣建設(shè)，消除用戶人肉評估的痛苦。
離線數(shù)據(jù)場景
1. 關(guān)鍵字檢索和向?qū)Р樵児餐鉀Q了“找數(shù)據(jù)”的問題：大部分的檢索數(shù)據(jù)場景下，數(shù)據(jù)使用者都可以通過關(guān)鍵字檢索來得到匹配結(jié)果。剩下的一小部分場景，例如，對于新人入職后如何了解整個(gè)數(shù)倉和指標(biāo)的體系（數(shù)倉分幾層，每層解決什么問題，都孵化出什么模型；整個(gè)指標(biāo)、維度體系都是怎么分類，有哪些指標(biāo)和維度），這部分場景可以使用向?qū)Р樵児δ堋Ｏ驅(qū)Р樵兿喈?dāng)于分類查詢，將表和指標(biāo)按照業(yè)務(wù)過程進(jìn)行分類，用戶可以按照分類逐步找到想要的表或指標(biāo)。
2. 我們打通了業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)之間的關(guān)系，提高了“找數(shù)據(jù)”的能力：通過“Wherehows”查找到指標(biāo)后，不僅不可查看指標(biāo)的業(yè)務(wù)定義，還能查看指標(biāo)的技術(shù)實(shí)現(xiàn)邏輯，指標(biāo)在哪些維度或維度組合中已經(jīng)實(shí)現(xiàn)，并且能夠在哪張表里找到這些維度，或維度組合的指標(biāo)數(shù)據(jù)。反之，也可以知道在某個(gè)維度下已經(jīng)實(shí)現(xiàn)了哪些指標(biāo)，對應(yīng)的指標(biāo)在哪些表里。這些功能能讓用戶更加方便地找到想要的數(shù)據(jù)。
3. 我們提供了較為完善的數(shù)據(jù)信息，幫助用戶更好理解數(shù)據(jù)：對于表的信息，“Wherehows”除了提供表和字段的中英文名稱、描述信息等基礎(chǔ)信息外，為了幫助用戶更好地理解表的建設(shè)思路，我們還提供了表的星型模型（可以關(guān)聯(lián)的一致性維度及對應(yīng)的維度表）、表的血緣關(guān)系等信息。
4. 我們通過評論問答功能，幫助用戶可以快速得到問題反饋：如果用戶看了信息后還是感到有問題，“Wherehows”提供評論問答的功能，用戶通過這個(gè)功能可以進(jìn)行提問，會(huì)有相應(yīng)的負(fù)責(zé)人進(jìn)行回復(fù)。對于重復(fù)問反復(fù)問的問題，用戶通過查看其它人的提問和回復(fù)就能找到答案。并且負(fù)責(zé)人還會(huì)定期的將問答信息沉淀到對應(yīng)的元數(shù)據(jù)里，不斷地對元數(shù)據(jù)進(jìn)行補(bǔ)充和完善。
業(yè)務(wù)數(shù)據(jù)場景
業(yè)務(wù)數(shù)據(jù)場景主要想解決的一個(gè)問題是，如何知道一個(gè)業(yè)務(wù)表（MySQL表）有沒有同步到數(shù)倉。如果沒有同步，能夠找誰進(jìn)行同步。因?yàn)橐呀?jīng)打通“業(yè)務(wù)表 -> 數(shù)倉表 -> 產(chǎn)品”三者之間的血緣關(guān)系，我們能夠輕松解決業(yè)務(wù)數(shù)據(jù)場景的問題。
生產(chǎn)評估場景
在日常數(shù)據(jù)生產(chǎn)工作中，我們經(jīng)常需要對表進(jìn)行影響評估、故障排查、鏈路分析等工作，這些工作如果靠純?nèi)斯とプ觯M(fèi)時(shí)費(fèi)力。但現(xiàn)在我們已經(jīng)打通了“業(yè)務(wù)表/字段 -> 數(shù)倉表/字段 -> 產(chǎn)品”三者之間的血緣關(guān)系，就能夠在10分鐘內(nèi)完成評估工作。對于不同的場景，血緣鏈路提供了兩個(gè)便捷的功能：過濾和剪枝。例如，某個(gè)表邏輯需要修改，需要看影響哪些下游表或產(chǎn)品？應(yīng)該要通知哪些RD和PM？這種情況下，血緣工具直觀地顯示影響了哪些負(fù)責(zé)人和產(chǎn)品，以及這個(gè)表的下游鏈路。
有些表的鏈路很長，整個(gè)血緣關(guān)系圖很大，這樣會(huì)導(dǎo)致用戶定位信息或問題。所以血緣工具提供了剪枝的功能，對于沒用的、不想看到的分支可以剪掉，從而讓整個(gè)鏈路變得更加直觀。
5.2 數(shù)據(jù)可視化（QuickSight）
聚焦于數(shù)據(jù)使用者“取數(shù)”場景，使用QuickSight，用戶可以不再關(guān)心數(shù)據(jù)的來源，不再擔(dān)心數(shù)據(jù)的一致性，不再依賴RD的排期開發(fā)。通過所選即所得的方式，滿足了用戶對業(yè)務(wù)核心指標(biāo)的二次加工、報(bào)表和取數(shù)訴求。首先，我們通過指標(biāo)池、數(shù)據(jù)集等概念對離線生產(chǎn)的指標(biāo)進(jìn)行邏輯隔離，針對不同用戶開發(fā)不同的數(shù)據(jù)集以達(dá)到權(quán)限控制的目的，如下圖所示：
用戶、指標(biāo)池與數(shù)據(jù)集間的關(guān)系
其次，我們?yōu)橛脩籼峁┮幌盗械慕M件，幫助用戶基于為其開放的數(shù)據(jù)集實(shí)現(xiàn)指標(biāo)的二次加工和數(shù)據(jù)可視化功能，滿足其在不同業(yè)務(wù)場景下的取數(shù)和可視化應(yīng)用。如下圖所示：
指標(biāo)加工組件
6. 總結(jié)與展望
經(jīng)過三個(gè)階段的治理工作，我們在各個(gè)方面都取得了較好的效果：
在數(shù)據(jù)標(biāo)準(zhǔn)方面，我們制定了業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)、安全標(biāo)準(zhǔn)、資源管理標(biāo)準(zhǔn)，從而保障了數(shù)據(jù)生產(chǎn)、管理、使用合規(guī)。
在數(shù)據(jù)架構(gòu)方面，我們通過橋接表、時(shí)間刻度化、業(yè)務(wù)口徑下沉等手段提升模型靈活性，并保障數(shù)據(jù)一致性，消除跨層引用和模型冗余等問題。
在數(shù)據(jù)安全方面，我們加強(qiáng)了對敏感數(shù)據(jù)和數(shù)據(jù)共享環(huán)節(jié)的安全治理，保證數(shù)據(jù)拿不走、走不脫，隱私數(shù)據(jù)看不懂。
在元數(shù)據(jù)建設(shè)方面，我們打通了從采集到構(gòu)建再到應(yīng)用的整條鏈路，并為數(shù)據(jù)使用人員提供數(shù)據(jù)地圖、數(shù)據(jù)可視化等元數(shù)據(jù)應(yīng)用產(chǎn)品，幫助他們解決了“找數(shù)”、“取數(shù)”、“影響評估”等難題。
未來，我們還會(huì)繼續(xù)通過組織、規(guī)范、流程等手段持續(xù)對數(shù)據(jù)安全、資源利用、數(shù)據(jù)質(zhì)量等各方面進(jìn)行治理，并在數(shù)據(jù)易用性上下功夫，持續(xù)降低用戶的數(shù)據(jù)使用成本。
在數(shù)據(jù)架構(gòu)方面，隨著數(shù)據(jù)庫技術(shù)的飛速進(jìn)步，現(xiàn)在已經(jīng)有很多數(shù)據(jù)庫能夠支持千萬級乃至億級數(shù)據(jù)的現(xiàn)算先用，我們也在嘗試使用這些數(shù)據(jù)庫幫助提升數(shù)據(jù)開發(fā)效率，改善數(shù)倉分層管理和應(yīng)用支撐效率。
在數(shù)據(jù)產(chǎn)品方面，我們將持續(xù)完善數(shù)據(jù)地圖、數(shù)據(jù)可視化等數(shù)據(jù)應(yīng)用產(chǎn)品，幫助用戶快速探查、高效分析，真正發(fā)揮數(shù)據(jù)的業(yè)務(wù)價(jià)值。
歡迎點(diǎn)贊+收藏+轉(zhuǎn)發(fā)朋友圈素質(zhì)三連
文章不錯(cuò)？點(diǎn)個(gè)【在看】吧！
