華為數(shù)據(jù)治理及數(shù)據(jù)分類管理實(shí)踐

回復(fù)”資源“獲取更多資源

2017 年華為提出了企業(yè)的新愿景：“把數(shù)字世界帶入每個(gè)人、每個(gè)家庭、每個(gè)組織，構(gòu)建萬(wàn)物互聯(lián)的智能世界”。同時(shí)， 華為公司董事、CIO 陶景文提出了“實(shí)現(xiàn)全聯(lián)接的智能華為，成為行業(yè)標(biāo)桿”的數(shù)字化轉(zhuǎn)型目標(biāo)（如圖 1 所示）。

圖 1 數(shù)字化轉(zhuǎn)型目標(biāo)

隨后，華為基于愿景確定了數(shù)字化轉(zhuǎn)型的藍(lán)圖和框架， 統(tǒng)一規(guī)劃、分層次開(kāi)展，最終實(shí)現(xiàn)客戶交互方式的轉(zhuǎn)變，實(shí)現(xiàn)內(nèi)部運(yùn)營(yíng)效率和效益的提升。華為數(shù)字化轉(zhuǎn)型藍(lán)圖包括 5 項(xiàng)舉措（如圖 2 所示）。

圖 2 華為數(shù)字化轉(zhuǎn)型藍(lán)圖

其中，舉措 4 涉及數(shù)據(jù)治理和數(shù)字化運(yùn)營(yíng)，是華為數(shù)字化轉(zhuǎn)型的關(guān)鍵，承接了打破數(shù)據(jù)孤島、確保源頭數(shù)據(jù)準(zhǔn)確、促進(jìn)數(shù)據(jù)共享、保障數(shù)據(jù)隱私與安全等目標(biāo)。華為從 2007 年開(kāi)始啟動(dòng)數(shù)據(jù)治理，歷經(jīng)兩個(gè)階段的持續(xù)變革，系統(tǒng)地建立了華為數(shù)據(jù)管理體系。

第一階段：2007 ～ 2016 年

在這一階段，華為設(shè)立數(shù)據(jù)管理專業(yè)組織，建立數(shù)據(jù)管理框架，發(fā)布數(shù)據(jù)管理政策，任命數(shù)據(jù) Owner，通過(guò)統(tǒng)一信息架構(gòu)與標(biāo)準(zhǔn)、唯一可信的數(shù)據(jù)源、有效的數(shù)據(jù)質(zhì)量度量改進(jìn)機(jī)制，實(shí)現(xiàn)了以下目標(biāo)。

1. 持續(xù)提升數(shù)據(jù)質(zhì)量，減少糾錯(cuò)成本：通過(guò)數(shù)據(jù)質(zhì)量度量與持續(xù)改進(jìn)，確保數(shù)據(jù)真實(shí)反映業(yè)務(wù)，降低運(yùn)營(yíng)風(fēng)險(xiǎn)。

2. 數(shù)據(jù)全流程貫通，提升業(yè)務(wù)運(yùn)作效率：通過(guò)業(yè)務(wù)數(shù)字化、標(biāo)準(zhǔn)化，借助 IT 技術(shù)，實(shí)現(xiàn)業(yè)務(wù)上下游信息快速傳遞、共享。

第二階段：2017 年至今

在這一階段，華為建設(shè)數(shù)據(jù)底座，匯聚企業(yè)全域數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行聯(lián)接，通過(guò)數(shù)據(jù)服務(wù)、數(shù)據(jù)地圖、數(shù)據(jù)安全防護(hù)與隱私保護(hù)，實(shí)現(xiàn)了數(shù)據(jù)隨需共享、敏捷自助、安全透明的目標(biāo)，支撐著華為數(shù)字化轉(zhuǎn)型，實(shí)現(xiàn)了如下的數(shù)據(jù)價(jià)值。

1. 業(yè)務(wù)可視，能夠快速、準(zhǔn)確決策：通過(guò)數(shù)據(jù)匯聚，實(shí)現(xiàn)業(yè)務(wù)狀態(tài)透明可視，提供基于“事實(shí)”的決策支持依據(jù)。

2. 人工智能，實(shí)現(xiàn)業(yè)務(wù)自動(dòng)化：通過(guò)業(yè)務(wù)規(guī)則數(shù)字化、算法化，嵌入業(yè)務(wù)流，逐步替代人工判斷。

3. 數(shù)據(jù)創(chuàng)新，成為差異化競(jìng)爭(zhēng)優(yōu)勢(shì)：基于數(shù)據(jù)的用戶洞察， 發(fā)現(xiàn)新的市場(chǎng)機(jī)會(huì)點(diǎn)。

圖 3 華為數(shù)據(jù)治理的發(fā)展歷程

華為根據(jù)數(shù)據(jù)特性及治理方法的不同對(duì)數(shù)據(jù)進(jìn)行了分類定義：內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)。其中，結(jié)構(gòu)化數(shù)據(jù)又進(jìn)一步劃分為基礎(chǔ)數(shù)據(jù)、主數(shù)據(jù)、事務(wù)數(shù)據(jù)、報(bào)告數(shù)據(jù)、觀測(cè)數(shù)據(jù)和規(guī)則數(shù)據(jù)。華為數(shù)據(jù)分類管理框架如圖 4 所示。

圖 4 華為數(shù)據(jù)分類管理框架

不同分類的數(shù)據(jù)，其治理方法有所不同。如基礎(chǔ)數(shù)據(jù)內(nèi)容的變更通常會(huì)對(duì)現(xiàn)有流程、IT 系統(tǒng)產(chǎn)生影響，因此基礎(chǔ)數(shù)據(jù)的管理重點(diǎn)在于變更管理和統(tǒng)一標(biāo)準(zhǔn)管控。主數(shù)據(jù)的錯(cuò)誤可能會(huì)導(dǎo)致成百上千的事務(wù)數(shù)據(jù)錯(cuò)誤，因此主數(shù)據(jù)的管理重點(diǎn)是確保同源多用、重點(diǎn)進(jìn)行數(shù)據(jù)內(nèi)容的校驗(yàn)等。

結(jié)構(gòu)化數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)、主數(shù)據(jù)、事務(wù)數(shù)據(jù)、報(bào)告數(shù)據(jù)、觀測(cè)數(shù)據(jù)、規(guī)則數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)的共同特點(diǎn)是以信息架構(gòu)為基礎(chǔ)，建立統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標(biāo)準(zhǔn)與模型。下面將重點(diǎn)介紹六類結(jié)構(gòu)化數(shù)據(jù)的治理方法。

1. 基礎(chǔ)數(shù)據(jù)治理

基礎(chǔ)數(shù)據(jù)用于對(duì)其他數(shù)據(jù)進(jìn)行分類，在業(yè)界也稱作參考數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)通常是靜態(tài)的（如國(guó)家、幣種），一般在業(yè)務(wù)事件發(fā)生之前就已經(jīng)預(yù)先定義。它的可選值數(shù)量有限，可以用作業(yè)務(wù)或 IT 的開(kāi)關(guān)和判斷條件。當(dāng)基礎(chǔ)數(shù)據(jù)的取值發(fā)生變化的時(shí)候，通常需要對(duì)流程和 IT 系統(tǒng)進(jìn)行分析和修改，以滿足業(yè)務(wù)需求。因此， 基礎(chǔ)數(shù)據(jù)的管理重點(diǎn)在于變更管理和統(tǒng)一標(biāo)準(zhǔn)管控。

基礎(chǔ)數(shù)據(jù)在支撐場(chǎng)景分流、流程自動(dòng)化、提升分析質(zhì)量方面起著關(guān)鍵作用，治理基礎(chǔ)數(shù)據(jù)的價(jià)值如圖 5 所示。

圖 5 基礎(chǔ)數(shù)據(jù)治理的價(jià)值

因此，有效地管理基礎(chǔ)數(shù)據(jù)對(duì)企業(yè)來(lái)說(shuō)可以產(chǎn)生巨大的收益。華為建立了一個(gè)完整的基礎(chǔ)數(shù)據(jù)管理框架（如圖 6 所示）， 通過(guò)明確各方的管理責(zé)任、發(fā)布相關(guān)的流程和規(guī)范以及建立基礎(chǔ)數(shù)據(jù)管理平臺(tái)等來(lái)確保基礎(chǔ)數(shù)據(jù)的有效管理。

圖 6 基礎(chǔ)數(shù)據(jù)治理框架

2. 主數(shù)據(jù)治理

主數(shù)據(jù)是參與業(yè)務(wù)事件的主體或資源，是具有高業(yè)務(wù)價(jià)值的、跨流程和跨系統(tǒng)重復(fù)使用的數(shù)據(jù)。主數(shù)據(jù)與基礎(chǔ)數(shù)據(jù)有一定的相似性，都是在業(yè)務(wù)事件發(fā)生之前預(yù)先定義；但又與基礎(chǔ)數(shù)據(jù)不同，主數(shù)據(jù)的取值不受限于預(yù)先定義的數(shù)據(jù)范圍，而且主數(shù)據(jù)的記錄的增加和減少一般不會(huì)影響流程和 IT 系統(tǒng)的變化。但是， 主數(shù)據(jù)的錯(cuò)誤可能導(dǎo)致成百上千的事務(wù)數(shù)據(jù)錯(cuò)誤，因此主數(shù)據(jù)最重要的管理要求是確保同源多用和重點(diǎn)進(jìn)行數(shù)據(jù)內(nèi)容的校驗(yàn)。華為的主數(shù)據(jù)管理策略如圖 7 所示。

圖 7 主數(shù)據(jù)治理策略

華為的主數(shù)據(jù)范圍包括客戶、產(chǎn)品、供應(yīng)商、組織、人員主題，每個(gè)主數(shù)據(jù)都有相應(yīng)的架構(gòu)、流程及管控組織來(lái)負(fù)責(zé)管理。

鑒于主數(shù)據(jù)管理的重要性，對(duì)于每個(gè)重要的主數(shù)據(jù)，都會(huì)發(fā)布相應(yīng)的管理規(guī)范，數(shù)據(jù)管家依據(jù)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)定期進(jìn)行數(shù)據(jù)質(zhì)量的度量與改進(jìn)。

同時(shí)，對(duì)于主數(shù)據(jù)的集成消費(fèi)按照如下管理框架進(jìn)行管理。

• 數(shù)據(jù)消費(fèi)層：數(shù)據(jù)消費(fèi)層包括所有消費(fèi)數(shù)據(jù)的 IT 產(chǎn)品團(tuán)隊(duì)，負(fù)責(zé)提出數(shù)據(jù)集成需求和集成接口實(shí)施。

圖 8 主數(shù)據(jù)治理框架

• 主數(shù)據(jù)服務(wù)實(shí)施層：負(fù)責(zé)主數(shù)據(jù)集成解決方案的落地， 包括數(shù)據(jù)服務(wù)的 IT 實(shí)施和數(shù)據(jù)服務(wù)的配置管理。

• 主數(shù)據(jù)服務(wù)設(shè)計(jì)層：為需要集成主數(shù)據(jù)的 IT 產(chǎn)品團(tuán)隊(duì)提供咨詢和方案服務(wù)，負(fù)責(zé)受理主數(shù)據(jù)集成需求，制定主數(shù)據(jù)集成解決方案，維護(hù)主數(shù)據(jù)的通用數(shù)據(jù)模型。

• 管控層：管控層由信息架構(gòu)專家組擔(dān)任，負(fù)責(zé)主數(shù)據(jù)規(guī)則的制定與發(fā)布，以及主數(shù)據(jù)集成爭(zhēng)議或例外的決策。

3. 事務(wù)數(shù)據(jù)治理

事務(wù)數(shù)據(jù)在業(yè)務(wù)和流程中產(chǎn)生，是業(yè)務(wù)事件的記錄，其本身就是業(yè)務(wù)運(yùn)作的一部分。事務(wù)數(shù)據(jù)是具有較強(qiáng)時(shí)效性的一次性業(yè)務(wù)事件，通常在事件結(jié)束后不再更新。

事務(wù)數(shù)據(jù)會(huì)調(diào)用主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)。以客戶框架合同為例， 核心屬性有 32 個(gè)，其中調(diào)用基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù) 24 個(gè)，占 75% ；客戶框架合同本身特有的屬性 8 個(gè)，占 25%。同時(shí)，框架合同也引用了機(jī)會(huì)點(diǎn)的編碼和投標(biāo)項(xiàng)目的編碼等事務(wù)數(shù)據(jù)的信息。

因此，事務(wù)數(shù)據(jù)的治理重點(diǎn)就是管理好事務(wù)數(shù)據(jù)對(duì)主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)的調(diào)用，以及事務(wù)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，確保上下游信息傳遞順暢。在事務(wù)數(shù)據(jù)的信息架構(gòu)中需明確哪些屬性是引用其他業(yè)務(wù)對(duì)象的，哪些是其自身特有的。對(duì)于引用的基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)，要盡可能調(diào)用而不是重新創(chuàng)建。

4. 報(bào)告數(shù)據(jù)治理

報(bào)告數(shù)據(jù)是指對(duì)數(shù)據(jù)進(jìn)行處理加工后，用作業(yè)務(wù)決策依據(jù)的數(shù)據(jù)。它用于支持報(bào)告和報(bào)表的生成。

用于報(bào)告和報(bào)表的數(shù)據(jù)可以分為如下幾種：

• 用于報(bào)表項(xiàng)數(shù)據(jù)生成的事實(shí)表、指標(biāo)數(shù)據(jù)、維度。

• 用于報(bào)表項(xiàng)統(tǒng)計(jì)和計(jì)算的統(tǒng)計(jì)函數(shù)、趨勢(shì)函數(shù)及報(bào)告規(guī)則。

• 用于報(bào)表和報(bào)告展示的序列關(guān)系數(shù)據(jù)。

• 用于報(bào)表項(xiàng)描述的主數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、事務(wù)數(shù)據(jù)、觀測(cè)數(shù)據(jù)。

• 用于對(duì)報(bào)告進(jìn)行補(bǔ)充說(shuō)明的非結(jié)構(gòu)化數(shù)據(jù)。

報(bào)告數(shù)據(jù)涵蓋的范圍較廣，如主數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)等，這些數(shù)據(jù)類別本身已經(jīng)有相應(yīng)的管理機(jī)制和規(guī)范，這里我們重點(diǎn)對(duì)部分新的細(xì)分?jǐn)?shù)據(jù)類型進(jìn)行說(shuō)明。

事實(shí)表：從業(yè)務(wù)活動(dòng)或者事件中提煉出來(lái)的性能度量。其特點(diǎn)為：

• 每個(gè)事實(shí)表由顆粒度屬性、維度屬性、事務(wù)描述屬性、度量屬性組成；

• 事實(shí)表可以分為基于明細(xì)構(gòu)建的事實(shí)表和基于明細(xì)做過(guò)匯聚的事實(shí)表。

維度：用于觀察和分析業(yè)務(wù)數(shù)據(jù)的視角，支持對(duì)數(shù)據(jù)進(jìn)行匯聚、鉆取、切片分析。其特點(diǎn)為：

• 維度的數(shù)據(jù)一般來(lái)源于基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)；

• 維度的數(shù)據(jù)一般用于分析視角的分類；

• 維度的數(shù)據(jù)一般有層級(jí)關(guān)系，可以向下鉆取和向上聚合形成新的維度。

統(tǒng)計(jì)型函數(shù)：與指標(biāo)高度相關(guān)，是對(duì)指標(biāo)數(shù)量特征進(jìn)一步的數(shù)學(xué)統(tǒng)計(jì)，例如均值、中位數(shù)、總和、方差等。其特點(diǎn)為：

• 通常反映某一維度下指標(biāo)的聚合情況、離散情況等特征；
  

• 其計(jì)算數(shù)值在報(bào)告中通常呈現(xiàn)為圖表中的參考線。

趨勢(shì)型函數(shù)：反映指標(biāo)在時(shí)間維度上變化情況的統(tǒng)計(jì)方式，例如同比、環(huán)比、定基比等。其特點(diǎn)為：

• 通常將當(dāng)期值與歷史某時(shí)點(diǎn)值進(jìn)行比較；
  

• 調(diào)用時(shí)，需要收集指標(biāo)的歷史表現(xiàn)數(shù)據(jù)；

• 其計(jì)算數(shù)值在報(bào)告中通常呈現(xiàn)為圖表中的趨勢(shì)線。

報(bào)告規(guī)則數(shù)據(jù)：一種描述業(yè)務(wù)決策或過(guò)程的陳述，通常是基于某些約束下產(chǎn)生的結(jié)論或需要采取的某種措施。其特點(diǎn)為：

• 將業(yè)務(wù)邏輯通過(guò)函數(shù)運(yùn)算體現(xiàn)，通常一個(gè)規(guī)則包含多個(gè)運(yùn)算和判斷條件；

• 規(guī)則的計(jì)算結(jié)果一般不直接輸出，需要基于計(jì)算結(jié)果翻譯成業(yè)務(wù)語(yǔ)言后輸出；

• 規(guī)則通常與參數(shù)表密切相關(guān)。

• 序列關(guān)系數(shù)據(jù)：反映報(bào)告中指標(biāo)及其他數(shù)據(jù)序列關(guān)系的數(shù)據(jù)。
  

5. 觀測(cè)數(shù)據(jù)治理

觀測(cè)數(shù)據(jù)是通過(guò)觀測(cè)工具獲取的數(shù)據(jù)，觀測(cè)對(duì)象一般為人、事、物、環(huán)境。

相比傳統(tǒng)數(shù)據(jù)，觀測(cè)數(shù)據(jù)通常數(shù)據(jù)量較大且是過(guò)程性的，由機(jī)器自動(dòng)采集生成。不同感知方式獲取的觀測(cè)數(shù)據(jù)，其數(shù)據(jù)資產(chǎn)管理要素不同。

觀測(cè)數(shù)據(jù)的感知方式可分為軟感知和硬感知。軟感知是使用軟件或者各種技術(shù)進(jìn)行數(shù)據(jù)收集，收集的對(duì)象存在于數(shù)字世界， 通常不依賴于物理設(shè)備，一般是自動(dòng)運(yùn)行的程序或腳本；硬感知是利用設(shè)備或裝置進(jìn)行數(shù)據(jù)收集，收集的對(duì)象為物理世界中的物理實(shí)體，或者是以物理實(shí)體為載體的信息，其數(shù)據(jù)的感知過(guò)程是數(shù)據(jù)從物理世界向數(shù)字世界的轉(zhuǎn)化過(guò)程。

觀測(cè)數(shù)據(jù)的特征有如下幾點(diǎn)：觀測(cè)數(shù)據(jù)通常數(shù)據(jù)量較大且是過(guò)程性的，主要用作監(jiān)控分析。例如，視頻監(jiān)控器產(chǎn)生的視頻數(shù)據(jù)、操作系統(tǒng)產(chǎn)生的日志記錄數(shù)據(jù)等。

圖 9  觀測(cè)數(shù)據(jù)管理模型

觀測(cè)工具的元數(shù)據(jù)可以作為數(shù)據(jù)資產(chǎn)管理：軟感知（埋點(diǎn)、日志收集、爬蟲(chóng)）觀測(cè)工具抽象成業(yè)務(wù)對(duì)象，由 IT 部門(mén)擔(dān)任數(shù)據(jù) Owner 進(jìn)行統(tǒng)一管理；硬感知觀測(cè)工具作為資源類數(shù)據(jù)，也建議作為業(yè)務(wù)對(duì)象由相應(yīng)的領(lǐng)域擔(dān)任數(shù)據(jù) Owner 進(jìn)行管理。

原則上，觀測(cè)對(duì)象要定義成業(yè)務(wù)對(duì)象進(jìn)行管理，這是觀測(cè)數(shù)據(jù)管理的前提條件。

觀測(cè)數(shù)據(jù)需要記錄觀測(cè)工具、觀測(cè)對(duì)象。針對(duì)不同感知方式獲取的觀測(cè)數(shù)據(jù)，其資產(chǎn)管理方案也不盡相同。例如，以用戶界面瀏覽記錄為例，如果是對(duì)銷售機(jī)會(huì)點(diǎn)的查詢?cè)L問(wèn)觀測(cè)，應(yīng)當(dāng)歸屬到相應(yīng)業(yè)務(wù)領(lǐng)域；如果是對(duì)頁(yè)面性能、頁(yè)面 UV、PV 的觀測(cè)， 應(yīng)當(dāng)歸屬到 IT 部門(mén)。

6. 規(guī)則數(shù)據(jù)治理

在業(yè)務(wù)規(guī)則管理方面，華為經(jīng)常面對(duì)“各種業(yè)務(wù)場(chǎng)景業(yè)務(wù)規(guī)則不同，記不住，找不到”“大量規(guī)則在政策、流程等文件中承載，難以遵守”“各國(guó)規(guī)則均不同，IT 能否一國(guó)一策、快速上線”等問(wèn)題。

規(guī)則數(shù)據(jù)是結(jié)構(gòu)化描述業(yè)務(wù)規(guī)則變量（一般為決策表、關(guān)聯(lián)關(guān)系表、評(píng)分卡等形式）的數(shù)據(jù)，是實(shí)現(xiàn)業(yè)務(wù)規(guī)則的核心數(shù)據(jù)， 如業(yè)務(wù)中普遍存在的基線數(shù)據(jù)。

規(guī)則數(shù)據(jù)主要有以下特征：

• 規(guī)則數(shù)據(jù)不可實(shí)例化；

• 規(guī)則數(shù)據(jù)包含判斷條件和決策結(jié)果兩部分信息，區(qū)別于描述事物分類信息的基礎(chǔ)數(shù)據(jù)；

• 規(guī)則數(shù)據(jù)的結(jié)構(gòu)在縱向（列）、橫向（行）兩個(gè)維度上相對(duì)穩(wěn)定，變化形式多為內(nèi)容刷新；

• 規(guī)則數(shù)據(jù)的變更對(duì)業(yè)務(wù)活動(dòng)的影響是大范圍的。

其基本原則為：

• 規(guī)則數(shù)據(jù)的管理是為了支撐業(yè)務(wù)規(guī)則的結(jié)構(gòu)化、信息化、數(shù)字化，目標(biāo)是實(shí)現(xiàn)規(guī)則的可配置、可視化、可追溯。

• 不同于標(biāo)準(zhǔn)化的信息架構(gòu)管理，規(guī)則數(shù)據(jù)的管理具有輕量化、分級(jí)的特點(diǎn)。重要的、調(diào)用量大、變動(dòng)頻繁的業(yè)務(wù)規(guī)則需要通過(guò)規(guī)則數(shù)據(jù)管理，使其從代碼中解耦，進(jìn)行資產(chǎn)注冊(cè)；使用廣泛的、有分析需求的規(guī)則數(shù)據(jù)需要通過(guò)注冊(cè)入湖，實(shí)現(xiàn)共享和復(fù)用。

• 業(yè)務(wù)規(guī)則在架構(gòu)層次上與流程中的業(yè)務(wù)活動(dòng)相關(guān)聯(lián)，是業(yè)務(wù)活動(dòng)的指導(dǎo)和依據(jù)，業(yè)務(wù)活動(dòng)的結(jié)果通過(guò)該業(yè)務(wù)活動(dòng)的相關(guān)業(yè)務(wù)對(duì)象的屬性來(lái)記錄。業(yè)務(wù)規(guī)則通過(guò)業(yè)務(wù)活動(dòng)對(duì)業(yè)務(wù)事實(shí)、業(yè)務(wù)行為進(jìn)行限制，業(yè)務(wù)人員可以根據(jù)業(yè)務(wù)規(guī)則判斷業(yè)務(wù)情況，采取具體行動(dòng)。

• 業(yè)務(wù)規(guī)則包含規(guī)則變量和變量之間的關(guān)系，規(guī)則數(shù)據(jù)主要描述規(guī)則的變量部分，是支撐業(yè)務(wù)規(guī)則的核心數(shù)據(jù)（如圖 10 所示）。

圖 10 業(yè)務(wù)規(guī)則與規(guī)則數(shù)據(jù)之間的關(guān)系

此外，運(yùn)行規(guī)則所需要的輸入數(shù)據(jù)、輸出數(shù)據(jù)，包括動(dòng)態(tài)數(shù)據(jù)庫(kù)訪問(wèn)對(duì)象、內(nèi)存表緩存、Excel、XML 處理類等，主要起支撐作用，不在規(guī)則數(shù)據(jù)的范疇。

規(guī)則數(shù)據(jù)必須有唯一的數(shù)據(jù) Owner，其負(fù)責(zé)開(kāi)展規(guī)則數(shù)據(jù)的信息架構(gòu)建設(shè)與維護(hù)、數(shù)據(jù)質(zhì)量的監(jiān)控與保障、數(shù)據(jù)服務(wù)建設(shè)、數(shù)據(jù)安全授權(quán)與定密等工作。相應(yīng)的數(shù)據(jù)管家支持?jǐn)?shù)據(jù) Owner 對(duì)所管轄的業(yè)務(wù)中的規(guī)則數(shù)據(jù)進(jìn)行治理，包括建設(shè)和維護(hù)信息架構(gòu)、確保架構(gòu)落地遵從、例行監(jiān)控?cái)?shù)據(jù)質(zhì)量等。

規(guī)則數(shù)據(jù)的元數(shù)據(jù)要記錄與業(yè)務(wù)規(guī)則的關(guān)系（規(guī)則數(shù)據(jù)定義前應(yīng)先完成業(yè)務(wù)規(guī)則的識(shí)別和定義）。一個(gè)業(yè)務(wù)規(guī)則可以包含零個(gè)、一個(gè)或多個(gè)規(guī)則數(shù)據(jù)，一個(gè)規(guī)則數(shù)據(jù)在信息架構(gòu)上對(duì)應(yīng)一個(gè)邏輯數(shù)據(jù)實(shí)體，在物理實(shí)現(xiàn)上一般對(duì)應(yīng)一個(gè)物理表。規(guī)則數(shù)據(jù)要遵從信息架構(gòu)資產(chǎn)管理要求（包括明確規(guī)則數(shù)據(jù)的 Owner、制定數(shù)據(jù)標(biāo)準(zhǔn)、明確數(shù)據(jù)源等），按照信息安全要求定密，以方便規(guī)則數(shù)據(jù)的管理、共享和分析。

隨著業(yè)務(wù)對(duì)大數(shù)據(jù)分析的需求日益增長(zhǎng)，非結(jié)構(gòu)化數(shù)據(jù)的管理逐漸成為數(shù)據(jù)管理的重要組成部分。非結(jié)構(gòu)化數(shù)據(jù)包括無(wú)格式文本、各類格式文檔、圖像、音頻、視頻等多種異構(gòu)的格式文件， 較之結(jié)構(gòu)化數(shù)據(jù)，其更難標(biāo)準(zhǔn)化和理解，因此在存儲(chǔ)、檢索以及消費(fèi)使用時(shí)需要智能化的 IT 技術(shù)與之匹配。華為的非結(jié)構(gòu)化數(shù)據(jù)包括文檔（郵件、Excel、Word、PPT）、圖片、音頻、視頻等。

相較于結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化元數(shù)據(jù)管理除了需要管理文件對(duì)象的標(biāo)題、格式、Owner 等基本特征和定義外，還需對(duì)數(shù)據(jù)內(nèi)容的客觀理解進(jìn)行管理，如標(biāo)簽、相似性檢索、相似性連接等， 以便于用戶搜索和消費(fèi)使用。因此，非結(jié)構(gòu)化數(shù)據(jù)的治理核心是對(duì)其基本特征與內(nèi)容進(jìn)行提取，并通過(guò)元數(shù)據(jù)落地來(lái)開(kāi)展的。非結(jié)構(gòu)化數(shù)據(jù)的管理模型如圖 11 所示。

圖 11 非結(jié)構(gòu)化數(shù)據(jù)管理模型

非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)可以分為基本特征類（客觀）和內(nèi)容增強(qiáng)類（主觀）兩類。

1. 基本特征類：參考都柏林十五個(gè)核心元數(shù)據(jù)，實(shí)現(xiàn)對(duì)非結(jié)構(gòu)化數(shù)據(jù)對(duì)象的規(guī)范化定義，如標(biāo)題、格式、來(lái)源等。

2. 內(nèi)容增強(qiáng)類：基于非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容的上下文語(yǔ)境，解析目標(biāo)文件對(duì)象的數(shù)據(jù)內(nèi)容，加深對(duì)目標(biāo)對(duì)象的客觀理解，如標(biāo)簽、相似性檢索、相似性連接等。

非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理采用統(tǒng)分統(tǒng)管的原則，即基本特征類屬性由公司進(jìn)行統(tǒng)一管理，內(nèi)容增強(qiáng)類屬性由相關(guān)承擔(dān)數(shù)據(jù)分析工作的項(xiàng)目組自行設(shè)計(jì)，但其分析結(jié)果都應(yīng)由公司元數(shù)據(jù)管理平臺(tái)自動(dòng)采集后進(jìn)行統(tǒng)一存儲(chǔ)。

元數(shù)據(jù)管理平臺(tái)通過(guò)“基本特征類元數(shù)據(jù)流”和“內(nèi)容增強(qiáng)類元數(shù)據(jù)流”兩條線來(lái)實(shí)現(xiàn)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理和消費(fèi)使用。

1. 基本特征類元數(shù)據(jù)流

元數(shù)據(jù)管理平臺(tái)基于收集到的各類非結(jié)構(gòu)化數(shù)據(jù)源信息，自動(dòng)完成基礎(chǔ)特征類元數(shù)據(jù)的采集工作，按照管理規(guī)范和要求通過(guò)標(biāo)準(zhǔn)化、整合后存儲(chǔ)在元數(shù)據(jù)管理平臺(tái)中，并在完成元數(shù)據(jù)過(guò)濾、排序后將結(jié)果在元數(shù)據(jù)報(bào)告中進(jìn)行可視化展示，以供用戶消費(fèi)使用。

2. 內(nèi)容增強(qiáng)類元數(shù)據(jù)流

基于元數(shù)據(jù)管理平臺(tái)中基本特征類元數(shù)據(jù)的信息，各數(shù)據(jù)分析項(xiàng)目組解析目標(biāo)非結(jié)構(gòu)化對(duì)象的數(shù)據(jù)內(nèi)容，并將分析結(jié)果通過(guò)元數(shù)據(jù)采集、元數(shù)據(jù)標(biāo)準(zhǔn)化 & 整合后統(tǒng)一存放在元數(shù)據(jù)管理平臺(tái)中，以供用戶一并消費(fèi)使用，增強(qiáng)用戶體驗(yàn)。

外部數(shù)據(jù)是指華為公司引入的外部組織或者個(gè)人擁有處置權(quán)利的數(shù)據(jù)，如供應(yīng)商資質(zhì)證明、消費(fèi)者洞察報(bào)告等。外部數(shù)據(jù)治理的出發(fā)點(diǎn)是合規(guī)遵從優(yōu)先，與內(nèi)部數(shù)據(jù)治理的目的不同。

外部數(shù)據(jù)的治理主要遵循以下原則。

1. 合規(guī)優(yōu)先原則：遵從法律法規(guī)、采購(gòu)合同、客戶授權(quán)、公司信息安全與公司隱私保護(hù)政策等相關(guān)規(guī)定。

2. 責(zé)任明確原則：所有引入的外部數(shù)據(jù)都要有明確的管理責(zé)任主體，承擔(dān)數(shù)據(jù)引入方式、數(shù)據(jù)安全要求、數(shù)據(jù)隱私要求、數(shù)據(jù)共享范圍、數(shù)據(jù)使用授權(quán)、數(shù)據(jù)質(zhì)量監(jiān)管、數(shù)據(jù)退出銷毀等責(zé)任。

3. 有效流動(dòng)原則：使用方優(yōu)先使用公司已有數(shù)據(jù)資產(chǎn)，避免重復(fù)采購(gòu)、重復(fù)建設(shè)。

4. 可審計(jì)、可追溯原則：控制訪問(wèn)權(quán)限，留存訪問(wèn)日志， 做到外部數(shù)據(jù)使用有記錄、可審計(jì)、可追溯。

5. 受控審批原則：在授權(quán)范圍內(nèi)，外部數(shù)據(jù)管理責(zé)任主體應(yīng)合理審批使用方的數(shù)據(jù)獲取要求。

在以上原則指導(dǎo)下，我們要求所有采購(gòu)的外部數(shù)據(jù)要注冊(cè)， 在合規(guī)的前提下鼓勵(lì)數(shù)據(jù)共享，避免重復(fù)采購(gòu)。其他方式引入的外部數(shù)據(jù)，由管理責(zé)任主體決定登記方式。根據(jù)法律條款和授權(quán)范圍，外部數(shù)據(jù)管理責(zé)任主體有權(quán)決定外部數(shù)據(jù)是否入數(shù)據(jù)湖， 如果需要入數(shù)據(jù)湖，必須遵從數(shù)據(jù)湖建設(shè)相應(yīng)的流程和規(guī)范。同時(shí)，外部數(shù)據(jù)管理責(zé)任主體有義務(wù)告知使用方合規(guī)使用外部數(shù)據(jù)， 對(duì)于不合規(guī)的使用場(chǎng)景，不予授權(quán)；數(shù)據(jù)使用方要遵從外部數(shù)據(jù)管理責(zé)任主體的要求，對(duì)不遵從要求所引起的后果承擔(dān)責(zé)任。

無(wú)論結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，或者外部數(shù)據(jù)，最終都會(huì)通過(guò)元數(shù)據(jù)治理落地。華為將元數(shù)據(jù)治理貫穿整個(gè)數(shù)據(jù)價(jià)值流，覆蓋從數(shù)據(jù)產(chǎn)生、匯聚、加工到消費(fèi)的全生命周期。

1. 元數(shù)據(jù)治理的痛點(diǎn)與挑戰(zhàn)

華為在進(jìn)行元數(shù)據(jù)治理以前，遇到的元數(shù)據(jù)問(wèn)題主要表現(xiàn)為數(shù)據(jù)找不到、讀不懂、不可信，數(shù)據(jù)分析師們往往會(huì)陷入數(shù)據(jù)沼澤中。元數(shù)據(jù)管理的痛點(diǎn)如圖 12 所示。

圖 12 元數(shù)據(jù)管理痛點(diǎn)

為解決以上痛點(diǎn)，華為建立了公司級(jí)的元數(shù)據(jù)管理機(jī)制。制定了統(tǒng)一的元數(shù)據(jù)管理方法、機(jī)制和平臺(tái)，拉通業(yè)務(wù)語(yǔ)言和機(jī)器語(yǔ)言。確保數(shù)據(jù)“入湖有依據(jù)，出湖可檢索”成為華為元數(shù)據(jù)管理的使命與目標(biāo)。基于高質(zhì)量的元數(shù)據(jù)，通過(guò)數(shù)據(jù)地圖就能在企業(yè)內(nèi)部實(shí)現(xiàn)方便的數(shù)據(jù)搜索。

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，用于打破業(yè)務(wù)和 IT 之間的語(yǔ)言障礙，幫助業(yè)務(wù)更好地理解數(shù)據(jù)。元數(shù)據(jù)通常分為業(yè)務(wù)、技術(shù)和操作三類。

• 業(yè)務(wù)元數(shù)據(jù)：用戶訪問(wèn)數(shù)據(jù)時(shí)了解業(yè)務(wù)含義的途徑，包括資產(chǎn)目錄、Owner、數(shù)據(jù)密級(jí)等。

• 技術(shù)元數(shù)據(jù)：實(shí)施人員開(kāi)發(fā)系統(tǒng)時(shí)使用的數(shù)據(jù)，包括物理模型的表與字段、ETL 規(guī)則、集成關(guān)系等。

• 操作元數(shù)據(jù)：數(shù)據(jù)處理日志及運(yùn)營(yíng)情況數(shù)據(jù)，包括調(diào)度頻度、訪問(wèn)記錄等。

在企業(yè)的數(shù)字化運(yùn)營(yíng)中，元數(shù)據(jù)作用于整個(gè)價(jià)值流，在從數(shù)據(jù)源到數(shù)據(jù)消費(fèi)的五個(gè)環(huán)節(jié)中都能充分體現(xiàn)元數(shù)據(jù)管理的價(jià)值。

• 數(shù)據(jù)消費(fèi)側(cè)：元數(shù)據(jù)能支持企業(yè)指標(biāo)、報(bào)表的動(dòng)態(tài)構(gòu)建。

• 數(shù)據(jù)服務(wù)側(cè)：元數(shù)據(jù)支持?jǐn)?shù)據(jù)服務(wù)的統(tǒng)一管理和運(yùn)營(yíng)， 并實(shí)現(xiàn)利用元數(shù)據(jù)驅(qū)動(dòng) IT 敏捷開(kāi)發(fā)。

• 數(shù)據(jù)主題側(cè)：元數(shù)據(jù)統(tǒng)一管理分析模型，敏捷響應(yīng)井噴式增長(zhǎng)的數(shù)據(jù)分析需求，支持?jǐn)?shù)據(jù)增值、數(shù)據(jù)變現(xiàn)。

• 數(shù)據(jù)湖側(cè)：元數(shù)據(jù)能實(shí)現(xiàn)暗數(shù)據(jù)的透明化，增強(qiáng)數(shù)據(jù)活性，并能解決數(shù)據(jù)治理與 IT 落地脫節(jié)的問(wèn)題。

• 數(shù)據(jù)源側(cè)：元數(shù)據(jù)支撐業(yè)務(wù)管理規(guī)則有效落地，保障數(shù)據(jù)內(nèi)容合格、合規(guī)。

2. 元數(shù)據(jù)管理架構(gòu)及策略

元數(shù)據(jù)管理架構(gòu)包括產(chǎn)生元數(shù)據(jù)、采集元數(shù)據(jù)、注冊(cè)元數(shù)據(jù)和運(yùn)維元數(shù)據(jù)。

• 產(chǎn)生元數(shù)據(jù)：制定元數(shù)據(jù)管理相關(guān)流程與規(guī)范的落地方案，在 IT 產(chǎn)品開(kāi)發(fā)過(guò)程中實(shí)現(xiàn)業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的連接。

• 采集元數(shù)據(jù)：通過(guò)統(tǒng)一的元模型從各類 IT 系統(tǒng)中自動(dòng)采集元數(shù)據(jù)。

• 注冊(cè)元數(shù)據(jù)：基于增量與存量?jī)煞N場(chǎng)景，制定元數(shù)據(jù)注冊(cè)方法，完成底座元數(shù)據(jù)注冊(cè)工作。

• 運(yùn)維元數(shù)據(jù)：打造公司元數(shù)據(jù)中心，管理元數(shù)據(jù)產(chǎn)生、采集、注冊(cè)的全過(guò)程，實(shí)現(xiàn)元數(shù)據(jù)運(yùn)維。

• 元數(shù)據(jù)管理方案：通過(guò)制定元數(shù)據(jù)標(biāo)準(zhǔn)、規(guī)范、平臺(tái)與管控機(jī)制，建立企業(yè)級(jí)元數(shù)據(jù)管理體系，并推動(dòng)其在公司各領(lǐng)域落地，支撐數(shù)據(jù)底座建設(shè)與數(shù)字化運(yùn)營(yíng)。

圖 13 華為元數(shù)據(jù)管理整體方案

華為經(jīng)過(guò)多年實(shí)踐，已經(jīng)建立了相對(duì)完整的數(shù)據(jù)分類管理框架，為數(shù)據(jù)治理奠定了基礎(chǔ)。隨著數(shù)字化轉(zhuǎn)型的深入開(kāi)展，尤其是面向未來(lái)海量的非結(jié)構(gòu)化數(shù)據(jù)、IoT 場(chǎng)景的觀測(cè)數(shù)據(jù)、外部合規(guī)日趨嚴(yán)格的外部數(shù)據(jù)等，華為將不斷豐富每一類數(shù)據(jù)的治理實(shí)踐。

【面試&個(gè)人成長(zhǎng)】2021年過(guò)半，社招和校招的經(jīng)驗(yàn)之談

Data Mesh，數(shù)據(jù)網(wǎng)格的道與術(shù)

17道題你能秒我？我Hbase八股文反手就甩你一臉

【硬剛Kylin】Kylin入門(mén)/原理/調(diào)優(yōu)/OLAP解決方案和行業(yè)典型應(yīng)用