華為的數(shù)字化轉(zhuǎn)型與數(shù)據(jù)治理
導(dǎo)讀：2017 年華為提出了企業(yè)的新愿景："把數(shù)字世界帶入每個人、每個家庭、每個組織，構(gòu)建萬物互聯(lián)的智能世界"。同時，華為公司董事、CIO陶景文提出了"實(shí)現(xiàn)全聯(lián)接的智能華為，成為行業(yè)標(biāo)桿"的數(shù)字化轉(zhuǎn)型目標(biāo)。
隨后，華為基于愿景確定了數(shù)字化轉(zhuǎn)型的藍(lán)圖和框架， 統(tǒng)一規(guī)劃、分層次開展，最終實(shí)現(xiàn)客戶交互方式的轉(zhuǎn)變，實(shí)現(xiàn)內(nèi)部運(yùn)營效率和效益的提升。華為數(shù)字化轉(zhuǎn)型藍(lán)圖包括 5 項舉措。
其中，舉措 4 涉及數(shù)據(jù)治理和數(shù)字化運(yùn)營，是華為數(shù)字化轉(zhuǎn)型的關(guān)鍵，承接了打破數(shù)據(jù)孤島、確保源頭數(shù)據(jù)準(zhǔn)確、促進(jìn)數(shù)據(jù)共享、保障數(shù)據(jù)隱私與安全等目標(biāo)。華為從 2007 年開始啟動數(shù)據(jù)治理，歷經(jīng)兩個階段的持續(xù)變革，系統(tǒng)地建立了華為數(shù)據(jù)管理體系。
第一階段：2007 ～ 2016 年
在這一階段，華為設(shè)立數(shù)據(jù)管理專業(yè)組織，建立數(shù)據(jù)管理框架，發(fā)布數(shù)據(jù)管理政策，任命數(shù)據(jù) Owner，通過統(tǒng)一信息架構(gòu)與標(biāo)準(zhǔn)、唯一可信的數(shù)據(jù)源、有效的數(shù)據(jù)質(zhì)量度量改進(jìn)機(jī)制，實(shí)現(xiàn)了以下目標(biāo)。
持續(xù)提升數(shù)據(jù)質(zhì)量，減少糾錯成本：通過數(shù)據(jù)質(zhì)量度量與持續(xù)改進(jìn)，確保數(shù)據(jù)真實(shí)反映業(yè)務(wù)，降低運(yùn)營風(fēng)險。
數(shù)據(jù)全流程貫通，提升業(yè)務(wù)運(yùn)作效率：通過業(yè)務(wù)數(shù)字化、標(biāo)準(zhǔn)化，借助 IT 技術(shù)，實(shí)現(xiàn)業(yè)務(wù)上下游信息快速傳遞、共享。
第二階段：2017 年至今
在這一階段，華為建設(shè)數(shù)據(jù)底座，匯聚企業(yè)全域數(shù)據(jù)并對數(shù)據(jù)進(jìn)行聯(lián)接，通過數(shù)據(jù)服務(wù)、數(shù)據(jù)地圖、數(shù)據(jù)安全防護(hù)與隱私保護(hù)，實(shí)現(xiàn)了數(shù)據(jù)隨需共享、敏捷自助、安全透明的目標(biāo)，支撐著華為數(shù)字化轉(zhuǎn)型，實(shí)現(xiàn)了如下的數(shù)據(jù)價值。
業(yè)務(wù)可視，能夠快速、準(zhǔn)確決策：通過數(shù)據(jù)匯聚，實(shí)現(xiàn)業(yè)務(wù)狀態(tài)透明可視，提供基于“事實(shí)”的決策支持依據(jù)。
人工智能，實(shí)現(xiàn)業(yè)務(wù)自動化：通過業(yè)務(wù)規(guī)則數(shù)字化、算法化，嵌入業(yè)務(wù)流，逐步替代人工判斷。
數(shù)據(jù)創(chuàng)新，成為差異化競爭優(yōu)勢：基于數(shù)據(jù)的用戶洞察， 發(fā)現(xiàn)新的市場機(jī)會點(diǎn)。
01
華為數(shù)據(jù)分類管理框架（基于特征分類）
華為根據(jù)數(shù)據(jù)特性及治理方法的不同對數(shù)據(jù)進(jìn)行了分類定義：內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)。其中，結(jié)構(gòu)化數(shù)據(jù)又進(jìn)一步劃分為基礎(chǔ)數(shù)據(jù)、主數(shù)據(jù)、事務(wù)數(shù)據(jù)、報告數(shù)據(jù)、觀測數(shù)據(jù)和規(guī)則數(shù)據(jù)。華為數(shù)據(jù)分類管理框架如圖 4 所示。
不同分類的數(shù)據(jù)，其治理方法有所不同。如基礎(chǔ)數(shù)據(jù)內(nèi)容的變更通常會對現(xiàn)有流程、IT 系統(tǒng)產(chǎn)生影響，因此基礎(chǔ)數(shù)據(jù)的管理重點(diǎn)在于變更管理和統(tǒng)一標(biāo)準(zhǔn)管控。主數(shù)據(jù)的錯誤可能會導(dǎo)致成百上千的事務(wù)數(shù)據(jù)錯誤，因此主數(shù)據(jù)的管理重點(diǎn)是確保同源多用、重點(diǎn)進(jìn)行數(shù)據(jù)內(nèi)容的校驗等。
02
結(jié)構(gòu)化數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)、主數(shù)據(jù)、事務(wù)數(shù)據(jù)、報告數(shù)據(jù)、觀測數(shù)據(jù)、規(guī)則數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)的共同特點(diǎn)是以信息架構(gòu)為基礎(chǔ)，建立統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標(biāo)準(zhǔn)與模型。下面將重點(diǎn)介紹六類結(jié)構(gòu)化數(shù)據(jù)的治理方法。
1. 基礎(chǔ)數(shù)據(jù)治理
基礎(chǔ)數(shù)據(jù)用于對其他數(shù)據(jù)進(jìn)行分類，在業(yè)界也稱作參考數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)通常是靜態(tài)的（如國家、幣種），一般在業(yè)務(wù)事件發(fā)生之前就已經(jīng)預(yù)先定義。它的可選值數(shù)量有限，可以用作業(yè)務(wù)或 IT 的開關(guān)和判斷條件。當(dāng)基礎(chǔ)數(shù)據(jù)的取值發(fā)生變化的時候，通常需要對流程和 IT 系統(tǒng)進(jìn)行分析和修改，以滿足業(yè)務(wù)需求。因此， 基礎(chǔ)數(shù)據(jù)的管理重點(diǎn)在于變更管理和統(tǒng)一標(biāo)準(zhǔn)管控。
基礎(chǔ)數(shù)據(jù)在支撐場景分流、流程自動化、提升分析質(zhì)量方面起著關(guān)鍵作用，治理基礎(chǔ)數(shù)據(jù)的價值如圖 5 所示。
因此，有效地管理基礎(chǔ)數(shù)據(jù)對企業(yè)來說可以產(chǎn)生巨大的收益。華為建立了一個完整的基礎(chǔ)數(shù)據(jù)管理框架（如圖 6 所示）， 通過明確各方的管理責(zé)任、發(fā)布相關(guān)的流程和規(guī)范以及建立基礎(chǔ)數(shù)據(jù)管理平臺等來確保基礎(chǔ)數(shù)據(jù)的有效管理。
2. 主數(shù)據(jù)治理
主數(shù)據(jù)是參與業(yè)務(wù)事件的主體或資源，是具有高業(yè)務(wù)價值的、跨流程和跨系統(tǒng)重復(fù)使用的數(shù)據(jù)。主數(shù)據(jù)與基礎(chǔ)數(shù)據(jù)有一定的相似性，都是在業(yè)務(wù)事件發(fā)生之前預(yù)先定義；但又與基礎(chǔ)數(shù)據(jù)不同，主數(shù)據(jù)的取值不受限于預(yù)先定義的數(shù)據(jù)范圍，而且主數(shù)據(jù)的記錄的增加和減少一般不會影響流程和 IT 系統(tǒng)的變化。但是， 主數(shù)據(jù)的錯誤可能導(dǎo)致成百上千的事務(wù)數(shù)據(jù)錯誤，因此主數(shù)據(jù)最重要的管理要求是確保同源多用和重點(diǎn)進(jìn)行數(shù)據(jù)內(nèi)容的校驗。華為的主數(shù)據(jù)管理策略如圖 7 所示。
華為的主數(shù)據(jù)范圍包括客戶、產(chǎn)品、供應(yīng)商、組織、人員主題，每個主數(shù)據(jù)都有相應(yīng)的架構(gòu)、流程及管控組織來負(fù)責(zé)管理。
鑒于主數(shù)據(jù)管理的重要性，對于每個重要的主數(shù)據(jù)，都會發(fā)布相應(yīng)的管理規(guī)范，數(shù)據(jù)管家依據(jù)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)定期進(jìn)行數(shù)據(jù)質(zhì)量的度量與改進(jìn)。
同時，對于主數(shù)據(jù)的集成消費(fèi)按照如下管理框架進(jìn)行管理。
數(shù)據(jù)消費(fèi)層：數(shù)據(jù)消費(fèi)層包括所有消費(fèi)數(shù)據(jù)的 IT 產(chǎn)品團(tuán)隊，負(fù)責(zé)提出數(shù)據(jù)集成需求和集成接口實(shí)施。
主數(shù)據(jù)服務(wù)實(shí)施層：負(fù)責(zé)主數(shù)據(jù)集成解決方案的落地， 包括數(shù)據(jù)服務(wù)的 IT 實(shí)施和數(shù)據(jù)服務(wù)的配置管理。
主數(shù)據(jù)服務(wù)設(shè)計層：為需要集成主數(shù)據(jù)的 IT 產(chǎn)品團(tuán)隊提供咨詢和方案服務(wù)，負(fù)責(zé)受理主數(shù)據(jù)集成需求，制定主數(shù)據(jù)集成解決方案，維護(hù)主數(shù)據(jù)的通用數(shù)據(jù)模型。
管控層：管控層由信息架構(gòu)專家組擔(dān)任，負(fù)責(zé)主數(shù)據(jù)規(guī)則的制定與發(fā)布，以及主數(shù)據(jù)集成爭議或例外的決策。
3. 事務(wù)數(shù)據(jù)治理
事務(wù)數(shù)據(jù)在業(yè)務(wù)和流程中產(chǎn)生，是業(yè)務(wù)事件的記錄，其本身就是業(yè)務(wù)運(yùn)作的一部分。事務(wù)數(shù)據(jù)是具有較強(qiáng)時效性的一次性業(yè)務(wù)事件，通常在事件結(jié)束后不再更新。
事務(wù)數(shù)據(jù)會調(diào)用主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)。以客戶框架合同為例， 核心屬性有 32 個，其中調(diào)用基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù) 24 個，占 75% ；客戶框架合同本身特有的屬性 8 個，占 25%。同時，框架合同也引用了機(jī)會點(diǎn)的編碼和投標(biāo)項目的編碼等事務(wù)數(shù)據(jù)的信息。
因此，事務(wù)數(shù)據(jù)的治理重點(diǎn)就是管理好事務(wù)數(shù)據(jù)對主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)的調(diào)用，以及事務(wù)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，確保上下游信息傳遞順暢。在事務(wù)數(shù)據(jù)的信息架構(gòu)中需明確哪些屬性是引用其他業(yè)務(wù)對象的，哪些是其自身特有的。對于引用的基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)，要盡可能調(diào)用而不是重新創(chuàng)建。
4. 報告數(shù)據(jù)治理
報告數(shù)據(jù)是指對數(shù)據(jù)進(jìn)行處理加工后，用作業(yè)務(wù)決策依據(jù)的數(shù)據(jù)。它用于支持報告和報表的生成。
用于報告和報表的數(shù)據(jù)可以分為如下幾種：
用于報表項數(shù)據(jù)生成的事實(shí)表、指標(biāo)數(shù)據(jù)、維度。
用于報表項統(tǒng)計和計算的統(tǒng)計函數(shù)、趨勢函數(shù)及報告規(guī)則。
用于報表和報告展示的序列關(guān)系數(shù)據(jù)。
用于報表項描述的主數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、事務(wù)數(shù)據(jù)、觀測數(shù)據(jù)。
用于對報告進(jìn)行補(bǔ)充說明的非結(jié)構(gòu)化數(shù)據(jù)。
報告數(shù)據(jù)涵蓋的范圍較廣，如主數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)等，這些數(shù)據(jù)類別本身已經(jīng)有相應(yīng)的管理機(jī)制和規(guī)范，這里我們重點(diǎn)對部分新的細(xì)分?jǐn)?shù)據(jù)類型進(jìn)行說明。
事實(shí)表：從業(yè)務(wù)活動或者事件中提煉出來的性能度量。其特點(diǎn)為：
每個事實(shí)表由顆粒度屬性、維度屬性、事務(wù)描述屬性、度量屬性組成；
事實(shí)表可以分為基于明細(xì)構(gòu)建的事實(shí)表和基于明細(xì)做過匯聚的事實(shí)表。
維度：用于觀察和分析業(yè)務(wù)數(shù)據(jù)的視角，支持對數(shù)據(jù)進(jìn)行匯聚、鉆取、切片分析。其特點(diǎn)為：
維度的數(shù)據(jù)一般來源于基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)；
維度的數(shù)據(jù)一般用于分析視角的分類；
維度的數(shù)據(jù)一般有層級關(guān)系，可以向下鉆取和向上聚合形成新的維度。
統(tǒng)計型函數(shù)：與指標(biāo)高度相關(guān)，是對指標(biāo)數(shù)量特征進(jìn)一步的數(shù)學(xué)統(tǒng)計，例如均值、中位數(shù)、總和、方差等。其特點(diǎn)為：
通常反映某一維度下指標(biāo)的聚合情況、離散情況等特征；
其計算數(shù)值在報告中通常呈現(xiàn)為圖表中的參考線。
趨勢型函數(shù)：反映指標(biāo)在時間維度上變化情況的統(tǒng)計方式，例如同比、環(huán)比、定基比等。其特點(diǎn)為：
通常將當(dāng)期值與歷史某時點(diǎn)值進(jìn)行比較；
調(diào)用時，需要收集指標(biāo)的歷史表現(xiàn)數(shù)據(jù)；
其計算數(shù)值在報告中通常呈現(xiàn)為圖表中的趨勢線。
報告規(guī)則數(shù)據(jù)：一種描述業(yè)務(wù)決策或過程的陳述，通常是基于某些約束下產(chǎn)生的結(jié)論或需要采取的某種措施。其特點(diǎn)為：
將業(yè)務(wù)邏輯通過函數(shù)運(yùn)算體現(xiàn)，通常一個規(guī)則包含多個運(yùn)算和判斷條件；
規(guī)則的計算結(jié)果一般不直接輸出，需要基于計算結(jié)果翻譯成業(yè)務(wù)語言后輸出；
規(guī)則通常與參數(shù)表密切相關(guān)。
序列關(guān)系數(shù)據(jù)：反映報告中指標(biāo)及其他數(shù)據(jù)序列關(guān)系的數(shù)據(jù)。
5. 觀測數(shù)據(jù)治理
觀測數(shù)據(jù)是通過觀測工具獲取的數(shù)據(jù)，觀測對象一般為人、事、物、環(huán)境。
相比傳統(tǒng)數(shù)據(jù)，觀測數(shù)據(jù)通常數(shù)據(jù)量較大且是過程性的，由機(jī)器自動采集生成。不同感知方式獲取的觀測數(shù)據(jù)，其數(shù)據(jù)資產(chǎn)管理要素不同。
觀測數(shù)據(jù)的感知方式可分為軟感知和硬感知。軟感知是使用軟件或者各種技術(shù)進(jìn)行數(shù)據(jù)收集，收集的對象存在于數(shù)字世界， 通常不依賴于物理設(shè)備，一般是自動運(yùn)行的程序或腳本；硬感知是利用設(shè)備或裝置進(jìn)行數(shù)據(jù)收集，收集的對象為物理世界中的物理實(shí)體，或者是以物理實(shí)體為載體的信息，其數(shù)據(jù)的感知過程是數(shù)據(jù)從物理世界向數(shù)字世界的轉(zhuǎn)化過程。
觀測數(shù)據(jù)的特征有如下幾點(diǎn)：觀測數(shù)據(jù)通常數(shù)據(jù)量較大且是過程性的，主要用作監(jiān)控分析。例如，視頻監(jiān)控器產(chǎn)生的視頻數(shù)據(jù)、操作系統(tǒng)產(chǎn)生的日志記錄數(shù)據(jù)等。
觀測工具的元數(shù)據(jù)可以作為數(shù)據(jù)資產(chǎn)管理：軟感知（埋點(diǎn)、日志收集、爬蟲）觀測工具抽象成業(yè)務(wù)對象，由 IT 部門擔(dān)任數(shù)據(jù) Owner 進(jìn)行統(tǒng)一管理；硬感知觀測工具作為資源類數(shù)據(jù)，也建議作為業(yè)務(wù)對象由相應(yīng)的領(lǐng)域擔(dān)任數(shù)據(jù) Owner 進(jìn)行管理。
原則上，觀測對象要定義成業(yè)務(wù)對象進(jìn)行管理，這是觀測數(shù)據(jù)管理的前提條件。
觀測數(shù)據(jù)需要記錄觀測工具、觀測對象。針對不同感知方式獲取的觀測數(shù)據(jù)，其資產(chǎn)管理方案也不盡相同。例如，以用戶界面瀏覽記錄為例，如果是對銷售機(jī)會點(diǎn)的查詢訪問觀測，應(yīng)當(dāng)歸屬到相應(yīng)業(yè)務(wù)領(lǐng)域；如果是對頁面性能、頁面 UV、PV 的觀測， 應(yīng)當(dāng)歸屬到 IT 部門。
6. 規(guī)則數(shù)據(jù)治理
在業(yè)務(wù)規(guī)則管理方面，華為經(jīng)常面對“各種業(yè)務(wù)場景業(yè)務(wù)規(guī)則不同，記不住，找不到”“大量規(guī)則在政策、流程等文件中承載，難以遵守”“各國規(guī)則均不同，IT 能否一國一策、快速上線”等問題。
規(guī)則數(shù)據(jù)是結(jié)構(gòu)化描述業(yè)務(wù)規(guī)則變量（一般為決策表、關(guān)聯(lián)關(guān)系表、評分卡等形式）的數(shù)據(jù)，是實(shí)現(xiàn)業(yè)務(wù)規(guī)則的核心數(shù)據(jù)， 如業(yè)務(wù)中普遍存在的基線數(shù)據(jù)。
規(guī)則數(shù)據(jù)主要有以下特征：
規(guī)則數(shù)據(jù)不可實(shí)例化；
規(guī)則數(shù)據(jù)包含判斷條件和決策結(jié)果兩部分信息，區(qū)別于描述事物分類信息的基礎(chǔ)數(shù)據(jù)；
規(guī)則數(shù)據(jù)的結(jié)構(gòu)在縱向（列）、橫向（行）兩個維度上相對穩(wěn)定，變化形式多為內(nèi)容刷新；
規(guī)則數(shù)據(jù)的變更對業(yè)務(wù)活動的影響是大范圍的。
其基本原則為：
規(guī)則數(shù)據(jù)的管理是為了支撐業(yè)務(wù)規(guī)則的結(jié)構(gòu)化、信息化、數(shù)字化，目標(biāo)是實(shí)現(xiàn)規(guī)則的可配置、可視化、可追溯。
不同于標(biāo)準(zhǔn)化的信息架構(gòu)管理，規(guī)則數(shù)據(jù)的管理具有輕量化、分級的特點(diǎn)。重要的、調(diào)用量大、變動頻繁的業(yè)務(wù)規(guī)則需要通過規(guī)則數(shù)據(jù)管理，使其從代碼中解耦，進(jìn)行資產(chǎn)注冊；使用廣泛的、有分析需求的規(guī)則數(shù)據(jù)需要通過注冊入湖，實(shí)現(xiàn)共享和復(fù)用。
業(yè)務(wù)規(guī)則在架構(gòu)層次上與流程中的業(yè)務(wù)活動相關(guān)聯(lián)，是業(yè)務(wù)活動的指導(dǎo)和依據(jù)，業(yè)務(wù)活動的結(jié)果通過該業(yè)務(wù)活動的相關(guān)業(yè)務(wù)對象的屬性來記錄。業(yè)務(wù)規(guī)則通過業(yè)務(wù)活動對業(yè)務(wù)事實(shí)、業(yè)務(wù)行為進(jìn)行限制，業(yè)務(wù)人員可以根據(jù)業(yè)務(wù)規(guī)則判斷業(yè)務(wù)情況，采取具體行動。
業(yè)務(wù)規(guī)則包含規(guī)則變量和變量之間的關(guān)系，規(guī)則數(shù)據(jù)主要描述規(guī)則的變量部分，是支撐業(yè)務(wù)規(guī)則的核心數(shù)據(jù)（如圖 10 所示）。
此外，運(yùn)行規(guī)則所需要的輸入數(shù)據(jù)、輸出數(shù)據(jù)，包括動態(tài)數(shù)據(jù)庫訪問對象、內(nèi)存表緩存、Excel、XML 處理類等，主要起支撐作用，不在規(guī)則數(shù)據(jù)的范疇。
規(guī)則數(shù)據(jù)必須有唯一的數(shù)據(jù) Owner，其負(fù)責(zé)開展規(guī)則數(shù)據(jù)的信息架構(gòu)建設(shè)與維護(hù)、數(shù)據(jù)質(zhì)量的監(jiān)控與保障、數(shù)據(jù)服務(wù)建設(shè)、數(shù)據(jù)安全授權(quán)與定密等工作。相應(yīng)的數(shù)據(jù)管家支持?jǐn)?shù)據(jù) Owner 對所管轄的業(yè)務(wù)中的規(guī)則數(shù)據(jù)進(jìn)行治理，包括建設(shè)和維護(hù)信息架構(gòu)、確保架構(gòu)落地遵從、例行監(jiān)控數(shù)據(jù)質(zhì)量等。
規(guī)則數(shù)據(jù)的元數(shù)據(jù)要記錄與業(yè)務(wù)規(guī)則的關(guān)系（規(guī)則數(shù)據(jù)定義前應(yīng)先完成業(yè)務(wù)規(guī)則的識別和定義）。一個業(yè)務(wù)規(guī)則可以包含零個、一個或多個規(guī)則數(shù)據(jù)，一個規(guī)則數(shù)據(jù)在信息架構(gòu)上對應(yīng)一個邏輯數(shù)據(jù)實(shí)體，在物理實(shí)現(xiàn)上一般對應(yīng)一個物理表。規(guī)則數(shù)據(jù)要遵從信息架構(gòu)資產(chǎn)管理要求（包括明確規(guī)則數(shù)據(jù)的 Owner、制定數(shù)據(jù)標(biāo)準(zhǔn)、明確數(shù)據(jù)源等），按照信息安全要求定密，以方便規(guī)則數(shù)據(jù)的管理、共享和分析。
03
非結(jié)構(gòu)化數(shù)據(jù)管理（以特征提取為核心）
隨著業(yè)務(wù)對大數(shù)據(jù)分析的需求日益增長，非結(jié)構(gòu)化數(shù)據(jù)的管理逐漸成為數(shù)據(jù)管理的重要組成部分。非結(jié)構(gòu)化數(shù)據(jù)包括無格式文本、各類格式文檔、圖像、音頻、視頻等多種異構(gòu)的格式文件， 較之結(jié)構(gòu)化數(shù)據(jù)，其更難標(biāo)準(zhǔn)化和理解，因此在存儲、檢索以及消費(fèi)使用時需要智能化的 IT 技術(shù)與之匹配。華為的非結(jié)構(gòu)化數(shù)據(jù)包括文檔（郵件、Excel、Word、PPT）、圖片、音頻、視頻等。
相較于結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化元數(shù)據(jù)管理除了需要管理文件對象的標(biāo)題、格式、Owner 等基本特征和定義外，還需對數(shù)據(jù)內(nèi)容的客觀理解進(jìn)行管理，如標(biāo)簽、相似性檢索、相似性連接等， 以便于用戶搜索和消費(fèi)使用。因此，非結(jié)構(gòu)化數(shù)據(jù)的治理核心是對其基本特征與內(nèi)容進(jìn)行提取，并通過元數(shù)據(jù)落地來開展的。非結(jié)構(gòu)化數(shù)據(jù)的管理模型如圖 11 所示。
非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)可以分為基本特征類（客觀）和內(nèi)容增強(qiáng)類（主觀）兩類。
基本特征類：參考都柏林十五個核心元數(shù)據(jù)，實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)對象的規(guī)范化定義，如標(biāo)題、格式、來源等。
內(nèi)容增強(qiáng)類：基于非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容的上下文語境，解析目標(biāo)文件對象的數(shù)據(jù)內(nèi)容，加深對目標(biāo)對象的客觀理解，如標(biāo)簽、相似性檢索、相似性連接等。
非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理采用統(tǒng)分統(tǒng)管的原則，即基本特征類屬性由公司進(jìn)行統(tǒng)一管理，內(nèi)容增強(qiáng)類屬性由相關(guān)承擔(dān)數(shù)據(jù)分析工作的項目組自行設(shè)計，但其分析結(jié)果都應(yīng)由公司元數(shù)據(jù)管理平臺自動采集后進(jìn)行統(tǒng)一存儲。
元數(shù)據(jù)管理平臺通過“基本特征類元數(shù)據(jù)流”和“內(nèi)容增強(qiáng)類元數(shù)據(jù)流”兩條線來實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理和消費(fèi)使用。
1. 基本特征類元數(shù)據(jù)流
元數(shù)據(jù)管理平臺基于收集到的各類非結(jié)構(gòu)化數(shù)據(jù)源信息，自動完成基礎(chǔ)特征類元數(shù)據(jù)的采集工作，按照管理規(guī)范和要求通過標(biāo)準(zhǔn)化、整合后存儲在元數(shù)據(jù)管理平臺中，并在完成元數(shù)據(jù)過濾、排序后將結(jié)果在元數(shù)據(jù)報告中進(jìn)行可視化展示，以供用戶消費(fèi)使用。
2. 內(nèi)容增強(qiáng)類元數(shù)據(jù)流
基于元數(shù)據(jù)管理平臺中基本特征類元數(shù)據(jù)的信息，各數(shù)據(jù)分析項目組解析目標(biāo)非結(jié)構(gòu)化對象的數(shù)據(jù)內(nèi)容，并將分析結(jié)果通過元數(shù)據(jù)采集、元數(shù)據(jù)標(biāo)準(zhǔn)化 & 整合后統(tǒng)一存放在元數(shù)據(jù)管理平臺中，以供用戶一并消費(fèi)使用，增強(qiáng)用戶體驗。
04
外部數(shù)據(jù)管理（以確保合規(guī)遵從為核心）
外部數(shù)據(jù)是指華為公司引入的外部組織或者個人擁有處置權(quán)利的數(shù)據(jù)，如供應(yīng)商資質(zhì)證明、消費(fèi)者洞察報告等。外部數(shù)據(jù)治理的出發(fā)點(diǎn)是合規(guī)遵從優(yōu)先，與內(nèi)部數(shù)據(jù)治理的目的不同。
外部數(shù)據(jù)的治理主要遵循以下原則。
合規(guī)優(yōu)先原則：遵從法律法規(guī)、采購合同、客戶授權(quán)、公司信息安全與公司隱私保護(hù)政策等相關(guān)規(guī)定。
責(zé)任明確原則：所有引入的外部數(shù)據(jù)都要有明確的管理責(zé)任主體，承擔(dān)數(shù)據(jù)引入方式、數(shù)據(jù)安全要求、數(shù)據(jù)隱私要求、數(shù)據(jù)共享范圍、數(shù)據(jù)使用授權(quán)、數(shù)據(jù)質(zhì)量監(jiān)管、數(shù)據(jù)退出銷毀等責(zé)任。
有效流動原則：使用方優(yōu)先使用公司已有數(shù)據(jù)資產(chǎn)，避免重復(fù)采購、重復(fù)建設(shè)。
可審計、可追溯原則：控制訪問權(quán)限，留存訪問日志， 做到外部數(shù)據(jù)使用有記錄、可審計、可追溯。
受控審批原則：在授權(quán)范圍內(nèi)，外部數(shù)據(jù)管理責(zé)任主體應(yīng)合理審批使用方的數(shù)據(jù)獲取要求。
在以上原則指導(dǎo)下，我們要求所有采購的外部數(shù)據(jù)要注冊， 在合規(guī)的前提下鼓勵數(shù)據(jù)共享，避免重復(fù)采購。其他方式引入的外部數(shù)據(jù)，由管理責(zé)任主體決定登記方式。根據(jù)法律條款和授權(quán)范圍，外部數(shù)據(jù)管理責(zé)任主體有權(quán)決定外部數(shù)據(jù)是否入數(shù)據(jù)湖， 如果需要入數(shù)據(jù)湖，必須遵從數(shù)據(jù)湖建設(shè)相應(yīng)的流程和規(guī)范。同時，外部數(shù)據(jù)管理責(zé)任主體有義務(wù)告知使用方合規(guī)使用外部數(shù)據(jù)， 對于不合規(guī)的使用場景，不予授權(quán)；數(shù)據(jù)使用方要遵從外部數(shù)據(jù)管理責(zé)任主體的要求，對不遵從要求所引起的后果承擔(dān)責(zé)任。
05
元數(shù)據(jù)管理（作用于數(shù)據(jù)價值流）
無論結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，或者外部數(shù)據(jù)，最終都會通過元數(shù)據(jù)治理落地。華為將元數(shù)據(jù)治理貫穿整個數(shù)據(jù)價值流，覆蓋從數(shù)據(jù)產(chǎn)生、匯聚、加工到消費(fèi)的全生命周期。
1. 元數(shù)據(jù)治理的痛點(diǎn)與挑戰(zhàn)
華為在進(jìn)行元數(shù)據(jù)治理以前，遇到的元數(shù)據(jù)問題主要表現(xiàn)為數(shù)據(jù)找不到、讀不懂、不可信，數(shù)據(jù)分析師們往往會陷入數(shù)據(jù)沼澤中。元數(shù)據(jù)管理的痛點(diǎn)如圖 12 所示。
為解決以上痛點(diǎn)，華為建立了公司級的元數(shù)據(jù)管理機(jī)制。制定了統(tǒng)一的元數(shù)據(jù)管理方法、機(jī)制和平臺，拉通業(yè)務(wù)語言和機(jī)器語言。確保數(shù)據(jù)“入湖有依據(jù)，出湖可檢索”成為華為元數(shù)據(jù)管理的使命與目標(biāo)。基于高質(zhì)量的元數(shù)據(jù)，通過數(shù)據(jù)地圖就能在企業(yè)內(nèi)部實(shí)現(xiàn)方便的數(shù)據(jù)搜索。
元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，用于打破業(yè)務(wù)和 IT 之間的語言障礙，幫助業(yè)務(wù)更好地理解數(shù)據(jù)。元數(shù)據(jù)通常分為業(yè)務(wù)、技術(shù)和操作三類。
業(yè)務(wù)元數(shù)據(jù)：用戶訪問數(shù)據(jù)時了解業(yè)務(wù)含義的途徑，包括資產(chǎn)目錄、Owner、數(shù)據(jù)密級等。
技術(shù)元數(shù)據(jù)：實(shí)施人員開發(fā)系統(tǒng)時使用的數(shù)據(jù)，包括物理模型的表與字段、ETL 規(guī)則、集成關(guān)系等。
操作元數(shù)據(jù)：數(shù)據(jù)處理日志及運(yùn)營情況數(shù)據(jù)，包括調(diào)度頻度、訪問記錄等。
在企業(yè)的數(shù)字化運(yùn)營中，元數(shù)據(jù)作用于整個價值流，在從數(shù)據(jù)源到數(shù)據(jù)消費(fèi)的五個環(huán)節(jié)中都能充分體現(xiàn)元數(shù)據(jù)管理的價值。
數(shù)據(jù)消費(fèi)側(cè)：元數(shù)據(jù)能支持企業(yè)指標(biāo)、報表的動態(tài)構(gòu)建。
數(shù)據(jù)服務(wù)側(cè)：元數(shù)據(jù)支持?jǐn)?shù)據(jù)服務(wù)的統(tǒng)一管理和運(yùn)營， 并實(shí)現(xiàn)利用元數(shù)據(jù)驅(qū)動 IT 敏捷開發(fā)。
數(shù)據(jù)主題側(cè)：元數(shù)據(jù)統(tǒng)一管理分析模型，敏捷響應(yīng)井噴式增長的數(shù)據(jù)分析需求，支持?jǐn)?shù)據(jù)增值、數(shù)據(jù)變現(xiàn)。
數(shù)據(jù)湖側(cè)：元數(shù)據(jù)能實(shí)現(xiàn)暗數(shù)據(jù)的透明化，增強(qiáng)數(shù)據(jù)活性，并能解決數(shù)據(jù)治理與 IT 落地脫節(jié)的問題。
數(shù)據(jù)源側(cè)：元數(shù)據(jù)支撐業(yè)務(wù)管理規(guī)則有效落地，保障數(shù)據(jù)內(nèi)容合格、合規(guī)。
2. 元數(shù)據(jù)管理架構(gòu)及策略
元數(shù)據(jù)管理架構(gòu)包括產(chǎn)生元數(shù)據(jù)、采集元數(shù)據(jù)、注冊元數(shù)據(jù)和運(yùn)維元數(shù)據(jù)。
產(chǎn)生元數(shù)據(jù)：制定元數(shù)據(jù)管理相關(guān)流程與規(guī)范的落地方案，在 IT 產(chǎn)品開發(fā)過程中實(shí)現(xiàn)業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的連接。
采集元數(shù)據(jù)：通過統(tǒng)一的元模型從各類 IT 系統(tǒng)中自動采集元數(shù)據(jù)。
注冊元數(shù)據(jù)：基于增量與存量兩種場景，制定元數(shù)據(jù)注冊方法，完成底座元數(shù)據(jù)注冊工作。
運(yùn)維元數(shù)據(jù)：打造公司元數(shù)據(jù)中心，管理元數(shù)據(jù)產(chǎn)生、采集、注冊的全過程，實(shí)現(xiàn)元數(shù)據(jù)運(yùn)維。
元數(shù)據(jù)管理方案：通過制定元數(shù)據(jù)標(biāo)準(zhǔn)、規(guī)范、平臺與管控機(jī)制，建立企業(yè)級元數(shù)據(jù)管理體系，并推動其在公司各領(lǐng)域落地，支撐數(shù)據(jù)底座建設(shè)與數(shù)字化運(yùn)營。
華為經(jīng)過多年實(shí)踐，已經(jīng)建立了相對完整的數(shù)據(jù)分類管理框架，為數(shù)據(jù)治理奠定了基礎(chǔ)。隨著數(shù)字化轉(zhuǎn)型的深入開展，尤其是面向未來海量的非結(jié)構(gòu)化數(shù)據(jù)、IoT 場景的觀測數(shù)據(jù)、外部合規(guī)日趨嚴(yán)格的外部數(shù)據(jù)等，華為將不斷豐富每一類數(shù)據(jù)的治理實(shí)踐。
推薦閱讀：
世界的真實(shí)格局分析，地球人類社會底層運(yùn)行原理
企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
論數(shù)字化轉(zhuǎn)型——轉(zhuǎn)什么，如何轉(zhuǎn)？
企業(yè)10大管理流程圖，數(shù)字化轉(zhuǎn)型從業(yè)者必備！
【中臺實(shí)踐】華為大數(shù)據(jù)中臺架構(gòu)分享.pdf
數(shù)字化轉(zhuǎn)型的本質(zhì)（10個關(guān)鍵詞）
小米用戶畫像實(shí)戰(zhàn)，48頁P(yáng)PT下載
