中臺概念，2015年誕生，2019年爆火，在最火的時候被很多人當(dāng)成了“無所不能”的“萬能藥”，只要是IT的問題，就一個藥方——上“中臺”！于是乎，很多企業(yè)都爭先恐后，紛紛走上了上中臺的路。
但似乎“好景”不長，2019年末“中臺”的大潮還未退卻，就已經(jīng)傳出了對中臺的質(zhì)疑聲——“中臺，我信了你的邪！”。到了2020年對中臺的質(zhì)疑、唱衰、乃至討伐的聲音更是此起彼伏，中臺似乎徹底跌下了“神壇”。而作為眾多“中臺”核心成員之一的“數(shù)據(jù)中臺”，似乎成了“中臺”家族的最頑強(qiáng)的那個，在經(jīng)歷過“追捧”和“質(zhì)疑”等種種考驗后，數(shù)據(jù)中臺正在用事實驗證其價值！
數(shù)據(jù)中臺可以看作是數(shù)據(jù)的“公共服務(wù)平臺”，即通過數(shù)據(jù)技術(shù)，對海量數(shù)據(jù)進(jìn)行采集、計算、存儲、加工，同時統(tǒng)一標(biāo)準(zhǔn)和口徑，形成標(biāo)準(zhǔn)數(shù)據(jù)，再進(jìn)行存儲，形成大數(shù)據(jù)資產(chǎn)層，進(jìn)而為客戶提供高效服務(wù)。在筆者看來，數(shù)據(jù)中臺最重要的不是中臺而是數(shù)據(jù)，但“純粹”的源數(shù)據(jù)嚴(yán)格來說還也不是數(shù)據(jù)中臺的一部分，需要將其加工、處理、標(biāo)準(zhǔn)化形成數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品，而這一過程中，離不開元數(shù)據(jù)的支撐。元數(shù)據(jù)——是數(shù)據(jù)中臺的靈魂。
元數(shù)據(jù)(Metadata)，元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息，簡言之，元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)與數(shù)據(jù)的不同之處在于元數(shù)據(jù)描述的不是特定的實例或記錄，IT和業(yè)務(wù)都需要高質(zhì)量的元數(shù)據(jù)來理解現(xiàn)有數(shù)據(jù)。元數(shù)據(jù)是一種數(shù)據(jù)類型，以數(shù)字方式描述企業(yè)的數(shù)據(jù)，流程，應(yīng)用程序，資產(chǎn)，業(yè)務(wù)概念和或其他感興趣的事物的人員，時間，地點，原因以及方式，元數(shù)據(jù)為企業(yè)數(shù)字資產(chǎn)的內(nèi)容提供了上下文。更簡單的說，元數(shù)據(jù)是對數(shù)據(jù)的結(jié)構(gòu)化描述，使得數(shù)據(jù)更容易理解、查找、管理和使用。我們也可以用5W1H模型來理解元數(shù)據(jù)：表1：元數(shù)據(jù)定義
知識類型 | 定義 | 技術(shù)示例 | 業(yè)務(wù)示例 |
Who | 誰 | 誰負(fù)責(zé)數(shù)據(jù)的接口的開發(fā)？ | 誰是財務(wù)業(yè)務(wù)域的負(fù)責(zé)人？ |
What | 干什么或是什么 | CRM和DW之間的數(shù)據(jù)血緣關(guān)系是什么？ | 企業(yè)市場管理業(yè)務(wù)域的指標(biāo)體系都包含哪些指標(biāo)？ |
When | 什么時候 | 提取，轉(zhuǎn)換和加載（ETL）作業(yè)什么時候運(yùn)行？ | 我正在分析的數(shù)據(jù)上次刷新是什么時候？ |
Where | 在哪里 | 在我們的IT環(huán)境中，服務(wù)器的運(yùn)行容量不足40％？ | 我們在哪里可以找到按營銷活動顯示我們的社交媒體分析的報告？ |
How | 怎么樣，怎么做 | 如何設(shè)置數(shù)據(jù)質(zhì)量的管理規(guī)則 | 如何獲得產(chǎn)品的競爭優(yōu)勢？ |
Why | 為什么 | 數(shù)據(jù)質(zhì)量問題的根本原因是什么？ | 為什么老客戶會不斷的流失？ |
03 元數(shù)據(jù)分類
根據(jù)數(shù)據(jù)的性質(zhì)特點，業(yè)內(nèi)一般將元數(shù)據(jù)劃分為三類：業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)是描述數(shù)據(jù)的業(yè)務(wù)含義、業(yè)務(wù)規(guī)則等。通過明確業(yè)務(wù)元數(shù)據(jù)讓人們更容易理解和使用業(yè)務(wù)元數(shù)據(jù)，元數(shù)據(jù)消除了數(shù)據(jù)二義性，讓人們對數(shù)據(jù)有一致的認(rèn)證，避免“各說自話”，進(jìn)而為數(shù)據(jù)分析和應(yīng)用提供支撐。常見的業(yè)務(wù)元數(shù)據(jù)包括：業(yè)務(wù)定義、業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、業(yè)務(wù)指標(biāo)等。技術(shù)元數(shù)據(jù)是對數(shù)據(jù)的結(jié)構(gòu)化，方便計算機(jī)或數(shù)據(jù)庫之間對數(shù)據(jù)進(jìn)行識別、存儲、傳輸和交換。技術(shù)元數(shù)據(jù)可以服務(wù)于開發(fā)人員，讓開發(fā)人員對數(shù)據(jù)的存儲、結(jié)構(gòu)更明確，從而為應(yīng)用的開發(fā)和系統(tǒng)的集成奠定基礎(chǔ)。技術(shù)元數(shù)據(jù)也可服務(wù)于業(yè)務(wù)人員，通過元數(shù)據(jù)理清數(shù)據(jù)關(guān)系，讓業(yè)務(wù)人員能夠更快速的找到想要的數(shù)據(jù)，進(jìn)而對數(shù)據(jù)的來源去向進(jìn)行分析，支持?jǐn)?shù)據(jù)血緣追溯和影響分析。常見的技術(shù)元數(shù)據(jù)包括：存儲位置、數(shù)據(jù)模型、數(shù)據(jù)庫表、字段長度、字段類型、ETL腳本、SQL腳本、接口程序、數(shù)據(jù)關(guān)系等。操作元數(shù)據(jù)描述了數(shù)據(jù)的操作屬性，包括管理部門、管理責(zé)任人等，通過明確管理屬性，有利于數(shù)據(jù)管理責(zé)任到部門和個人，是數(shù)據(jù)安全管理的基礎(chǔ)。常見的操作元數(shù)據(jù)包括：數(shù)據(jù)所有者、數(shù)據(jù)質(zhì)量定責(zé)、數(shù)據(jù)安全等級、數(shù)據(jù)訪問權(quán)限，數(shù)據(jù)處理作業(yè)的結(jié)果等。
元數(shù)據(jù)類型 | 元數(shù)據(jù) | 元數(shù)據(jù)描述 | 元數(shù)據(jù)實例 |
業(yè)務(wù)元數(shù)據(jù) | 業(yè)務(wù)定義 | 數(shù)據(jù)的含義 | 客戶的完整名稱，并具有法律效力 |
| 業(yè)務(wù)規(guī)則 | 數(shù)據(jù)錄入規(guī)則 | 企業(yè)的營業(yè)執(zhí)照、組織機(jī)構(gòu)代碼證書，統(tǒng)一社會信用代碼證書等具有法律效力的證明文件中的中文名稱全稱 |
| 識別規(guī)則 | 識別規(guī)則 | 企業(yè)的組織機(jī)構(gòu)代碼或者統(tǒng)一社會信用代碼或者統(tǒng)一納稅號必須完全匹配，則認(rèn)為是同一客戶。 |
| 質(zhì)量規(guī)則 | 質(zhì)量規(guī)則 | 客戶名稱為非空，并且與營業(yè)執(zhí)照的中文名稱一致 |
技術(shù)元數(shù)據(jù) | 存儲位置 | 數(shù)據(jù)的存儲什么地方 | ERP系統(tǒng) |
技術(shù)元數(shù)據(jù) | 數(shù)據(jù)庫表 | 存儲數(shù)據(jù)的庫表名稱和路徑 | ERP/Customers |
技術(shù)元數(shù)據(jù) | 字段類型 | 數(shù)據(jù)的技術(shù)類型 | 字符型 |
技術(shù)元數(shù)據(jù) | 字段長度 | 數(shù)據(jù)存儲的最大長度 | [200] |
操作元數(shù)據(jù) | 更新頻率 | 數(shù)據(jù)的更新頻率 | 每年更新一次 |
操作元數(shù)據(jù) | 管理部門 | 數(shù)據(jù)責(zé)任部門 | 客戶管理部 |
操作元數(shù)據(jù) | 管理責(zé)任人 | 數(shù)據(jù)責(zé)任部門 | 客戶管理部業(yè)務(wù)員 |
04 數(shù)據(jù)中臺元數(shù)據(jù)標(biāo)準(zhǔn)
以上我們回顧了數(shù)據(jù)中臺和元數(shù)據(jù)的相關(guān)概念，接下來我們重點介紹下這份標(biāo)準(zhǔn)。
《數(shù)據(jù)中臺 元數(shù)據(jù)規(guī)范》是由浙江省標(biāo)準(zhǔn)化研究院支撐、杭州玳數(shù)科技有限公司牽頭起草的全國首個 《數(shù)據(jù)中臺 元數(shù)據(jù)規(guī)范》團(tuán)體標(biāo)準(zhǔn)正式批準(zhǔn)發(fā)布，該標(biāo)準(zhǔn)作為我國數(shù)據(jù)中臺領(lǐng)域第一個團(tuán)體標(biāo)準(zhǔn)，填補(bǔ)了國內(nèi)數(shù)據(jù)中臺元數(shù)據(jù)的標(biāo)準(zhǔn)空白。
該標(biāo)準(zhǔn)通過了來自浙江大學(xué)、浙江省數(shù)字化與設(shè)計制造創(chuàng)新中心、阿里云等行業(yè)內(nèi)專家評審，為推動數(shù)字行業(yè)標(biāo)準(zhǔn)化提供了樣板，填補(bǔ)了我國數(shù)據(jù)中臺元數(shù)據(jù)標(biāo)準(zhǔn)空白，也為困擾行業(yè)多年的“數(shù)據(jù)孤島”問題找到了解決之道。該標(biāo)準(zhǔn)規(guī)定了數(shù)據(jù)中臺元數(shù)據(jù)的元模型、描述方法、擴(kuò)展要求、校驗等，適用于數(shù)據(jù)中臺的數(shù)據(jù)集編目、建庫以及數(shù)據(jù)交換、數(shù)據(jù)集成等。本標(biāo)準(zhǔn)的發(fā)布和實施，將為有關(guān)企業(yè)、部門建設(shè)數(shù)據(jù)中臺提供支撐，實現(xiàn)數(shù)據(jù)互聯(lián)互通、資源協(xié)調(diào)，打破“數(shù)據(jù)孤島”，充分發(fā)揮各類數(shù)據(jù)價值，助力浙江數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展。以下是這份標(biāo)準(zhǔn)的目錄截圖，文末附下載方式：
文中部分內(nèi)容來自《一本書講透數(shù)據(jù)治理》，機(jī)械工業(yè)出版社
資料下載：轉(zhuǎn)發(fā)朋友圈截圖回復(fù)666下載，回復(fù)“資料下載”下載所有資料
推薦閱讀：
世界的真實格局分析，地球人類社會底層運(yùn)行原理
不是你需要中臺，而是一名合格的架構(gòu)師（附各大廠中臺建設(shè)PPT）
企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
論數(shù)字化轉(zhuǎn)型——轉(zhuǎn)什么，如何轉(zhuǎn)？
華為干部與人才發(fā)展手冊（附PPT）
企業(yè)10大管理流程圖，數(shù)字化轉(zhuǎn)型從業(yè)者必備！
【中臺實踐】華為大數(shù)據(jù)中臺架構(gòu)分享.pdf
華為的數(shù)字化轉(zhuǎn)型方法論
華為如何實施數(shù)字化轉(zhuǎn)型（附PPT）
超詳細(xì)280頁Docker實戰(zhàn)文檔！開放下載
華為大數(shù)據(jù)解決方案（PPT）
