數(shù)據(jù)目錄是什么？您為何需要它？
在上文我們簡(jiǎn)單介紹數(shù)據(jù)目錄的定義，也就是使用元數(shù)據(jù)來(lái)幫助企業(yè)管理數(shù)據(jù)。接下來(lái)，我們使用圖書館作類比，帶您詳細(xì)了解數(shù)據(jù)目錄。
當(dāng)您前往圖書館查找某一圖書時(shí)，您可以使用圖書目錄來(lái)查找該圖書是否存在，了解它的版本、位置以及相關(guān)描述。您可以使用所有這些信息來(lái)決定是否真的需要這本書，了解如何找到它。
當(dāng)今的許多對(duì)象存儲(chǔ)、數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)就相當(dāng)于一座座圖書館。
我們?cè)倩氐綀D書館和圖書目錄。現(xiàn)在，我們對(duì)圖書目錄進(jìn)行擴(kuò)展，涵蓋整個(gè)國(guó)家的所有圖書館。想象一下，這樣您就可以在一個(gè)界面中查找整個(gè)國(guó)家中儲(chǔ)藏了您所需圖書的所有圖書館，查找關(guān)于您所需的每一本圖書的所有詳細(xì)信息。
企業(yè)數(shù)據(jù)目錄之于數(shù)據(jù)，正如圖書目錄之于圖書。它可以為您提供一個(gè)整體視圖，提供關(guān)于您所有數(shù)據(jù)的深度可見性，而不僅僅是一次只查看某一項(xiàng)數(shù)據(jù)。
您為什么需要這樣一個(gè)視圖呢？
需耗費(fèi)大量時(shí)間和精力查找和訪問數(shù)據(jù) 數(shù)據(jù)湖變成了數(shù)據(jù)沼澤 無(wú)通用業(yè)務(wù)詞匯 難以理解“黑暗數(shù)據(jù)”的結(jié)構(gòu)和類別 難以評(píng)估數(shù)據(jù)來(lái)源、質(zhì)量和可靠性 無(wú)法捕獲部落知識(shí)或丟失的知識(shí) 難以重用知識(shí)和數(shù)據(jù)資產(chǎn) 需手動(dòng)和臨時(shí)進(jìn)行數(shù)據(jù)準(zhǔn)備
我們 CRM 應(yīng)用中的模式變更將產(chǎn)生哪些影響？ Peoplesoft 和 HCM 數(shù)據(jù)結(jié)構(gòu)有何不同？
從何處可以找到和查看一些地理位置數(shù)據(jù)？ 如何輕松訪問數(shù)據(jù)湖中的數(shù)據(jù)？
我們是否真的在改善運(yùn)營(yíng)數(shù)據(jù)質(zhì)量？ 我們是否為重要的關(guān)鍵數(shù)據(jù)元素定義了標(biāo)準(zhǔn)？
哪些人可以訪問客戶的個(gè)人信息？ 我們是否為所有數(shù)據(jù)定義了保留策略？
在過(guò)去幾年中，隨著需要管理和訪問的數(shù)據(jù)的數(shù)量日益增長(zhǎng)，數(shù)據(jù)目錄這一概念開始流行起來(lái)。在這一切的背后，是云、大數(shù)據(jù)分析、人工智能和機(jī)器學(xué)習(xí)正逐漸改變?nèi)藗儾榭?、管理和使用?shù)據(jù)的方式 — 不僅要管理數(shù)據(jù)，還要訪問和充分利用數(shù)據(jù)。
使用數(shù)據(jù)目錄，您可以更好地使用數(shù)據(jù)，獲得以下優(yōu)勢(shì)：
節(jié)省成本 提高運(yùn)營(yíng)效率 增強(qiáng)競(jìng)爭(zhēng)優(yōu)勢(shì) 改善客戶體驗(yàn) 減少欺詐，降低風(fēng)險(xiǎn) 等等
數(shù)據(jù)發(fā)現(xiàn)還包括通過(guò)各種方式來(lái)理解數(shù)據(jù)的形態(tài)和特征，例如簡(jiǎn)單的值分布和統(tǒng)計(jì)信息，或者重要且復(fù)雜的個(gè)人身份信息 (PII) 或個(gè)人健康信息 (PHI)。
許多人可能不熟悉元數(shù)據(jù)，我們有必要先介紹一些簡(jiǎn)單的概念。元數(shù)據(jù)是什么？元數(shù)據(jù)分為 3 類：
技術(shù)元數(shù)據(jù)：模式、表、列、文件名、報(bào)告名 — 源系統(tǒng)中記錄的所有信息
業(yè)務(wù)元數(shù)據(jù)：通常指用戶具備的關(guān)于組織資產(chǎn)的業(yè)務(wù)知識(shí)，包括業(yè)務(wù)描述、備注、注釋、分類、適用性、評(píng)級(jí)等等。
操作元數(shù)據(jù)：這一對(duì)象的刷新時(shí)間？它由哪一個(gè) ETL 作業(yè)創(chuàng)建？表格被訪問次數(shù)有多少？具體有哪些？
在過(guò)去幾年里，這些寶貴的元數(shù)據(jù)的使用方式發(fā)生了一次細(xì)微的變革。曾經(jīng)，元數(shù)據(jù)僅用于審計(jì)、來(lái)歷追溯和報(bào)告。如今，無(wú)服務(wù)器處理、圖形數(shù)據(jù)庫(kù)等技術(shù)創(chuàng)新，尤其是全新、更加便捷的 AI 和機(jī)器學(xué)習(xí)技術(shù)正在突破元數(shù)據(jù)的界限，帶來(lái)新的可能。
在今天，元數(shù)據(jù)可增強(qiáng)數(shù)據(jù)管理。從自助數(shù)據(jù)準(zhǔn)備到角色和數(shù)據(jù)內(nèi)容庫(kù)訪問控制，自動(dòng)化數(shù)據(jù)打通，異常監(jiān)視和警報(bào)，自動(dòng)化資源供應(yīng)和擴(kuò)展等等，元數(shù)據(jù)可以全面增強(qiáng)所有這些功能。
數(shù)據(jù)目錄可以使用元數(shù)據(jù)幫助您實(shí)現(xiàn)比數(shù)據(jù)管理更強(qiáng)大的功能。
一個(gè)優(yōu)秀的數(shù)據(jù)目錄應(yīng)當(dāng)具備以下功能：
①數(shù)據(jù)搜索和發(fā)現(xiàn)：數(shù)據(jù)目錄應(yīng)當(dāng)具備靈活的搜索和過(guò)濾選項(xiàng)，從而賦能用戶快速找到相關(guān)數(shù)據(jù)集，以實(shí)施數(shù)據(jù)科學(xué)、分析或數(shù)據(jù)工程；按照數(shù)據(jù)資產(chǎn)的技術(shù)層級(jí)來(lái)瀏覽元數(shù)據(jù)。此外，如支持用戶輸入技術(shù)信息、自定義標(biāo)簽或業(yè)務(wù)術(shù)語(yǔ)，數(shù)據(jù)目錄可以進(jìn)一步改善搜索功能。
②從各種數(shù)據(jù)源收集元數(shù)據(jù)：請(qǐng)確保您的數(shù)據(jù)目錄可以從各種互聯(lián)數(shù)據(jù)資產(chǎn)中收集技術(shù)元數(shù)據(jù)，包括對(duì)象存儲(chǔ)、自治駕駛數(shù)據(jù)庫(kù)、本地部署系統(tǒng)等等。
③元數(shù)據(jù)管理：數(shù)據(jù)目錄應(yīng)支持主題專家通過(guò)企業(yè)業(yè)務(wù)術(shù)語(yǔ)表、標(biāo)簽、關(guān)聯(lián)、用戶自定義注釋、分類、評(píng)級(jí)等形式來(lái)貢獻(xiàn)業(yè)務(wù)知識(shí)。
④自動(dòng)化和數(shù)據(jù)智能：對(duì)于大規(guī)模數(shù)據(jù)，人工智能和機(jī)器學(xué)習(xí)通常必不可少。因此，數(shù)據(jù)目錄應(yīng)利用 AI 和機(jī)器學(xué)習(xí)技術(shù)來(lái)處理所收集的元數(shù)據(jù)，讓所有可以自動(dòng)化的手動(dòng)任務(wù)都實(shí)現(xiàn)自動(dòng)化。此外，人工智能和機(jī)器學(xué)習(xí)還可以切實(shí)增強(qiáng)數(shù)據(jù)功能，例如為數(shù)據(jù)目錄用戶以及現(xiàn)代化數(shù)據(jù)平臺(tái)上其他服務(wù)的用戶提供數(shù)據(jù)建議。
⑤企業(yè)級(jí)功能：您需要利用強(qiáng)大的企業(yè)級(jí)功能來(lái)正確使用您至關(guān)重要的數(shù)據(jù)資產(chǎn)，例如身份與訪問管理功能以及基于 REST API 的重要功能。同時(shí)，這還意味著客戶和合作伙伴可以貢獻(xiàn)元數(shù)據(jù)（例如自定義收集器），通過(guò) REST 公開其應(yīng)用中的數(shù)據(jù)目錄功能。
除此之外，您的數(shù)據(jù)目錄還應(yīng)當(dāng)成為事實(shí)上的系統(tǒng)目錄，從而為所有持久層（例如對(duì)象存儲(chǔ)、Hadoop、數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)）以及跨所有數(shù)據(jù)存儲(chǔ)運(yùn)行的查詢服務(wù)提供抽象。
正是因?yàn)槿绱?，?shù)據(jù)目錄已不再僅僅是錦上添花，而是成為了一項(xiàng)必不可少的工具。
推薦閱讀：
世界的真實(shí)格局分析，地球人類社會(huì)底層運(yùn)行原理
不是你需要中臺(tái)，而是一名合格的架構(gòu)師（附各大廠中臺(tái)建設(shè)PPT）
企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
論數(shù)字化轉(zhuǎn)型——轉(zhuǎn)什么，如何轉(zhuǎn)？
企業(yè)10大管理流程圖，數(shù)字化轉(zhuǎn)型從業(yè)者必備！
【中臺(tái)實(shí)踐】華為大數(shù)據(jù)中臺(tái)架構(gòu)分享.pdf
華為如何實(shí)施數(shù)字化轉(zhuǎn)型（附PPT）