<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          數(shù)據(jù)治理之元數(shù)據(jù)治理

          共 9130字,需瀏覽 19分鐘

           ·

          2024-07-23 11:27

          元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),用于打破業(yè)務(wù)和IT之間的語言障礙,幫助業(yè)務(wù)更好地理解數(shù)據(jù)。

          元數(shù)據(jù)被認(rèn)為是數(shù)據(jù)治理的基石,元數(shù)據(jù)治理貫徹數(shù)據(jù)產(chǎn)生、加工、消費的全過程,沉淀了數(shù)據(jù)資產(chǎn),搭建了技術(shù)和業(yè)務(wù)的橋梁。本文介紹什么是元數(shù)據(jù)和元數(shù)據(jù)管理,以及常用的元數(shù)據(jù)管理策略、方法和技術(shù)

          01

          什么是元數(shù)據(jù)

          元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù),它實質(zhì)上封裝了高度結(jié)構(gòu)化字段中有關(guān)數(shù)據(jù)資產(chǎn)的不同屬性、歷史記錄、來源、版本和其他信息,主要用于跟蹤、分類和分析。

          元數(shù)據(jù)大致定義為提供有關(guān)其他內(nèi)容的信息的數(shù)據(jù),但不提供有關(guān)數(shù)據(jù)實質(zhì)的信息,例如圖片本身或文本消息的內(nèi)容。它可以幫助用戶理解數(shù)據(jù)的含義,對于確保遵守法規(guī)和數(shù)據(jù)治理計劃至關(guān)重要。 

          元數(shù)據(jù)的示例:

          最基本的文本文檔的元數(shù)據(jù)是

          • 作者,

          • 文件大小,

          • 創(chuàng)建日期,

          • 修改日期。

          音樂的元數(shù)據(jù)可能是

          • 歌手,

          • 專輯,

          • 軌道持續(xù)時間,

          • 比特率等。

          圖像的元數(shù)據(jù)可能是

          • 分辨率,

          • 尺寸,

          • 焦距,

          • 顏色配置文件等。

          02

          元數(shù)據(jù)的作用

          元數(shù)據(jù)提供數(shù)據(jù)的來源、含義、位置、所有權(quán)和創(chuàng)建等信息。例如,數(shù)字圖像中的元數(shù)據(jù)可能包含其大小、分辨率、創(chuàng)建時間和顏色深度等信息。它有助于數(shù)據(jù)的分類、組織、標(biāo)記、排序和搜索。

          元數(shù)據(jù)存儲庫是存儲和管理元數(shù)據(jù)的數(shù)據(jù)庫。應(yīng)向數(shù)據(jù)庫提供內(nèi)容,以確保按預(yù)期使用并適當(dāng)識別內(nèi)容,例如,數(shù)字圖像集合的數(shù)據(jù)庫。以下是元數(shù)據(jù)的作用:

          • 描述:對數(shù)據(jù)對象的內(nèi)容、屬性的描述,這是元數(shù)據(jù)的基本功能,是各組織、各部門之間達(dá)成共識的基礎(chǔ)。

          • 定位:有關(guān)數(shù)據(jù)資源位置方面的信息描述,如數(shù)據(jù)存儲位置、URL等記錄,可以幫助用戶快速找到數(shù)據(jù)資源,有利于信息的發(fā)現(xiàn)和檢索。

          • 檢索:在描述數(shù)據(jù)的過程中,將信息對象中的重要信息抽出并加以組織,建立它們之間的關(guān)系,為用戶提供多層次、多途徑的檢索體系,幫助用戶找到想要的信息。

          • 管理:對數(shù)據(jù)對象的版本、管理和使用權(quán)限的描述,方便信息對象管理和使用。

          • 評估:由于有元數(shù)據(jù)描述,用戶在不瀏覽具體數(shù)據(jù)對象的情況下也能對數(shù)據(jù)對象有個直觀的認(rèn)識,方便用戶的使用。

          • 交互:元數(shù)據(jù)對數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)關(guān)系的描述方便了數(shù)據(jù)對象在不同部門、不同系統(tǒng)之間進行流通和流轉(zhuǎn),并確保流轉(zhuǎn)過程中數(shù)據(jù)標(biāo)準(zhǔn)的一致性。

          元數(shù)據(jù)以數(shù)字化方式描述企業(yè)的數(shù)據(jù)、流程和應(yīng)用程序,為企業(yè)數(shù)字資產(chǎn)的內(nèi)容提供了上下文,使得數(shù)據(jù)更容易理解、查找、管理和使用。準(zhǔn)確的元數(shù)據(jù)是必不可少的,也是迅速、有效地對數(shù)據(jù)去粗取精的關(guān)鍵。沒有元數(shù)據(jù),數(shù)據(jù)就毫無意義,只不過是一堆數(shù)字或文字而已。因此,對于元數(shù)據(jù)的有效管理是企業(yè)數(shù)據(jù)治理的基礎(chǔ)

          03

          元數(shù)據(jù)的分類

          按照不同應(yīng)用領(lǐng)域或功能,元數(shù)據(jù)一般大致可分為:業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)、管理元數(shù)據(jù)
          例如,銷售主題的指標(biāo)體系如下所示,通常包含業(yè)務(wù)、技術(shù)、操作和管理四部分屬性內(nèi)容:
          業(yè)務(wù)元數(shù)據(jù):業(yè)務(wù)元數(shù)據(jù)定義數(shù)據(jù)的業(yè)務(wù)含義、業(yè)務(wù)規(guī)則等;消除數(shù)據(jù)二義性,讓用戶對數(shù)據(jù)有一致的業(yè)務(wù)認(rèn)知,為數(shù)據(jù)分析和應(yīng)用提供有力支撐;
          技術(shù)元數(shù)據(jù):技術(shù)元數(shù)據(jù)明確數(shù)據(jù)的存儲、結(jié)構(gòu),為應(yīng)用開發(fā)和系統(tǒng)集成奠定基礎(chǔ);通過技術(shù)元數(shù)據(jù)厘清數(shù)據(jù)關(guān)系,支持?jǐn)?shù)據(jù)血緣追溯和影響分析;
          數(shù)據(jù)倉庫中的技術(shù)元數(shù)據(jù)一般包含以下 4 大系統(tǒng):數(shù)據(jù)源元數(shù)據(jù)、ETL元數(shù)據(jù)、數(shù)據(jù)倉庫元數(shù)據(jù)、BI 元數(shù)據(jù)。
          • 數(shù)據(jù)源元數(shù)據(jù):例如:數(shù)據(jù)源的 IP、端口、數(shù)據(jù)庫類型;數(shù)據(jù)獲取的方式;數(shù)據(jù)存儲的結(jié)構(gòu);原數(shù)據(jù)各列的定義及 key 對應(yīng)的值。
          • ETL元數(shù)據(jù):根據(jù) ETL 目的的不同,可以分為兩類:數(shù)據(jù)清洗元數(shù)據(jù);數(shù)據(jù)處理元數(shù)據(jù)。
          1. 數(shù)據(jù)清洗元數(shù)據(jù):數(shù)據(jù)清洗,主要目的是為了解決掉臟數(shù)據(jù)及規(guī)范數(shù)據(jù)格式。因此此處元數(shù)據(jù)主要為:各表各列的"正確"數(shù)據(jù)規(guī)則;默認(rèn)數(shù)據(jù)類型的"正確"規(guī)則。
          2. 數(shù)據(jù)處理元數(shù)據(jù):數(shù)據(jù)處理,例如常見的表輸入表輸出;非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化;特殊字段的拆分等。源數(shù)據(jù)到數(shù)倉、數(shù)據(jù)集市層的各類規(guī)則。比如內(nèi)容、清理、數(shù)據(jù)刷新規(guī)則。
          • 數(shù)據(jù)倉庫元數(shù)據(jù):數(shù)據(jù)倉庫結(jié)構(gòu)的描述,包括倉庫模式、視圖、維、層次結(jié)構(gòu)及數(shù)據(jù)集市的位置和內(nèi)容;業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式等。
          • BI 元數(shù)據(jù):匯總用的算法、包括各類度量和維度定義算法。數(shù)據(jù)粒度、主題領(lǐng)域、聚集、匯總、預(yù)定義的查詢與報告。
          操作元數(shù)據(jù):操作元數(shù)據(jù)描述數(shù)據(jù)的操作屬性,包括管理部門、管理責(zé)任人等。明確管理屬性有利于將數(shù)據(jù)管理責(zé)任落實到部門和個人,是數(shù)據(jù)安全管理的基礎(chǔ)。
          管理元數(shù)據(jù):管理元數(shù)據(jù)定義數(shù)據(jù)的操作屬性,包括管理部門、管理責(zé)任人等;有利于將數(shù)據(jù)管理責(zé)任落實到部門和個人,是數(shù)據(jù)安全管理的基礎(chǔ)。
          元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)。如何理解?
          現(xiàn)在我告訴一個數(shù)字:175,你除了對175這個數(shù)字有比較確定的量化意義之外,也無法理解175具體代表了什么含義。但是如果是這樣描述一下呢?
          這樣是不是就很清楚了?175的意思是:2020年統(tǒng)計的全國成年男性平均身高,該值的合理閾值是80-260cm,數(shù)據(jù)目前存在MySQL中,訪問連接是XXXXX,由國家統(tǒng)計的張三在2020年1月1日創(chuàng)建,數(shù)據(jù)目前是公開的,很安全,質(zhì)量經(jīng)過多重確認(rèn)無誤的。
          在描述175這個數(shù)據(jù),用了哪些描述項呢?單位、指標(biāo)、統(tǒng)計時間、統(tǒng)計范圍、合理閾值、數(shù)據(jù)庫、表、字段、接口、創(chuàng)建人、創(chuàng)建時間、數(shù)據(jù)權(quán)限、質(zhì)量等級等等。這些都是在描述175這個數(shù)據(jù)。我們把描述175這個數(shù)據(jù)的其他數(shù)據(jù)稱之為“元數(shù)據(jù)”。當(dāng)然,為了管理方便,我們同樣還能將上述元數(shù)據(jù)進行歸類

          04

          元數(shù)據(jù)的管理

          4.1 什么是元數(shù)據(jù)管理
          根據(jù)維基百科的定義,元數(shù)據(jù)管理是指與確保正確創(chuàng)建、存儲和控制元數(shù)據(jù),以便在整個企業(yè)中一致地定義數(shù)據(jù)有關(guān)的活動。
          元數(shù)據(jù)管理是對涉及的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、操作元數(shù)據(jù)進行盤點、集成和管理。采用科學(xué)有效的機制對元數(shù)據(jù)進行管理,并面向開發(fā)人員、業(yè)務(wù)用戶提供元數(shù)據(jù)服務(wù),可以滿足用戶的業(yè)務(wù)需求,為企業(yè)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)分析的開發(fā)、維護等過程提供支持。
          元數(shù)據(jù)管理是數(shù)據(jù)治理過程的一部分,而數(shù)據(jù)治理過程又是整體數(shù)據(jù)管理策略的一個要素
          4.2 元數(shù)據(jù)管理的目標(biāo)
          舉個例子,將圖書館的圖書類比為數(shù)據(jù)資產(chǎn):元數(shù)據(jù)管理的工作是創(chuàng)建圖書目錄、索引和用戶指南,輔助讀者進行書籍快速查找和數(shù)據(jù)閱讀。
          目前很多企業(yè)沒有完整的數(shù)據(jù)治理規(guī)劃,導(dǎo)致關(guān)鍵信息缺失,元數(shù)據(jù)的獲取比較困難等,因此需要對元數(shù)據(jù)管理進行整體規(guī)劃,以更好實現(xiàn)元數(shù)據(jù)的獲取和管理。企業(yè)元數(shù)據(jù)管理需要以業(yè)務(wù)需求為目標(biāo),主要包含:
          元數(shù)據(jù)治理:實現(xiàn)企業(yè)元數(shù)據(jù)的統(tǒng)一治理,為企業(yè)的數(shù)據(jù)應(yīng)用開發(fā)提供可復(fù)用的數(shù)據(jù)模型和元數(shù)據(jù)標(biāo)準(zhǔn)。
          數(shù)據(jù)治理提升:統(tǒng)一的元數(shù)據(jù)管理為數(shù)據(jù)稽查、數(shù)據(jù)質(zhì)量管理打下良好的基礎(chǔ),實現(xiàn)數(shù)據(jù)治理能力和質(zhì)效的提升。
          數(shù)據(jù)資產(chǎn)編目:基于元數(shù)據(jù)管理實現(xiàn)數(shù)據(jù)資產(chǎn)分布和數(shù)據(jù)關(guān)系的梳理,快速形成企業(yè)數(shù)據(jù)資產(chǎn)編目;提高數(shù)據(jù)資產(chǎn)管理效率及應(yīng)用能力。
          4.3 元數(shù)據(jù)管理的挑戰(zhàn)
          盡管企業(yè)越來越意識到元數(shù)據(jù)管理的重要性,但是在實際的數(shù)據(jù)治理中,元數(shù)據(jù)管理技術(shù)和方法仍面臨著很多挑戰(zhàn)
          1) 局部的元數(shù)據(jù)管理
          雖然很多企業(yè)已經(jīng)意識到元數(shù)據(jù)管理能夠創(chuàng)建對數(shù)據(jù)的統(tǒng)一描述并確保數(shù)據(jù)的一致性,但是,目前國內(nèi)企業(yè)的元數(shù)據(jù)管理多數(shù)是建立在新建系統(tǒng)或數(shù)據(jù)倉庫項目的局部治理上,而不是企業(yè)級的元數(shù)據(jù)管理,特別是對于企業(yè)采購的套裝軟件的治理顯得十分薄弱。主要原因是,要將中央元數(shù)據(jù)倉庫的元數(shù)據(jù)與套裝軟件產(chǎn)生的元數(shù)據(jù)進行匹配和映射,需要做大量工作。有的企業(yè)的元數(shù)據(jù)管理平臺成為擺設(shè),或者只有部分IT人員在用,很少甚至完全沒有嘗試在整個企業(yè)中使用和推廣集中化的元數(shù)據(jù)。這在一定程度上限制了企業(yè)數(shù)據(jù)資產(chǎn)的共享或重用。因此,元數(shù)據(jù)管理需要全局、集中化的管理策略
          2) 手動的元數(shù)據(jù)管理
          在企業(yè)元數(shù)據(jù)管理項目的實施中,需要花費很長的時間來完成元數(shù)據(jù)的梳理和定義、元數(shù)據(jù)適配器的開發(fā)、元數(shù)據(jù)的采集、元數(shù)據(jù)的維護等任務(wù)。這些任務(wù)絕大多數(shù)是需要人工手動處理的,手動的元數(shù)據(jù)管理和維護十分煩瑣且容易出錯,這使得項目的成本提高,交付的周期變長。因此,元數(shù)據(jù)管理需要更加有效的方法和自動化程度更高的工具
          3)日趨復(fù)雜的數(shù)據(jù)環(huán)境
          大數(shù)據(jù)時代,隨著越來越多的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)滲透到企業(yè)的數(shù)字環(huán)境中,采用傳統(tǒng)的元數(shù)據(jù)管理方式來采集、處理和檢索元數(shù)據(jù)變得越來越具有挑戰(zhàn)性。尤其是在處理復(fù)雜的數(shù)據(jù)關(guān)系時,雖然人們很容易根據(jù)認(rèn)知關(guān)聯(lián)來判斷兩個或多個事物是否相關(guān),但目前的元數(shù)據(jù)管理工具卻常常無法做到。因此,元數(shù)據(jù)管理需要更智能化的技術(shù)。
          4)數(shù)據(jù)的頻繁變化
          企業(yè)的數(shù)據(jù)是在數(shù)據(jù)供應(yīng)鏈中不斷移動的。這里所說的數(shù)據(jù)供應(yīng)鏈,是指從數(shù)據(jù)創(chuàng)建到數(shù)據(jù)的加工處理、存儲使用的整個生命周期鏈條。隨著數(shù)據(jù)的不斷創(chuàng)建、抽取和轉(zhuǎn)換,有關(guān)數(shù)據(jù)來源、血緣、轉(zhuǎn)換過程、質(zhì)量級別以及與其他數(shù)據(jù)的關(guān)系的元數(shù)據(jù)也會隨時變化。企業(yè)需要將自動化算法和規(guī)則應(yīng)用于數(shù)據(jù)資產(chǎn)管理中,自動識別和生成元數(shù)據(jù),減少手動維護的情況,從而確保元數(shù)據(jù)描述準(zhǔn)確可靠。
          4.4 元數(shù)據(jù)管理的主要內(nèi)容
          企業(yè)數(shù)據(jù)治理及數(shù)據(jù)資產(chǎn)流轉(zhuǎn)過程中都會涉及到元數(shù)據(jù)的管理,包括對數(shù)據(jù)源、數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)資產(chǎn)、應(yīng)用層、BI展示層所對應(yīng)的元數(shù)據(jù)進行統(tǒng)一的管理。
          企業(yè)在確立了元數(shù)據(jù)管理的目標(biāo)之后,進行元數(shù)據(jù)規(guī)劃以及元數(shù)據(jù)管理策略的制定。主要包括以下內(nèi)容:
          元數(shù)據(jù)管理的基本策略:
          ①堅持以易用、實用、易理解、準(zhǔn)確為基本原則;
          ②支持異構(gòu)系統(tǒng)之間元數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一,支持互操作;
          ③面對復(fù)雜多變數(shù)據(jù)環(huán)境支持元數(shù)據(jù)管理的擴展性。
          元數(shù)據(jù)的梳理:
          根據(jù)不同分類框架對元數(shù)據(jù)進行梳理,通常有以下兩種方式,在實際的元數(shù)據(jù)管理過程中,企業(yè)通常需要根據(jù)業(yè)務(wù)需求,兩種梳理方式相結(jié)合,來構(gòu)建企業(yè)級的元數(shù)據(jù)地圖。
          ①站在業(yè)務(wù)視角梳理:基于企業(yè)的業(yè)務(wù)域或管理域、從業(yè)務(wù)主題、實體、數(shù)據(jù)模型等逐層遞進分解梳理,形成企業(yè)數(shù)據(jù)目錄,通過這種方式形成的元數(shù)據(jù)易于業(yè)務(wù)人員理解和使用;
          ②站在技術(shù)視角梳理:通過對數(shù)據(jù)源對應(yīng)的IT系統(tǒng)、數(shù)據(jù)表、數(shù)據(jù)結(jié)構(gòu)進行分析和梳理,形成企業(yè)數(shù)據(jù)目錄;通過這種方式形成的元數(shù)據(jù)便于IT技術(shù)人員理解和使用
          元數(shù)據(jù)的定義:對元數(shù)據(jù)的業(yè)務(wù)屬性、技術(shù)屬性、管理屬性進行標(biāo)準(zhǔn)的定義,主要是描述元數(shù)據(jù)各屬性內(nèi)容:例如名稱、用途、存儲位置、歷史數(shù)據(jù)、更新時間等。
          元數(shù)據(jù)的采集:通過元數(shù)據(jù)管理平臺中自動化采集能力,對元數(shù)據(jù)進行識別和獲取,包括缺乏原始元數(shù)據(jù)信息的老舊系統(tǒng),通過人工進行元數(shù)據(jù)的補充后,實現(xiàn)統(tǒng)一管理。
          元數(shù)據(jù)的管理:在完成對分散在各業(yè)務(wù)系統(tǒng)中的元數(shù)據(jù)采集、梳理后,建立技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、管理元數(shù)據(jù)的映射,形成企業(yè)級元數(shù)據(jù)地圖并支持多版本管理。
          元數(shù)據(jù)的應(yīng)用:支持元數(shù)據(jù)查詢、元數(shù)據(jù)報表以及元數(shù)據(jù)分析,通過元數(shù)據(jù)管理平臺對相關(guān)用戶分配相應(yīng)的元數(shù)據(jù)使用權(quán)限。
          元數(shù)據(jù)的變更:各業(yè)務(wù)系統(tǒng)數(shù)據(jù)源等信息會隨時發(fā)生變化,企業(yè)可以采用自動識別和主動申請元數(shù)據(jù)變更兩種方式,來落實元數(shù)據(jù)的變更與新版本的發(fā)布
          4.5 元數(shù)據(jù)管理的保障體系
          企業(yè)基于數(shù)據(jù)治理整體框架,建立元數(shù)據(jù)管理體系,需要從組織保障、運營制度、業(yè)務(wù)流程、管理平臺等方面確保元數(shù)據(jù)的落地和持久化運營,幫助企業(yè)管理好元數(shù)據(jù),使用好元數(shù)據(jù)。
          組織保障:組織保障:建立高層支持、中層管理、基礎(chǔ)執(zhí)行三層級專業(yè)化數(shù)據(jù)治理組織,為元數(shù)據(jù)管理工作提供組織保障。
          制度保障:元數(shù)據(jù)管理是企業(yè)數(shù)據(jù)治理基礎(chǔ),需制定配套的管理制度、獎罰措施進行日常運營管理,這是元數(shù)據(jù)管理持續(xù)推進的動力之一。
          流程保障:確立元數(shù)據(jù)從產(chǎn)生、定義、發(fā)布、變更維護等全過程管理流程,確保元數(shù)據(jù)管理持續(xù)高效推進。
          管理平臺:搭建統(tǒng)一的元數(shù)據(jù)管理平臺,實現(xiàn)企業(yè)級元數(shù)據(jù)集中管控,支持元數(shù)據(jù)采集、元數(shù)據(jù)管理、元數(shù)據(jù)共享等,為元數(shù)據(jù)管理提供技術(shù)保障。
          05
          元數(shù)據(jù)的管理工具
          談到元數(shù)據(jù)管理時,要考慮的最重要的事情之一就是使用的工具。畢竟,即使有定義最明確的元數(shù)據(jù)治理政策和程序,但如果沒有合適的工具來管理和實施它們,努力就會功虧一簣。
          首先,市場上有太多的選擇。從 Apache Atlas 和 Metadata Repository 等開源產(chǎn)品到 Informatica MDM、Collibra 和 Alation Data Catalog 等商業(yè)產(chǎn)品。每個工具都有自己的一組特性和功能,因此進行研究并找到最適合組織需求的工具非常重要。下面,列出了其中一些工具以及提供它們的公司
          1)Atlan:主動元數(shù)據(jù)管理
          Atlan是“為云時代重塑數(shù)據(jù)管理的公司”,是領(lǐng)先的主動元數(shù)據(jù)管理平臺。它們提供個性化的元數(shù)據(jù)體驗、強大的協(xié)作功能和開放的 API 架構(gòu)以支持更強大的連接性。
          主要的 Atlan 主動元數(shù)據(jù)管理產(chǎn)品是數(shù)據(jù)發(fā)現(xiàn),列級沿襲,數(shù)據(jù)治理,數(shù)據(jù)詞匯表等。Atlan 用戶認(rèn)可該平臺精心構(gòu)建的搜索功能、無縫集成、用戶友好的界面、協(xié)作支持以及供應(yīng)商的客戶服務(wù)。消費者還欣賞該平臺如何幫助管理數(shù)據(jù)質(zhì)量和創(chuàng)建自定義元數(shù)據(jù)。很少有抱怨與個別用例缺乏功能有關(guān)。
          2)Collibra:針對各種工作流的復(fù)雜數(shù)據(jù)治理
          Collibra提供數(shù)據(jù)智能云平臺,可簡化和自動化關(guān)鍵數(shù)據(jù)管理方面。它在 IDC MarketScape 中被定位為領(lǐng)導(dǎo)者:全球數(shù)據(jù)目錄軟件 2022 供應(yīng)商評估。其產(chǎn)品套件包括數(shù)據(jù)目錄,數(shù)據(jù)治理,數(shù)據(jù)隱私,數(shù)據(jù)沿襲,數(shù)據(jù)質(zhì)量和可觀察性。
          大多數(shù)用戶報告說 Collibra 平臺非常適合數(shù)據(jù)治理,可以針對多個工作流管理進行定制,并與第三方工具很好地集成。然而,評論指出它不是非常用戶友好并且需要大量的技術(shù)專業(yè)知識才能實施
          3)Alation:支持自助服務(wù)分析和 BI
          Alation是一家行業(yè)公認(rèn)的提供商,其數(shù)據(jù)管理解決方案主要側(cè)重于推動自助服務(wù)分析、數(shù)據(jù)治理和云數(shù)據(jù)遷移。
          Alation 通過其數(shù)據(jù)治理應(yīng)用程序和數(shù)據(jù)目錄工具支持主動元數(shù)據(jù)管理。該平臺有助于捕獲、組織、理解、檢索和交換元數(shù)據(jù)。它充當(dāng)所有公司數(shù)據(jù)的數(shù)據(jù)庫,允許用戶運行查詢,然后在分析和BI 工具中使用這些查詢。您還可以利用數(shù)據(jù)沿襲、影響分析和其他方便的功能。
          4)Informatica:具有基于機器學(xué)習(xí)的數(shù)據(jù)編目功能的數(shù)據(jù)管理軟件
          Informatica是另一個成熟的數(shù)據(jù)管理系統(tǒng)——智能數(shù)據(jù)管理云(IDMC)的供應(yīng)商。它支持?jǐn)?shù)據(jù)集成、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理以及元數(shù)據(jù)管理等其他方面。
          其屢獲殊榮的企業(yè)數(shù)據(jù)目錄工具建立在基于機器學(xué)習(xí)的發(fā)現(xiàn)引擎之上,可跨多個來源掃描和編目數(shù)據(jù)資產(chǎn)。它為數(shù)據(jù)消費者提供強大的搜索功能,自動關(guān)系發(fā)現(xiàn),詳細(xì)的數(shù)據(jù)沿襲,分析統(tǒng)計,數(shù)據(jù)質(zhì)量記分卡,數(shù)據(jù)相似性建議,影響分析功能,以及綜合業(yè)務(wù)詞匯表。活動元數(shù)據(jù)作為 IDMC 的統(tǒng)一基礎(chǔ),推動進一步的分析和其他數(shù)據(jù)管理流程。用戶特別強調(diào)數(shù)據(jù)管理和自動更正功能以及一般的易用性,盡管有些人指出功能列表不足和平臺性能不佳。

          06 
          元數(shù)據(jù)的應(yīng)用
          1)數(shù)據(jù)資產(chǎn)地圖
          按數(shù)據(jù)域?qū)ζ髽I(yè)數(shù)據(jù)資源進行全面盤點和分類,并根據(jù)元數(shù)據(jù)字典自動生成企業(yè)數(shù)據(jù)資產(chǎn)的全景地圖。該地圖可以告訴你有哪些數(shù)據(jù),在哪里可以找到這些數(shù)據(jù),能用這些數(shù)據(jù)干什么。數(shù)據(jù)資產(chǎn)地圖支持以拓?fù)鋱D的形式可視化展示各類元數(shù)據(jù)和數(shù)據(jù)處理過程,通過不同層次的圖形展現(xiàn)粒度控制,滿足業(yè)務(wù)上不同應(yīng)用場景的圖形查詢和輔助分析需要
          2)元數(shù)據(jù)血緣分析
          元數(shù)據(jù)血緣分析會告訴你數(shù)據(jù)來自哪里,經(jīng)過了哪些加工。其價值在于當(dāng)發(fā)現(xiàn)數(shù)據(jù)問題時可以通過數(shù)據(jù)的血緣關(guān)系追根溯源,快速定位到問題數(shù)據(jù)的來源和加工過程,減少數(shù)據(jù)問題排查分析的時間和難度
          3)元數(shù)據(jù)影響分析
          元數(shù)據(jù)影響分析會告訴你數(shù)據(jù)去了哪里,經(jīng)過了哪些加工。其價值在于當(dāng)發(fā)現(xiàn)數(shù)據(jù)問題時可以通過數(shù)據(jù)的關(guān)聯(lián)關(guān)系向下追蹤,快速找到有哪些應(yīng)用或數(shù)據(jù)庫使用了這個數(shù)據(jù),從而最大限度地減小數(shù)據(jù)問題帶來的影響。這個功能常用于數(shù)據(jù)源的元數(shù)據(jù)變更對下游ETL、ODS、DW等應(yīng)用的影響分析。血緣分析是向上追溯,影響分析是向下追蹤,這是這兩個功能的區(qū)別
          4)元數(shù)據(jù)冷熱度分析
          元數(shù)據(jù)冷熱度分析會告訴你哪些數(shù)據(jù)是企業(yè)常用數(shù)據(jù),哪些數(shù)據(jù)屬于僵死數(shù)據(jù)。其價值在于讓數(shù)據(jù)活躍程度可視化,讓企業(yè)中的業(yè)務(wù)人員、管理人員都能夠清晰地看到數(shù)據(jù)的活躍程度,以便他們更好地駕馭數(shù)據(jù),處置或激活僵死數(shù)據(jù),從而為數(shù)據(jù)的自助式分析提供支撐。
          5)元數(shù)據(jù)關(guān)聯(lián)度分析
          元數(shù)據(jù)關(guān)聯(lián)度分析會告訴你數(shù)據(jù)與其他數(shù)據(jù)的關(guān)系,以及它們的關(guān)系是怎樣建立的。關(guān)聯(lián)度分析是從某一實體關(guān)聯(lián)的其他實體及其參與的處理過程兩個角度來查看具體數(shù)據(jù)的使用情況,形成一張實體和所參與處理過程的網(wǎng)絡(luò),如表與ETL程序、表與分析應(yīng)用、表與其他表的關(guān)聯(lián)情況等,從而進一步了解該實體的重要程度。
          6)元數(shù)據(jù)接口
          建立元數(shù)據(jù)查詢、訪問的統(tǒng)一接口規(guī)范,以將企業(yè)核心元數(shù)據(jù)完整、準(zhǔn)確地提取到元數(shù)據(jù)倉庫中進行集中管理和統(tǒng)一共享。
          元數(shù)據(jù)接口規(guī)范主要包括接口編碼方式、接口響應(yīng)格式、接口協(xié)議、接口安全、連接方式、接口地址等方面的內(nèi)容。

          07

          總結(jié)
          在當(dāng)今數(shù)字化時代,元數(shù)據(jù)已經(jīng)成為企業(yè)和組織管理和利用數(shù)據(jù)的重要組成部分。通過對元數(shù)據(jù)進行統(tǒng)一定義、管理、分析、清理、更新和維護,可以提高數(shù)據(jù)質(zhì)量、降低風(fēng)險、提高效率,并為業(yè)務(wù)決策提供更加準(zhǔn)確和可靠的支持。因此,元數(shù)據(jù)是數(shù)據(jù)治理的靈魂,在實踐中具有非常重要的意義。
          來源:公眾號數(shù)據(jù)治理體系


          歡迎大家加入數(shù)據(jù)工匠知識星球獲取更多資訊


          聯(lián)系我們

          掃描二維碼關(guān)注我們

          微信:SZH9543
          郵箱:[email protected]
          QQ:2286075659

          熱門文章

          數(shù)據(jù)架構(gòu):90%的人搞不清的事情

          【溫故知新】24張架構(gòu)圖把數(shù)據(jù)治理核心內(nèi)容講透了

          數(shù)據(jù)治理的過程框架及架構(gòu)階段要點

          萬字干貨:詳解數(shù)倉架構(gòu)到大數(shù)據(jù)架構(gòu)三個時代九種架構(gòu)演進

          數(shù)據(jù)資產(chǎn)頂層架構(gòu)設(shè)計實踐與思考

          我們的使命:發(fā)展數(shù)據(jù)治理行業(yè)、普及數(shù)據(jù)治理知識、改變企業(yè)數(shù)據(jù)管理現(xiàn)狀、提高企業(yè)數(shù)據(jù)質(zhì)量、推動企業(yè)走進大數(shù)據(jù)時代。

          我們的愿景:打造數(shù)據(jù)治理專家、數(shù)據(jù)治理平臺、數(shù)據(jù)治理生態(tài)圈。

          我們的價值觀:凝聚行業(yè)力量、打造數(shù)據(jù)治理全鏈條平臺、改變數(shù)據(jù)治理生態(tài)圈。

          了解更多精彩內(nèi)容


          長按,識別二維碼,關(guān)注我們吧!

          數(shù)據(jù)工匠俱樂部

          微信號:zgsjgjjlb

          專注數(shù)據(jù)治理,推動大數(shù)據(jù)發(fā)展。


          瀏覽 164
          1點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          1點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  性爱无码免费 | 欧美第一页草草影院 | 麻豆成人免费视频 | 就爱搞AⅤ | 欧美高潮AAAAAA片 |