企業(yè)數(shù)據(jù)質(zhì)量管理制度搭建
導(dǎo)讀：無論是任何行業(yè)或者何種背景下的企業(yè)，在步入信息化數(shù)字化階段后，都會面臨數(shù)據(jù)質(zhì)量問題。沒有一個組織擁有完美的業(yè)務(wù)流程、完美的技術(shù)流程或完美的數(shù)據(jù)管理實踐，所有組織都會遇到與數(shù)據(jù)質(zhì)量相關(guān)的問題。相比那些不開展數(shù)據(jù)質(zhì)量管理的組織，實施正式數(shù)據(jù)質(zhì)量管理的組織碰到的問題會更少。如何確保自己企業(yè)的數(shù)據(jù)質(zhì)量比較高，或者是逐步提高。一個很重要的保障措施就是頒布管理制度。數(shù)據(jù)質(zhì)量管理制度需要包含數(shù)據(jù)質(zhì)量管理辦法，數(shù)據(jù)質(zhì)量管理規(guī)范，數(shù)據(jù)質(zhì)量績效考核方面的內(nèi)容。
值得大家注意的是，管理制度搭建的過程中，往往很難區(qū)分規(guī)范、辦法兩者之間的關(guān)系。
辦法是指對于某一工程作業(yè)或者行為進行定性的信息規(guī)定。主要是因為無法精準(zhǔn)定量而形成的標(biāo)準(zhǔn)。所以相對籠統(tǒng)。
規(guī)范是按照規(guī)范制度的要求提出具體可落地、可執(zhí)行的實施措施。所以一定是很具體可量化的細則。
例如：我們在規(guī)范中可以強調(diào)數(shù)據(jù)的及時性，但是在具體的管理辦法中需要明確、量化及時性這一指標(biāo)概念。如：獲取數(shù)據(jù)后X個工作日內(nèi)錄入數(shù)據(jù)，發(fā)生變更時X個工作日內(nèi)完成數(shù)據(jù)更新等。
細分來講，數(shù)據(jù)質(zhì)量管理制度應(yīng)該由以下幾個關(guān)鍵部分組成：
一、規(guī)范定義：
1、首先定義清楚什么樣的數(shù)據(jù)稱之為高質(zhì)量的數(shù)據(jù)，高質(zhì)量數(shù)據(jù)并不是越高越好，因為學(xué)過質(zhì)量成本控制的都清楚，數(shù)據(jù)質(zhì)量并不存在絕對的，而只要滿足企業(yè)業(yè)務(wù)管理需要，即可認為數(shù)據(jù)質(zhì)量達標(biāo)的數(shù)據(jù)。
2、明確什么樣的數(shù)據(jù)屬于數(shù)據(jù)質(zhì)量管理的范疇。比如核心，重要的數(shù)據(jù)，所以識別關(guān)鍵數(shù)據(jù)重要數(shù)據(jù)，并且還要確認該類數(shù)據(jù)的生成規(guī)則和維護流程。
2、達到什么程度才算高質(zhì)量。例如：確保數(shù)據(jù)的及時性，究竟怎么才算及時性，是獲取數(shù)據(jù)的時效？還是分發(fā)到下游的時效？還是接受數(shù)據(jù)的時效？
二、稽查監(jiān)控措施：
1，針對我們已經(jīng)識別的數(shù)據(jù)及其對應(yīng)生成規(guī)則，我們需要確定稽查監(jiān)控的措施。（提升數(shù)據(jù)質(zhì)量的關(guān)鍵是預(yù)防，而不是事后修正）
2，對于產(chǎn)生問題的錯誤數(shù)據(jù)，我們?nèi)绾稳バ迯?fù)改正的相應(yīng)流程。
3、數(shù)據(jù)稽查的頻率和問題反饋頻率，以及反饋渠道或稽查工具平臺需要明確清楚。
三、組織與職能：
1、重點描述組織崗位對應(yīng)的職能，定義需要執(zhí)行遵守的數(shù)據(jù)質(zhì)量管理原則。
2、各組織對數(shù)據(jù)質(zhì)量流程中的職責(zé)權(quán)利需要明確清楚，例如誰生產(chǎn)，誰使用，誰負責(zé)，誰改進等權(quán)責(zé)。
四、績效考核：
評價標(biāo)準(zhǔn)需要量化：一般情況下， 以單條數(shù)據(jù)為單位，通過數(shù)據(jù)質(zhì)量巡檢規(guī)則，從完整性、及時性、準(zhǔn)確性、一致性、唯一性、有效性等六個維度進行檢查，根據(jù)計算規(guī)則得出各區(qū)域的數(shù)據(jù)質(zhì)量綜合得分。常見的數(shù)據(jù)質(zhì)量考核計算方法如下：
? 1）員工數(shù)據(jù)質(zhì)量綜合得分：以該員工錄入維護的相關(guān)數(shù)據(jù)質(zhì)量項為范圍，以數(shù)據(jù)質(zhì)量檢查項的單條數(shù)據(jù)質(zhì)量規(guī)則為檢查單元，先計算正確記錄數(shù)占比作為該條數(shù)據(jù)質(zhì)量規(guī)則對應(yīng)的得分，再加權(quán)計算該數(shù)據(jù)項的所有數(shù)據(jù)質(zhì)量規(guī)則得分作為該數(shù)據(jù)項的得分，最后取所有數(shù)據(jù)項得分的平均值作為員工的數(shù)據(jù)質(zhì)量綜合得分，計算過程及計算公式如下：
數(shù)據(jù)質(zhì)量規(guī)則得分=(1-數(shù)據(jù)質(zhì)量規(guī)則檢查的問題數(shù)/數(shù)據(jù)質(zhì)量規(guī)則檢查的總數(shù))*100
數(shù)據(jù)質(zhì)量規(guī)則名稱 | 問題記錄數(shù) | 記錄總數(shù) | 數(shù)據(jù)質(zhì)量規(guī)則得分 |
規(guī)則 A1 | 10 | 100 | 90.00 |
規(guī)則 A2 | 50 | 200 | 75.00 |
規(guī)則 B1 | 10 | 1000 | 99.00 |
規(guī)則 B2 | 20 | 1000 | 98.00 |
規(guī)則 C1 | 10 | 1000 | 99.00 |
… | … | … | … |
數(shù)據(jù)質(zhì)量規(guī)則的得分表（示例）
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
備注：n 為數(shù)據(jù)項的數(shù)據(jù)質(zhì)量規(guī)則總數(shù)。
數(shù)據(jù)項名稱 | 數(shù)據(jù)質(zhì)量規(guī)則名稱 | 數(shù)據(jù)質(zhì)量規(guī)則得分 | 權(quán)重 | 數(shù)據(jù)項得分 |
數(shù)據(jù)項 A | 規(guī)則 A1 | 90.00 | 50% | 82.50 |
規(guī)則 A2 | 75.00 | 50% | ||
數(shù)據(jù)項 B | 規(guī)則 B1 | 99.00 | 60% | 98.60 |
規(guī)則 B2 | 98.00 | 40% | ||
數(shù)據(jù)項 C | 規(guī)則 C1 | 99.00 | 100% | 99.00 |
… | … | … | … | … |
數(shù)據(jù)項的得分表（示例）
備注：n 為員工的數(shù)據(jù)項總數(shù)。
員工名稱 | 數(shù)據(jù)項名稱 | 數(shù)據(jù)項得分 | 項目得分 |
張三 | 數(shù)據(jù)項 A | 82.50 | 93.37 |
數(shù)據(jù)項 B | 98.60 | ||
數(shù)據(jù)項 C | 99.00 | ||
李四 | 數(shù)據(jù)項 A | 80.00 | 80.00 |
數(shù)據(jù)項 B | 70.00 | ||
數(shù)據(jù)項 C | 90.00 | ||
… | … | … | … |
員工的得分表（示例）
? 2）團隊數(shù)據(jù)質(zhì)量綜合得分：以該團隊的全體成員為范圍，統(tǒng)計每個團隊的數(shù)據(jù)質(zhì)量綜合得分，取所有項目得分的平均值作為該團隊的綜合得分，計算公式如下：
備注：n 為數(shù)據(jù)對象總數(shù)。
團隊名稱 | 員工名稱 | 員工數(shù)據(jù)質(zhì)量綜合得分 | 區(qū)域數(shù)據(jù)質(zhì)量綜合得分 |
數(shù)據(jù)管理團隊 | 張三 | 93.37 | 80.84 |
李四 | 80.00 | ||
數(shù)據(jù)執(zhí)行團隊 | 王五 | 99.00 | 96.20 |
趙六 | 90.00 | ||
… | … | … | … |
區(qū)域的得分表（示例）
統(tǒng)計各團隊的綜合得分，并根據(jù)各團隊的綜合得分從高到低進行排名，由數(shù)據(jù)管理團隊負責(zé)人進行有效獎懲排名。如果對數(shù)據(jù)質(zhì)量評價結(jié)果有意見，可向數(shù)據(jù)管理團隊提出。
團隊 | ?綜合得分 | 排名 |
數(shù)據(jù)對象錄入方 A | 100.00 | 1 |
數(shù)據(jù)對象錄入方 B | 96.20 | 2 |
數(shù)據(jù)對象錄入方 C | 90.00 | 3 |
數(shù)據(jù)對象錄入方 D | 80.84 | 4 |
… | … | … |
團隊數(shù)據(jù)質(zhì)量綜合評價表（示例）
五、附則-數(shù)據(jù)質(zhì)量衡量維度
在DAMA體系中，數(shù)據(jù)質(zhì)量維度是指數(shù)據(jù)的某個可測量的特性。國際上較為成熟的框架包括：Strong-Wang 框架、Redman的“可表示的三元組”還有Larry Englist的固有特征和實用特征。各個企業(yè)公司可以根據(jù)自身的業(yè)務(wù)場景、管控要求選擇不同的質(zhì)量維度框架，本篇文章只針對DAMA UK提出的六個核心維度進行闡述解釋：
完整性：指數(shù)據(jù)在創(chuàng)建、傳遞過程中無缺失和遺漏。包括實體完整、屬性完整、記錄完整和字段值完整四個方面，完整性是數(shù)據(jù)質(zhì)量最基礎(chǔ)的評判維度。
及時性：指及時記錄和傳遞相關(guān)數(shù)據(jù)，滿足業(yè)務(wù)對信息獲取的時間要求。數(shù)據(jù)交付的及時性，及時抽取、及時展現(xiàn)，如果數(shù)據(jù)交付時間過長，可能導(dǎo)致分析結(jié)論失去參考意義。
準(zhǔn)確性：指真實、準(zhǔn)確記錄原始數(shù)據(jù)，無虛假數(shù)據(jù)及信息。數(shù)據(jù)準(zhǔn)確反映其所建模的“真實世界”實體。例如：員工的身份信息必須與身份證件上的信息保持一致。
一致性：指遵守統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，記錄和傳遞數(shù)據(jù)和信息。主要體現(xiàn)在數(shù)據(jù) 記錄的規(guī)范和數(shù)據(jù)是否符合邏輯。例如：同一工號數(shù)據(jù)在不同系統(tǒng)的員工姓名不一致。
唯一性：指同一數(shù)據(jù)只能有唯一的標(biāo)識符。體現(xiàn)在一個數(shù)據(jù)集中，沒有實體多余一次出現(xiàn)，并且每個唯一實體有一個鍵值且該鍵值只指向該實體。例如：員工有且僅有一個有效工號。
有效性：指數(shù)據(jù)的值、格式和展現(xiàn)形式符合數(shù)據(jù)定義和業(yè)務(wù)定義的要求。描述數(shù)據(jù)格式、數(shù)據(jù)類型、值域和相關(guān)業(yè)務(wù)規(guī)則的有效性。例如：員工的國籍類型必須存在于國家基礎(chǔ)數(shù)據(jù)中定義的允許值。
?
企業(yè)數(shù)據(jù)質(zhì)量管理體系的搭建并非一朝一夕的事情，本文只是針對管理制度的目錄編寫進行了詳細闡述。如何針對管理制度進行組織保障、資金項目保障、人力保障等措施在后續(xù)章節(jié)會再詳細講到。
(歡迎大家加入數(shù)據(jù)工匠知識星球獲取更多資訊。)
掃描二維碼關(guān)注我們
我們的使命：發(fā)展數(shù)據(jù)治理行業(yè)、普及數(shù)據(jù)治理知識、改變企業(yè)數(shù)據(jù)管理現(xiàn)狀、提高企業(yè)數(shù)據(jù)質(zhì)量、推動企業(yè)走進大數(shù)據(jù)時代。
我們的愿景：打造數(shù)據(jù)治理專家、數(shù)據(jù)治理平臺、數(shù)據(jù)治理生態(tài)圈。
我們的價值觀：凝聚行業(yè)力量、打造數(shù)據(jù)治理全鏈條平臺、改變數(shù)據(jù)治理生態(tài)圈。
了解更多精彩內(nèi)容
長按，識別二維碼，關(guān)注我們吧！
數(shù)據(jù)工匠俱樂部
微信號：zgsjgjjlb