導(dǎo)讀：無論是任何行業(yè)或者何種背景下的企業(yè)，在步入信息化數(shù)字化階段后，都會(huì)面臨數(shù)據(jù)質(zhì)量問題。沒有一個(gè)組織擁有完美的業(yè)務(wù)流程、完美的技術(shù)流程或完美的數(shù)據(jù)管理實(shí)踐，所有組織都會(huì)遇到與數(shù)據(jù)質(zhì)量相關(guān)的問題。
相比那些不開展數(shù)據(jù)質(zhì)量管理的組織，實(shí)施正式數(shù)據(jù)質(zhì)量管理的組織碰到的問題會(huì)更少。如何確保自己企業(yè)的數(shù)據(jù)質(zhì)量比較高，或者是逐步提高。一個(gè)很重要的保障措施就是頒布管理制度。數(shù)據(jù)質(zhì)量管理制度需要包含數(shù)據(jù)質(zhì)量管理辦法，數(shù)據(jù)質(zhì)量管理規(guī)范，數(shù)據(jù)質(zhì)量績(jī)效考核方面的內(nèi)容。值得大家注意的是，管理制度搭建的過程中，往往很難區(qū)分規(guī)范、辦法兩者之間的關(guān)系。
辦法?是指對(duì)于某一工程作業(yè)或者行為進(jìn)行定性的信息規(guī)定。主要是因?yàn)闊o法精準(zhǔn)定量而形成的標(biāo)準(zhǔn)。所以相對(duì)籠統(tǒng)。
規(guī)范?是按照規(guī)范制度的要求提出具體可落地、可執(zhí)行的實(shí)施措施。所以一定是很具體可量化的細(xì)則。例如：我們?cè)谝?guī)范中可以強(qiáng)調(diào)數(shù)據(jù)的及時(shí)性，但是在具體的管理辦法中需要明確、量化及時(shí)性這一指標(biāo)概念。如：獲取數(shù)據(jù)后X個(gè)工作日內(nèi)錄入數(shù)據(jù)，發(fā)生變更時(shí)X個(gè)工作日內(nèi)完成數(shù)據(jù)更新等。細(xì)分來講，數(shù)據(jù)質(zhì)量管理制度應(yīng)該由以下幾個(gè)關(guān)鍵部分組成：
一、規(guī)范定義：
1、首先定義清楚什么樣的數(shù)據(jù)稱之為高質(zhì)量的數(shù)據(jù)，高質(zhì)量數(shù)據(jù)并不是越高越好，因?yàn)閷W(xué)過質(zhì)量成本控制的都清楚，數(shù)據(jù)質(zhì)量并不存在絕對(duì)的，而只要滿足企業(yè)業(yè)務(wù)管理需要，即可認(rèn)為數(shù)據(jù)質(zhì)量達(dá)標(biāo)的數(shù)據(jù)。2、明確什么樣的數(shù)據(jù)屬于數(shù)據(jù)質(zhì)量管理的范疇。比如核心，重要的數(shù)據(jù)，所以識(shí)別關(guān)鍵數(shù)據(jù)重要數(shù)據(jù)，并且還要確認(rèn)該類數(shù)據(jù)的生成規(guī)則和維護(hù)流程。2、達(dá)到什么程度才算高質(zhì)量。例如：確保數(shù)據(jù)的及時(shí)性，究竟怎么才算及時(shí)性，是獲取數(shù)據(jù)的時(shí)效？還是分發(fā)到下游的時(shí)效？還是接受數(shù)據(jù)的時(shí)效？
二、稽查監(jiān)控措施：
1，針對(duì)我們已經(jīng)識(shí)別的數(shù)據(jù)及其對(duì)應(yīng)生成規(guī)則，我們需要確定稽查監(jiān)控的措施。（提升數(shù)據(jù)質(zhì)量的關(guān)鍵是預(yù)防，而不是事后修正）
2，對(duì)于產(chǎn)生問題的錯(cuò)誤數(shù)據(jù)，我們?nèi)绾稳バ迯?fù)改正的相應(yīng)流程。
3、數(shù)據(jù)稽查的頻率和問題反饋頻率，以及反饋渠道或稽查工具平臺(tái)需要明確清楚。
1、重點(diǎn)描述組織崗位對(duì)應(yīng)的職能，定義需要執(zhí)行遵守的數(shù)據(jù)質(zhì)量管理原則。2、各組織對(duì)數(shù)據(jù)質(zhì)量流程中的職責(zé)權(quán)利需要明確清楚，例如誰生產(chǎn)，誰使用，誰負(fù)責(zé)，誰改進(jìn)等權(quán)責(zé)。
評(píng)價(jià)標(biāo)準(zhǔn)需要量化：一般情況下， 以單條數(shù)據(jù)為單位，通過數(shù)據(jù)質(zhì)量巡檢規(guī)則，從完整性、及時(shí)性、準(zhǔn)確性、一致性、唯一性、有效性等六個(gè)維度進(jìn)行檢查，根據(jù)計(jì)算規(guī)則得出各區(qū)域的數(shù)據(jù)質(zhì)量綜合得分。常見的數(shù)據(jù)質(zhì)量考核計(jì)算方法如下：? 1）員工數(shù)據(jù)質(zhì)量綜合得分：以該員工錄入維護(hù)的相關(guān)數(shù)據(jù)質(zhì)量項(xiàng)為范圍，以數(shù)據(jù)質(zhì)量檢查項(xiàng)的單條數(shù)據(jù)質(zhì)量規(guī)則為檢查單元，先計(jì)算正確記錄數(shù)占比作為該條數(shù)據(jù)質(zhì)量規(guī)則對(duì)應(yīng)的得分，再加權(quán)計(jì)算該數(shù)據(jù)項(xiàng)的所有數(shù)據(jù)質(zhì)量規(guī)則得分作為該數(shù)據(jù)項(xiàng)的得分，最后取所有數(shù)據(jù)項(xiàng)得分的平均值作為員工的數(shù)據(jù)質(zhì)量綜合得分，計(jì)算過程及計(jì)算公式如下：數(shù)據(jù)質(zhì)量規(guī)則得分=(1-數(shù)據(jù)質(zhì)量規(guī)則檢查的問題數(shù)/數(shù)據(jù)質(zhì)量規(guī)則檢查的總數(shù))*100
數(shù)據(jù)質(zhì)量規(guī)則名稱 | 問題記錄數(shù) | 記錄總數(shù) | 數(shù)據(jù)質(zhì)量規(guī)則得分 |
規(guī)則 A1 | 10 | 100 | 90.00 |
規(guī)則 A2 | 50 | 200 | 75.00 |
規(guī)則 B1 | 10 | 1000 | 99.00 |
規(guī)則 B2 | 20 | 1000 | 98.00 |
規(guī)則 C1 | 10 | 1000 | 99.00 |
… | … | … | … |
數(shù)據(jù)質(zhì)量規(guī)則的得分表（示例）
??備注：n 為數(shù)據(jù)項(xiàng)的數(shù)據(jù)質(zhì)量規(guī)則總數(shù)。數(shù)據(jù)項(xiàng)名稱 | 數(shù)據(jù)質(zhì)量規(guī)則名稱 | 數(shù)據(jù)質(zhì)量規(guī)則得分 | 權(quán)重 | 數(shù)據(jù)項(xiàng)得分 |
數(shù)據(jù)項(xiàng) A | 規(guī)則 A1 | 90.00 | 50% | 82.50 |
規(guī)則 A2 | 75.00 | 50% |
數(shù)據(jù)項(xiàng) B | 規(guī)則 B1 | 99.00 | 60% | 98.60 |
規(guī)則 B2 | 98.00 | 40% |
數(shù)據(jù)項(xiàng) C | 規(guī)則 C1 | 99.00 | 100% | 99.00 |
… | … | … | … | … |
數(shù)據(jù)項(xiàng)的得分表（示例）
備注：n 為員工的數(shù)據(jù)項(xiàng)總數(shù)。
員工名稱 | 數(shù)據(jù)項(xiàng)名稱 | 數(shù)據(jù)項(xiàng)得分 | 項(xiàng)目得分 |
張三 | 數(shù)據(jù)項(xiàng) A | 82.50 | 93.37 |
數(shù)據(jù)項(xiàng) B | 98.60 |
數(shù)據(jù)項(xiàng) C | 99.00 |
李四 | 數(shù)據(jù)項(xiàng) A | 80.00 | 80.00 |
數(shù)據(jù)項(xiàng) B | 70.00 |
數(shù)據(jù)項(xiàng) C | 90.00 |
… | … | … | … |
員工的得分表（示例）
?
2）團(tuán)隊(duì)數(shù)據(jù)質(zhì)量綜合得分：以該團(tuán)隊(duì)的全體成員為范圍，統(tǒng)計(jì)每個(gè)團(tuán)隊(duì)的數(shù)據(jù)質(zhì)量綜合得分，取所有項(xiàng)目得分的平均值作為該團(tuán)隊(duì)的綜合得分，計(jì)算公式如下：備注：n 為數(shù)據(jù)對(duì)象總數(shù)。
團(tuán)隊(duì)名稱 | 員工名稱 | 員工數(shù)據(jù)質(zhì)量綜合得分 | 區(qū)域數(shù)據(jù)質(zhì)量綜合得分 |
數(shù)據(jù)管理團(tuán)隊(duì) | 張三 | 93.37 | 80.84 |
李四 | 80.00 |
數(shù)據(jù)執(zhí)行團(tuán)隊(duì) | 王五 | 99.00 | 96.20 |
趙六 | 90.00 |
… | … | … | … |
區(qū)域的得分表（示例）
統(tǒng)計(jì)各團(tuán)隊(duì)的綜合得分，并根據(jù)各團(tuán)隊(duì)的綜合得分從高到低進(jìn)行排名，由數(shù)據(jù)管理團(tuán)隊(duì)負(fù)責(zé)人進(jìn)行有效獎(jiǎng)懲排名。如果對(duì)數(shù)據(jù)質(zhì)量評(píng)價(jià)結(jié)果有意見，可向數(shù)據(jù)管理團(tuán)隊(duì)提出。團(tuán)隊(duì) | ?綜合得分 | 排名 |
數(shù)據(jù)對(duì)象錄入方 A | 100.00 | 1 |
數(shù)據(jù)對(duì)象錄入方 B | 96.20 | 2 |
數(shù)據(jù)對(duì)象錄入方 C | 90.00 | 3 |
數(shù)據(jù)對(duì)象錄入方 D | 80.84 | 4 |
… | … | … |
團(tuán)隊(duì)數(shù)據(jù)質(zhì)量綜合評(píng)價(jià)表（示例）
五、附則-數(shù)據(jù)質(zhì)量衡量維度
在DAMA體系中，數(shù)據(jù)質(zhì)量維度是指數(shù)據(jù)的某個(gè)可測(cè)量的特性。國際上較為成熟的框架包括：Strong-Wang 框架、Redman的“可表示的三元組”還有Larry Englist的固有特征和實(shí)用特征。各個(gè)企業(yè)公司可以根據(jù)自身的業(yè)務(wù)場(chǎng)景、管控要求選擇不同的質(zhì)量維度框架，本篇文章只針對(duì)DAMA UK提出的六個(gè)核心維度進(jìn)行闡述解釋：完整性：指數(shù)據(jù)在創(chuàng)建、傳遞過程中無缺失和遺漏。包括實(shí)體完整、屬性完整、記錄完整和字段值完整四個(gè)方面，完整性是數(shù)據(jù)質(zhì)量最基礎(chǔ)的評(píng)判維度。及時(shí)性：指及時(shí)記錄和傳遞相關(guān)數(shù)據(jù)，滿足業(yè)務(wù)對(duì)信息獲取的時(shí)間要求。數(shù)據(jù)交付的及時(shí)性，及時(shí)抽取、及時(shí)展現(xiàn)，如果數(shù)據(jù)交付時(shí)間過長(zhǎng)，可能導(dǎo)致分析結(jié)論失去參考意義。準(zhǔn)確性：指真實(shí)、準(zhǔn)確記錄原始數(shù)據(jù)，無虛假數(shù)據(jù)及信息。數(shù)據(jù)準(zhǔn)確反映其所建模的“真實(shí)世界”實(shí)體。例如：?jiǎn)T工的身份信息必須與身份證件上的信息保持一致。一致性：指遵守統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，記錄和傳遞數(shù)據(jù)和信息。主要體現(xiàn)在數(shù)據(jù) 記錄的規(guī)范和數(shù)據(jù)是否符合邏輯。例如：同一工號(hào)數(shù)據(jù)在不同系統(tǒng)的員工姓名不一致。唯一性：指同一數(shù)據(jù)只能有唯一的標(biāo)識(shí)符。體現(xiàn)在一個(gè)數(shù)據(jù)集中，沒有實(shí)體多余一次出現(xiàn)，并且每個(gè)唯一實(shí)體有一個(gè)鍵值且該鍵值只指向該實(shí)體。例如：?jiǎn)T工有且僅有一個(gè)有效工號(hào)。有效性：指數(shù)據(jù)的值、格式和展現(xiàn)形式符合數(shù)據(jù)定義和業(yè)務(wù)定義的要求。描述數(shù)據(jù)格式、數(shù)據(jù)類型、值域和相關(guān)業(yè)務(wù)規(guī)則的有效性。例如：?jiǎn)T工的國籍類型必須存在于國家基礎(chǔ)數(shù)據(jù)中定義的允許值。企業(yè)數(shù)據(jù)質(zhì)量管理體系的搭建并非一朝一夕的事情，本文只是針對(duì)管理制度的目錄編寫進(jìn)行了詳細(xì)闡述。如何針對(duì)管理制度進(jìn)行組織保障、資金項(xiàng)目保障、人力保障等措施在后續(xù)章節(jié)會(huì)再詳細(xì)講到。本公眾號(hào)所有分享的軟件和資料來自網(wǎng)絡(luò)收集和整理，所有文字和圖片版權(quán)歸屬于原作者所有，且僅代表作者個(gè)人觀點(diǎn)，與數(shù)據(jù)工匠俱樂部無關(guān)，文章僅供讀者學(xué)習(xí)交流使用，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容，如文章內(nèi)容涉及侵權(quán)，請(qǐng)聯(lián)系后臺(tái)管理員刪除
(歡迎大家加入數(shù)據(jù)工匠知識(shí)星球獲取更多資訊。)
我們的使命：發(fā)展數(shù)據(jù)治理行業(yè)、普及數(shù)據(jù)治理知識(shí)、改變企業(yè)數(shù)據(jù)管理現(xiàn)狀、提高企業(yè)數(shù)據(jù)質(zhì)量、推動(dòng)企業(yè)走進(jìn)大數(shù)據(jù)時(shí)代。
我們的愿景：打造數(shù)據(jù)治理專家、數(shù)據(jù)治理平臺(tái)、數(shù)據(jù)治理生態(tài)圈。
我們的價(jià)值觀：凝聚行業(yè)力量、打造數(shù)據(jù)治理全鏈條平臺(tái)、改變數(shù)據(jù)治理生態(tài)圈。
了解更多精彩內(nèi)容
長(zhǎng)按，識(shí)別二維碼，關(guān)注我們吧！
數(shù)據(jù)工匠俱樂部
微信號(hào)：zgsjgjjlb
專注數(shù)據(jù)治理，推動(dòng)大數(shù)據(jù)發(fā)展。
