點(diǎn)、線、面、體，5分鐘解讀數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量是數(shù)據(jù)治理領(lǐng)域的基礎(chǔ)性課題，既是治理的目標(biāo)，也是治理的抓手。同時(shí)，數(shù)據(jù)質(zhì)量的提升，表與里，標(biāo)與本，制度建設(shè)和群體共識(shí)，激勵(lì)機(jī)制和系統(tǒng)平臺(tái)，關(guān)系面很大，擼起袖子后如何著手，需要思考。

今天，我們爭(zhēng)取花5分鐘時(shí)間，從點(diǎn)、線、面、體四個(gè)角度，談?wù)剶?shù)據(jù)質(zhì)量這個(gè)老話題的新思維：

• 點(diǎn)，以問(wèn)題為導(dǎo)向抓數(shù)據(jù)質(zhì)量發(fā)力點(diǎn)；

• 線，以數(shù)據(jù)生命周期為線索抓數(shù)據(jù)質(zhì)量持續(xù)改進(jìn)；

• 面，以數(shù)據(jù)架構(gòu)切面抓重點(diǎn)數(shù)據(jù)質(zhì)量；

• 體，以數(shù)據(jù)治理制度構(gòu)建長(zhǎng)效質(zhì)量管控機(jī)制。

圖1 數(shù)據(jù)質(zhì)量問(wèn)題的點(diǎn)、線、面、體

一、點(diǎn)：質(zhì)量問(wèn)題的發(fā)力點(diǎn)

質(zhì)量問(wèn)題錯(cuò)綜復(fù)雜，想要處理好質(zhì)量問(wèn)題，最好能夠從幾個(gè)突破口著手，就商業(yè)銀行而言，數(shù)據(jù)質(zhì)量問(wèn)題出現(xiàn)的場(chǎng)景有幾種：

1.監(jiān)管報(bào)送場(chǎng)景

在監(jiān)管檢查時(shí)，通過(guò)數(shù)據(jù)質(zhì)量檢查規(guī)則，往往會(huì)發(fā)現(xiàn)數(shù)據(jù)不準(zhǔn)確、不完整等問(wèn)題。例如，在核驗(yàn)過(guò)程中發(fā)現(xiàn)客戶評(píng)級(jí)信息為空的問(wèn)題，說(shuō)明客戶信息系統(tǒng)及內(nèi)部評(píng)級(jí)系統(tǒng)缺少對(duì)客戶財(cái)務(wù)數(shù)據(jù)完整性的核驗(yàn)。若企業(yè)有完善的數(shù)據(jù)質(zhì)量管控體系，即可提前預(yù)警或減少此類問(wèn)題的出現(xiàn)。

2.數(shù)據(jù)分析場(chǎng)景

在經(jīng)營(yíng)管理過(guò)程中，往往需要通過(guò)數(shù)據(jù)分析提供支持和參考。舉例來(lái)說(shuō)，業(yè)務(wù)部門需要通過(guò)報(bào)表或指標(biāo)查看經(jīng)營(yíng)情況，在指標(biāo)開(kāi)發(fā)過(guò)程中可能會(huì)出現(xiàn)標(biāo)準(zhǔn)不統(tǒng)一、指標(biāo)口徑不一致的問(wèn)題；在面向客戶營(yíng)銷時(shí)，可能因數(shù)據(jù)質(zhì)量低下導(dǎo)致?tīng)I(yíng)銷不準(zhǔn)確，轉(zhuǎn)化率無(wú)法達(dá)到期望的問(wèn)題；在風(fēng)險(xiǎn)控制方面，風(fēng)險(xiǎn)是多方面的，包括信貸風(fēng)險(xiǎn)、市場(chǎng)風(fēng)險(xiǎn)、運(yùn)營(yíng)風(fēng)險(xiǎn)等，高質(zhì)量數(shù)據(jù)是降低風(fēng)險(xiǎn)、減少企業(yè)損失的保障。

3.內(nèi)、外審場(chǎng)景

從數(shù)據(jù)治理的角度來(lái)講，內(nèi)、外審部門定期對(duì)企業(yè)進(jìn)行審計(jì)，除數(shù)據(jù)質(zhì)量檢查規(guī)則外，企業(yè)需要意識(shí)到政策和流程的必要性，即企業(yè)需具備由完善的數(shù)據(jù)質(zhì)量管控體系提供的數(shù)據(jù)質(zhì)量檢查政策、程序及考核評(píng)價(jià)體系。

二、線：數(shù)據(jù)生命周期中質(zhì)量問(wèn)題的原因分析

除上述舉例外，實(shí)際很多場(chǎng)景都可能出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，遍歷梳理整個(gè)銀行系統(tǒng)的數(shù)據(jù)流轉(zhuǎn)過(guò)程，就會(huì)發(fā)現(xiàn)數(shù)據(jù)的生命周期分為需求、創(chuàng)建、抽取、轉(zhuǎn)換、加載、存儲(chǔ)、應(yīng)用和維護(hù)八個(gè)階段，在各個(gè)階段數(shù)據(jù)質(zhì)量問(wèn)題的成因也各不相同，將其歸納成以下幾類：

1.需求溝通產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題

一是業(yè)務(wù)部門未形成統(tǒng)一規(guī)范的業(yè)務(wù)規(guī)則手冊(cè)，導(dǎo)致無(wú)法有效運(yùn)用于數(shù)字化落標(biāo)。二是系統(tǒng)建設(shè)未充分覆蓋監(jiān)管機(jī)構(gòu)統(tǒng)計(jì)口徑與銀行總分賬統(tǒng)計(jì)口徑間的差異，導(dǎo)致報(bào)表數(shù)據(jù)與實(shí)際情況沒(méi)有形成邏輯一致性。三是業(yè)務(wù)部門與開(kāi)發(fā)部門需求對(duì)接發(fā)生了理解偏差，業(yè)務(wù)規(guī)則未正確轉(zhuǎn)化成取數(shù)規(guī)則。

2.源發(fā)性產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題

由于業(yè)務(wù)源系統(tǒng)的數(shù)據(jù)庫(kù)種類不同，主流的關(guān)系型數(shù)據(jù)庫(kù)有Oracle，SQL SERVER，DB2，SYBASE等，或新老數(shù)據(jù)庫(kù)遷移，數(shù)據(jù)從以上各類不同的生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)表和文件中抽取到數(shù)據(jù)倉(cāng)庫(kù)，天然就存在數(shù)據(jù)異構(gòu)問(wèn)題。

3.采集錄入產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題

業(yè)務(wù)部門沒(méi)有嚴(yán)格遵守?cái)?shù)據(jù)采集錄入規(guī)范，其中包括：未完整錄入、錄入無(wú)效數(shù)據(jù)、采集錄入數(shù)據(jù)造假。

4.數(shù)據(jù)交換和ETL過(guò)程中產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題

一是數(shù)據(jù)倉(cāng)庫(kù)或應(yīng)用層與源系統(tǒng)之間采用直接數(shù)據(jù)庫(kù)連接方式抽取和交換數(shù)據(jù)，系統(tǒng)架構(gòu)耦合性過(guò)高導(dǎo)致空間不足、鎖表等異常。二是傳輸交換系統(tǒng)和網(wǎng)絡(luò)不可靠產(chǎn)生的數(shù)據(jù)丟包異常。三是抽取過(guò)程中出現(xiàn)接口參數(shù)編碼問(wèn)題、配置信息錯(cuò)誤以及鎖庫(kù)鎖表形成的數(shù)據(jù)質(zhì)量問(wèn)題。四是轉(zhuǎn)換環(huán)節(jié)可能發(fā)生SQL腳本錯(cuò)誤、表空間不足、字段類型轉(zhuǎn)換出錯(cuò)、NULL數(shù)據(jù)插入非NULL字段形成的數(shù)據(jù)質(zhì)量問(wèn)題。五是調(diào)度機(jī)制和算法存在問(wèn)題，導(dǎo)致取數(shù)時(shí)點(diǎn)錯(cuò)誤，源數(shù)據(jù)在整合成報(bào)表數(shù)據(jù)時(shí)發(fā)生計(jì)算錯(cuò)誤。

5.數(shù)據(jù)應(yīng)用層中產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題

經(jīng)過(guò)ETL服務(wù)器進(jìn)行清洗加工處理后，大部分?jǐn)?shù)據(jù)應(yīng)是規(guī)范和符合標(biāo)準(zhǔn)的，但是在應(yīng)用層也可能由于業(yè)務(wù)規(guī)則的定義錯(cuò)誤和查詢方式異常導(dǎo)致數(shù)據(jù)最后展示的結(jié)果不正確。

6.補(bǔ)錄維護(hù)流程中產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題

開(kāi)發(fā)部門元數(shù)據(jù)管理不規(guī)范，導(dǎo)致表間關(guān)系、庫(kù)間關(guān)系在發(fā)生質(zhì)量問(wèn)題后無(wú)法有效溯源。后期在監(jiān)管報(bào)送等緊急情況下，隨意進(jìn)行人工調(diào)整，如在報(bào)文層隨意補(bǔ)錄、調(diào)整報(bào)表數(shù)據(jù)，導(dǎo)致越補(bǔ)越亂、越改越錯(cuò)。

7.其他原因產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題

如缺乏對(duì)業(yè)務(wù)人員和運(yùn)維人員的必要技能培訓(xùn)和合規(guī)宣導(dǎo)，或管理部門沒(méi)有起到應(yīng)盡的督導(dǎo)責(zé)任、未做好數(shù)據(jù)備份和存儲(chǔ)、開(kāi)發(fā)項(xiàng)目管理不規(guī)范、缺乏必要的維護(hù)文檔和技術(shù)支持，也會(huì)導(dǎo)致對(duì)數(shù)據(jù)質(zhì)量產(chǎn)生間接影響。

三、面：數(shù)據(jù)質(zhì)量問(wèn)題的四個(gè)管控域

針對(duì)以上各個(gè)階段質(zhì)量問(wèn)題的成因，商業(yè)銀行可在四個(gè)領(lǐng)域搭建對(duì)應(yīng)的管控體系。

圖2 數(shù)據(jù)質(zhì)量問(wèn)題四大管控域

1.管理域：澆灌培養(yǎng)數(shù)據(jù)質(zhì)量管控體系的土壤

首先是要從企業(yè)戰(zhàn)略角度不斷完善企業(yè)數(shù)據(jù)模型規(guī)劃，把數(shù)據(jù)質(zhì)量管控融入銀行數(shù)據(jù)治理工作中；二是將數(shù)據(jù)人才的隊(duì)伍作為質(zhì)量管控的戰(zhàn)略性資源，明確業(yè)務(wù)到技術(shù)各個(gè)培養(yǎng)路線的分支和路線，并有效嵌入質(zhì)量管控的流程中；三是分析數(shù)據(jù)質(zhì)量情況的變化趨勢(shì)和原因，量化運(yùn)用入全行數(shù)據(jù)質(zhì)量績(jī)效考核體系里；四是對(duì)嚴(yán)重影響安全生產(chǎn)事件和監(jiān)管統(tǒng)計(jì)數(shù)量的違規(guī)行為進(jìn)行數(shù)據(jù)問(wèn)責(zé)，做到“誰(shuí)的問(wèn)題誰(shuí)負(fù)責(zé)”。

2.制度域：規(guī)范劃分部門質(zhì)量管控的職能職責(zé)

一是明確數(shù)據(jù)質(zhì)量問(wèn)題在各個(gè)階段的歸口管理部門，避免質(zhì)量問(wèn)題發(fā)生時(shí)業(yè)務(wù)部門、開(kāi)發(fā)部門相互推諉，在制度層面落實(shí)數(shù)據(jù)確權(quán)。二是在操作層面統(tǒng)一規(guī)范化數(shù)據(jù)相關(guān)人員的工作實(shí)施，強(qiáng)化數(shù)據(jù)的標(biāo)準(zhǔn)化生產(chǎn)，在數(shù)據(jù)的各個(gè)生命周期環(huán)節(jié)保證質(zhì)量。

3.流程域：貫通聯(lián)動(dòng)業(yè)務(wù)開(kāi)發(fā)的質(zhì)量管控協(xié)作

在質(zhì)量問(wèn)題發(fā)生的不同階段明確相關(guān)部門要去做什么和怎么做，同時(shí)通過(guò)流程實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的痕跡化管理，將數(shù)據(jù)質(zhì)量工作從階段性治理逐漸轉(zhuǎn)變成常態(tài)化機(jī)制，推動(dòng)數(shù)據(jù)質(zhì)量管控的貫徹執(zhí)行。

4.技術(shù)域：支撐和實(shí)現(xiàn)數(shù)字化動(dòng)態(tài)的管控系統(tǒng)

以主數(shù)據(jù)錨定數(shù)據(jù)架構(gòu)鏈路管理，解決數(shù)源沖突和矛盾；數(shù)據(jù)模型在數(shù)字化環(huán)境準(zhǔn)確映射業(yè)務(wù)規(guī)則，并起到“入倉(cāng)入湖”質(zhì)量守門員的作用；元數(shù)據(jù)作為數(shù)據(jù)的數(shù)據(jù)，讓數(shù)據(jù)管理部門和開(kāi)發(fā)部門可以通過(guò)血緣分析追溯定位質(zhì)量問(wèn)題的源發(fā)點(diǎn)；最后通過(guò)質(zhì)量校驗(yàn)規(guī)則輔以質(zhì)量檢查完成最后管控閉環(huán)。

四、體：數(shù)據(jù)質(zhì)量管控體系

可以發(fā)現(xiàn)在數(shù)據(jù)管理過(guò)程中，我們以質(zhì)量問(wèn)題的發(fā)生場(chǎng)景為點(diǎn)、數(shù)據(jù)全生命周期鏈路為線、四大管控域?yàn)槊?，提煉形成了?shù)據(jù)質(zhì)量管控體系。自此，數(shù)據(jù)質(zhì)量的管理不再盲目零散，而是從宏觀的高度出發(fā)，有體系、有支撐地進(jìn)行數(shù)據(jù)質(zhì)量管控。

圖3 數(shù)據(jù)質(zhì)量管控體系

五、總結(jié)

商業(yè)銀行數(shù)據(jù)質(zhì)量問(wèn)題情況復(fù)雜，目前相當(dāng)一部分還依賴人工進(jìn)行排查，在不斷完善管理流程、制度建設(shè)的基礎(chǔ)上，未來(lái)應(yīng)加大數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等技術(shù)在數(shù)據(jù)清洗、排查質(zhì)量孤立點(diǎn)等方面的挖掘應(yīng)用，改變一直追著“質(zhì)量問(wèn)題”滅火救火的被動(dòng)局面。未來(lái)，將會(huì)有越來(lái)越多的非結(jié)構(gòu)數(shù)據(jù)出現(xiàn)，數(shù)據(jù)質(zhì)量管控將逐漸從“有沒(méi)有，對(duì)不對(duì)”的初級(jí)階段向“好不好”的方向前進(jìn)，數(shù)據(jù)質(zhì)量管控與數(shù)據(jù)分析的界限也將會(huì)模糊化。保障和提升數(shù)據(jù)質(zhì)量最終將和科技賦能、數(shù)據(jù)價(jià)值創(chuàng)造融為一體。

(歡迎大家加入數(shù)據(jù)工匠知識(shí)星球獲取更多資訊。)

聯(lián)系我們

掃描二維碼關(guān)注我們

微信：SZH9543

郵箱：[email protected]

QQ：2286075659

熱門文章

《工業(yè)數(shù)字化轉(zhuǎn)型白皮書(shū)》：15項(xiàng)新興技術(shù)及其應(yīng)用場(chǎng)景，你知道幾個(gè)？

如何成為解決問(wèn)題的高手？

一文讀懂十大數(shù)據(jù)存儲(chǔ)加密技術(shù)

盤點(diǎn)數(shù)據(jù)處理工具，手把手教你做數(shù)據(jù)清洗和轉(zhuǎn)換

終于有人把3D打印講明白了

我們的使命：發(fā)展數(shù)據(jù)治理行業(yè)、普及數(shù)據(jù)治理知識(shí)、改變企業(yè)數(shù)據(jù)管理現(xiàn)狀、提高企業(yè)數(shù)據(jù)質(zhì)量、推動(dòng)企業(yè)走進(jìn)大數(shù)據(jù)時(shí)代。

我們的愿景：打造數(shù)據(jù)治理專家、數(shù)據(jù)治理平臺(tái)、數(shù)據(jù)治理生態(tài)圈。

我們的價(jià)值觀：凝聚行業(yè)力量、打造數(shù)據(jù)治理全鏈條平臺(tái)、改變數(shù)據(jù)治理生態(tài)圈。

了解更多精彩內(nèi)容

長(zhǎng)按，識(shí)別二維碼，關(guān)注我們吧！

數(shù)據(jù)工匠俱樂(lè)部

微信號(hào)：zgsjgjjlb

專注數(shù)據(jù)治理，推動(dòng)大數(shù)據(jù)發(fā)展。