金融行業(yè)大數(shù)據(jù)治理之路——數(shù)據(jù)模型篇

本文概要

本文以證券期貨行業(yè)數(shù)據(jù)模型（Securities Data ObjectModel，簡稱SDOM）為指導(dǎo)依據(jù)，介紹如何通過網(wǎng)易模型設(shè)計中心（EasyDesign）進行行業(yè)模型的規(guī)范性建設(shè)。本文為第一篇，后續(xù)系列文章將會結(jié)合金融行業(yè)的相關(guān)規(guī)范，網(wǎng)易在數(shù)據(jù)治理方面的方法論，以及網(wǎng)易有數(shù)提供的相應(yīng)工具詳細介紹如何開展金融行業(yè)數(shù)據(jù)治理工作。

后續(xù)文章簡介：

a.數(shù)據(jù)模型篇

b.數(shù)據(jù)質(zhì)量篇

c.數(shù)據(jù)安全篇

d.數(shù)據(jù)資產(chǎn)篇

e.數(shù)據(jù)標準篇

f.數(shù)據(jù)開發(fā)篇

g.數(shù)據(jù)服務(wù)篇

h.數(shù)據(jù)應(yīng)用篇

金融行業(yè)作為信息化程度最高的行業(yè)之一，IT系統(tǒng)產(chǎn)生的數(shù)據(jù)已經(jīng)成為行業(yè)最核心的資產(chǎn)。但由于金融機構(gòu)的數(shù)流轉(zhuǎn)復(fù)雜，每一條數(shù)據(jù)的形成和運用都需要在多個企業(yè)或機構(gòu)間進行數(shù)據(jù)的交換，一筆交易需要至少3-6家主體機構(gòu)才能完成運行流轉(zhuǎn)。同時，IT系統(tǒng)間數(shù)據(jù)交換和數(shù)據(jù)處理的頻率非常高，大多數(shù)金融交易品種日均交易量在3.5億筆左右。

（各機構(gòu)間數(shù)據(jù)流圖）

隨著金融改革提速，利率市場化和人民幣國際化進程加速，同業(yè)競爭日趨激烈，跨界競爭此起彼伏；客戶金融需求快速變化，監(jiān)管機構(gòu)更趨嚴格，這都給金融行業(yè)經(jīng)營機構(gòu)帶來嚴峻挑戰(zhàn)。在數(shù)據(jù)層面，大量機構(gòu)缺乏清洗的數(shù)據(jù)架構(gòu)、數(shù)據(jù)流圖以及數(shù)據(jù)與業(yè)務(wù)之間的關(guān)系；普遍存在數(shù)據(jù)模型混亂，數(shù)據(jù)整體質(zhì)量不高，開發(fā)團隊迫于現(xiàn)實壓力往往以實現(xiàn)功能為主，對非功能需求不太在意，導(dǎo)致數(shù)據(jù)模型質(zhì)量不高，普遍存在先污染后治理現(xiàn)象。

因此本系列文章將以金融行業(yè)數(shù)據(jù)治理相關(guān)標準為指導(dǎo)依據(jù)， 結(jié)合網(wǎng)易大數(shù)據(jù)團隊在數(shù)據(jù)治理方面的經(jīng)驗，將通過系列文章的方式來詳細介紹如何通過網(wǎng)易有數(shù)大數(shù)據(jù)平臺開展數(shù)據(jù)治理工作。

在數(shù)據(jù)治理領(lǐng)域，國際上從2004年起就開始大量研究，2016年由國際數(shù)據(jù)管理協(xié)會（DAMA)在《DAMA數(shù)據(jù)管理知識體系指南中》將數(shù)據(jù)治理進行了10大管理職能的定義。同時，國際標準化組織（ISO)在數(shù)據(jù)治理方面制定了相關(guān)標準：《信息技術(shù)-IT治理-數(shù)據(jù)治理》(ISO/IED 38505-1)；2018年，由我國專家主導(dǎo)研制的數(shù)據(jù)治理領(lǐng)域第二個重要的國際標準ISO/IEC TR3505-2正式發(fā)布。近年來隨著越來越多的國際和國內(nèi)通用標準的完善，以此為理論指導(dǎo)的大批行業(yè)數(shù)據(jù)治理相關(guān)標準逐漸發(fā)布，并開始在行業(yè)內(nèi)進行推廣。

對于數(shù)據(jù)模型來講，在金融行業(yè)長期以來缺乏相關(guān)行業(yè)通用模型標準；多年來，數(shù)據(jù)模型相關(guān)標準主要由IT廠家各自主導(dǎo)。如IBM的FSDM模型(Financial Services Data Model)，在FSDM中IBM對金融數(shù)據(jù)域劃分為九大主題域：關(guān)系人、合約、條件、產(chǎn)品、地點、分類、業(yè)務(wù)方向、事件、資源項目；以及由Teradata主導(dǎo)的FS-LDM(Financal Services LogicalData Model),FS-LDM對金融行業(yè)劃分為十大主題域：當事人、產(chǎn)品、協(xié)議、事件、資產(chǎn)、財務(wù)、機構(gòu)、地域、營銷、渠道。

2019年底，中國證券監(jiān)督管理委員會發(fā)布《證券期貨業(yè)數(shù)據(jù)模型 第1部分：抽象模型設(shè)計方法》，標準中除了對抽象模型進行定義外，還針對7個子行業(yè)的邏輯模型有個詳細定義，如《基金公司邏輯模型》、《證券公司邏輯模型》、《證券交易所邏輯模型》、《監(jiān)管機構(gòu)邏輯模型》等，自此數(shù)據(jù)模型有了行業(yè)標準。

模型建設(shè)分以下四個步驟：

Step 1：提取行業(yè)規(guī)則，輸出行業(yè)頂層流圖

根據(jù)SDOM的規(guī)范，以證券期貨行業(yè)為例，各機構(gòu)間的頂層數(shù)據(jù)流轉(zhuǎn)如下圖所示：

Step 2：梳理抽象模型

抽象模型是按照自頂向下的方法進行梳理，以“交易”，“監(jiān)管”，“披露”為主線，通過對資本市場各類業(yè)務(wù)活動進行遍歷，對關(guān)鍵業(yè)務(wù)流程和數(shù)據(jù)要素進行識別而形成如下“1+3+N”的總體架構(gòu)。

Step3：設(shè)計邏輯模型

根據(jù)SDOM的規(guī)范，各主題之間的關(guān)系如下：

Step 4：模型評估

模型的穩(wěn)定性，可擴展性，標準性等是一個長期驗證和優(yōu)化的過程，需要在實際業(yè)務(wù)處理過程中不斷反復(fù)迭代，不斷優(yōu)化。但模型本身是可以通過量化的方式進行評估，以指導(dǎo)模型設(shè)計人員不斷對模型進行完善。

根據(jù)上一章節(jié)介紹的模型建設(shè)步驟，整個模型建設(shè)分為4個步驟：

步驟1、2在SDOM中已經(jīng)有詳細規(guī)范，接下來我們站在巨人的肩膀上，介紹如何使用網(wǎng)易模型設(shè)計工具進行步驟3、4中涉及到的模型設(shè)計和模型評估。以下將從4個過程8個步驟詳細介紹：

（Ⅰ) 主題域的規(guī)范設(shè)計

主題域的設(shè)計除了需要遵循SDOM中的規(guī)范外，還需要考慮以下幾點：

• 主題域的劃分

• 主題域的命名規(guī)范

• 主題域的負責(zé)人，審批人設(shè)置

• 主題域下的子主題域的設(shè)計及命名規(guī)范

如下圖所示，在網(wǎng)易模型設(shè)計中心（EasyDesign）中：

主題域設(shè)計：根據(jù)SDOM規(guī)范定義8個主題域；

主題域命名規(guī)范設(shè)計：根據(jù)行業(yè)英文名稱及詞根規(guī)范，定義各主題域的英文命名規(guī)范；

主題域?qū)徟鞒淘O(shè)計：設(shè)置各主題域的負責(zé)人，審批人，方便后續(xù)流程審批；

業(yè)務(wù)過程設(shè)計：以融資融券業(yè)務(wù)投資者買入為例，我們需要根據(jù)業(yè)務(wù)流程進行梳理，并根據(jù)梳理的業(yè)務(wù)過程在網(wǎng)易模型設(shè)計中心中進行統(tǒng)一管理，如下圖所示：

（Ⅱ) 標準字典集的配置

標準字典集配置：以SDOM已經(jīng)梳理的行業(yè)標準詞根為依據(jù)，在網(wǎng)易模型設(shè)計中心字典集中進行統(tǒng)一配置管理。

（Ⅲ）邏輯分層及表規(guī)范設(shè)計

數(shù)據(jù)分層便于我們清晰的了解數(shù)據(jù)組織結(jié)構(gòu)，方便對數(shù)據(jù)的定位和理解；同時規(guī)范化的數(shù)據(jù)分層可以大大減少重復(fù)開發(fā)，可以利用數(shù)據(jù)分層將一個復(fù)雜任務(wù)分解成多個步驟來完成，每一層解決特定的問題，使復(fù)雜問題簡單化。

邏輯分層規(guī)范設(shè)計：借助網(wǎng)易模型設(shè)計中心的分層配置可以幫助我們實現(xiàn)清晰的數(shù)倉分層架構(gòu)，如下圖：

表命名規(guī)范設(shè)計：良好的表命名規(guī)范有助于清楚的了解表的含義，同時也方便其他開發(fā)人員能夠快速定位到需要的表。如下圖所示，通過網(wǎng)易表設(shè)計規(guī)則管理，可以靈活的定義表的命名規(guī)范進行統(tǒng)一定義管理。

（Ⅳ) 模型評估

模型的好壞直接影響到數(shù)據(jù)的準確性，全面性和完整性。通過數(shù)據(jù)有效對模型的合理性進行監(jiān)控是模型評估的有效手段之一，網(wǎng)易結(jié)合自身多年的模型建設(shè)經(jīng)驗從模型復(fù)用度，跨層依賴率等多重指標對模型的質(zhì)量進行監(jiān)控和有效評估。

模型評估：如下圖所示，通過上述指標的有效監(jiān)控可以很好幫助數(shù)據(jù)團隊去客戶評估數(shù)據(jù)模型的好壞，以便不斷對模型進行迭代、優(yōu)化。

根據(jù)國際數(shù)據(jù)管理協(xié)會(DAMA International)對數(shù)據(jù)治理的定義，“數(shù)據(jù)治理被視為一個過程而非一項事務(wù)”。近年來，隨著行業(yè)數(shù)據(jù)治理需求的增加，越來越多的IT廠家，互聯(lián)網(wǎng)廠家以及一批以數(shù)據(jù)治理為核心業(yè)務(wù)的新型廠家開始參與到市場中來，這對整個金融來說是極大利好.