數(shù)字化轉(zhuǎn)型中數(shù)據(jù)底座“湖倉一體化”

一 數(shù)據(jù)是數(shù)字化轉(zhuǎn)型的基礎(chǔ)和引擎

數(shù)據(jù)湖是支撐企業(yè)數(shù)字化轉(zhuǎn)型的數(shù)據(jù)底座，是提供數(shù)據(jù)驅(qū)動(dòng)、精準(zhǔn)決策的全方位技術(shù)支撐。

數(shù)據(jù)價(jià)值將經(jīng)歷數(shù)據(jù)統(tǒng)一化、數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)業(yè)務(wù)化、數(shù)據(jù)生態(tài)化四個(gè)階段。

二 數(shù)據(jù)底座的新架構(gòu)

1.數(shù)據(jù)倉庫

通常是業(yè)務(wù)發(fā)展到一定規(guī)模后，業(yè)務(wù)分析師、CIO、決策者們，希望從大量的應(yīng)用系統(tǒng)、業(yè)務(wù)數(shù)據(jù)中進(jìn)行關(guān)聯(lián)分析，最終得到“干貨”出來。比如為啥利潤會(huì)下滑？為啥庫存周轉(zhuǎn)變慢了？向數(shù)據(jù)要答案，生成報(bào)告、圖表出來給決策層匯報(bào)，輔助經(jīng)營決策。可是，數(shù)據(jù)庫“腦容量不足”，擅長事務(wù)性工作，不擅長分析型的工作，于是就產(chǎn)生了數(shù)據(jù)倉庫。數(shù)據(jù)倉庫相當(dāng)于一個(gè)集成化數(shù)據(jù)管理的平臺(tái)，從多個(gè)數(shù)據(jù)源抽取有價(jià)值的數(shù)據(jù)，在倉庫內(nèi)轉(zhuǎn)換和流動(dòng)，并提供給BI等分析工具來輸出干貨。

2.數(shù)據(jù)湖

數(shù)據(jù)湖（Data Lake）是一個(gè)存儲(chǔ)企業(yè)的各種各樣原始數(shù)據(jù)的大型倉庫，其中的數(shù)據(jù)可供存取、處理、分析及傳輸。數(shù)據(jù)湖的本質(zhì)是由“?數(shù)據(jù)存儲(chǔ)架構(gòu)+?數(shù)據(jù)處理工具”組成的解決方案。

一類工具，解決的問題是如何把數(shù)據(jù)“搬到”湖里，包括定義數(shù)據(jù)源、制定數(shù)據(jù)訪問策略和安全策略，并移動(dòng)數(shù)據(jù)、編制數(shù)據(jù)目錄等等。

一類工具，就是要從湖里的海量數(shù)據(jù)中“淘金”。數(shù)據(jù)并不是存進(jìn)數(shù)據(jù)湖里就萬事大吉，要對(duì)數(shù)據(jù)進(jìn)行分析、挖掘、利用，比如要對(duì)湖里的數(shù)據(jù)進(jìn)行查詢，同時(shí)要把數(shù)據(jù)提供給機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)類的業(yè)務(wù)，便于“點(diǎn)石成金”

數(shù)據(jù)倉庫可以是獨(dú)立的標(biāo)準(zhǔn)化產(chǎn)品，數(shù)據(jù)湖則是一種架構(gòu)，通常是圍繞對(duì)象存儲(chǔ)為“湖底座”的大數(shù)據(jù)管理方案組合。

3.湖倉一體

湖倉一體架構(gòu)最重要的一點(diǎn)，是實(shí)現(xiàn)“湖里”和“倉里”的數(shù)據(jù)/元數(shù)據(jù)能夠無縫打通，并且“自由”流動(dòng)。湖里的“新鮮”數(shù)據(jù)可以流到倉里，甚至可以直接被數(shù)倉使用，而倉里的“不新鮮”數(shù)據(jù)，也可以流到湖里，低成本長久保存，供未來的數(shù)據(jù)挖掘使用。

4.數(shù)據(jù)中臺(tái)

數(shù)據(jù)中臺(tái)：數(shù)據(jù)中臺(tái)是聚合跨域數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、整合，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、集成化、標(biāo)簽化，沉淀共性數(shù)據(jù)服務(wù)能力，以快速響應(yīng)業(yè)務(wù)需求，支撐數(shù)據(jù)融通共享、分析挖掘和數(shù)據(jù)運(yùn)營，創(chuàng)造業(yè)務(wù)價(jià)值。

中臺(tái)戰(zhàn)略核心是數(shù)據(jù)服務(wù)的共享。數(shù)據(jù)中臺(tái)是圍繞向上層應(yīng)用提供數(shù)據(jù)服務(wù)構(gòu)建的，中臺(tái)戰(zhàn)略讓數(shù)據(jù)在數(shù)據(jù)平臺(tái)和業(yè)務(wù)系統(tǒng)之間形成了一個(gè)良性的閉環(huán)，也就是實(shí)現(xiàn)應(yīng)用與數(shù)據(jù)之間解藕，并實(shí)現(xiàn)緊密交互。數(shù)據(jù)中臺(tái)建立后，會(huì)形成數(shù)據(jù)API，為企業(yè)和客戶提供高效各種數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺(tái)整體技術(shù)架構(gòu)上采用云計(jì)算架構(gòu)模式，將數(shù)據(jù)資源、計(jì)算資源、存儲(chǔ)資源充分云化，并通過多租戶技術(shù)進(jìn)行資源打包整合，并進(jìn)行開放，為用戶提供“一站式”數(shù)據(jù)服務(wù)。

數(shù)據(jù)中臺(tái)不是一套軟件，也不是一個(gè)信息系統(tǒng)，而是一系列數(shù)據(jù)組件的集合，企業(yè)基于自身的信息化建設(shè)基礎(chǔ)、數(shù)據(jù)基礎(chǔ)以及業(yè)務(wù)特點(diǎn)對(duì)數(shù)據(jù)中臺(tái)的能力進(jìn)行定義，基于能力定義利用數(shù)據(jù)組件搭建自己的數(shù)據(jù)中臺(tái)。

三 數(shù)據(jù)底座設(shè)計(jì)

1.數(shù)據(jù)湖功能架構(gòu)

2.數(shù)據(jù)流轉(zhuǎn)架構(gòu)

由統(tǒng)一的租戶（企業(yè)集團(tuán)層面）進(jìn)行數(shù)據(jù)的歸集，并加工成標(biāo)準(zhǔn)統(tǒng)一的數(shù)據(jù)集或指標(biāo)。基于租戶權(quán)限自動(dòng)將數(shù)據(jù)分發(fā)給相應(yīng)的租戶。各租戶無需重復(fù)進(jìn)行數(shù)據(jù)集成和加工，一般是1+N模式的企業(yè)組織架構(gòu)，如一個(gè)集團(tuán)，N個(gè)不同地域但相同業(yè)務(wù)屬性的子公司。

1+N數(shù)據(jù)湖體系：1個(gè)數(shù)據(jù)湖，N個(gè)租戶、N個(gè)數(shù)據(jù)倉庫、N個(gè)數(shù)據(jù)集市、N個(gè)數(shù)據(jù)創(chuàng)新實(shí)驗(yàn)室。

3.數(shù)據(jù)入湖流程

四 數(shù)據(jù)底座的數(shù)據(jù)治理

聚焦“戰(zhàn)略指導(dǎo)、組織機(jī)制、專項(xiàng)能力、技術(shù)支撐”四層建設(shè)，為企業(yè)數(shù)字化轉(zhuǎn)型提供穩(wěn)定數(shù)據(jù)保障基礎(chǔ)。

1.統(tǒng)一的數(shù)據(jù)管控平臺(tái)

數(shù)據(jù)管控管控服務(wù)，集成數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等全方位數(shù)據(jù)治理能力。

主要能力：

數(shù)據(jù)標(biāo)準(zhǔn)：數(shù)據(jù)標(biāo)準(zhǔn)編目、錄入、發(fā)布、貫標(biāo)、落標(biāo)全方位能力提供。

落標(biāo)檢查：通過貫標(biāo)流程，執(zhí)行標(biāo)準(zhǔn)落標(biāo)檢查，賦能數(shù)據(jù)標(biāo)準(zhǔn)落地，實(shí)現(xiàn)貫標(biāo)成果。

數(shù)據(jù)質(zhì)量：以SQL形式靈活構(gòu)建數(shù)據(jù)質(zhì)量檢查規(guī)則，高效檢測數(shù)據(jù)質(zhì)量缺陷。

質(zhì)量模板：參數(shù)化的模板形式，復(fù)用質(zhì)量規(guī)則，解決質(zhì)量規(guī)則構(gòu)建低效、繁雜的痛點(diǎn)。

質(zhì)量報(bào)告：可視化展示數(shù)據(jù)質(zhì)量檢查結(jié)果，多維度展示質(zhì)量問題。

數(shù)據(jù)權(quán)限：以最細(xì)粒度管控至行列級(jí)權(quán)限的全方位數(shù)據(jù)權(quán)限管控，保證數(shù)據(jù)使用安全。

數(shù)據(jù)保護(hù)：結(jié)合智能化手段和咨詢方法論，妥善處理敏感數(shù)據(jù)，保護(hù)數(shù)據(jù)隱私。

2.數(shù)據(jù)資產(chǎn)目錄

統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄，實(shí)現(xiàn)全局?jǐn)?shù)據(jù)資產(chǎn)統(tǒng)管，對(duì)外提供數(shù)據(jù)資產(chǎn)服務(wù)。

主要能力：

元數(shù)據(jù)：自動(dòng)化采集多元異構(gòu)數(shù)據(jù)庫資源列表詳情，提供全局元數(shù)據(jù)服務(wù)。

數(shù)據(jù)血緣：自動(dòng)化采集數(shù)據(jù)血緣關(guān)系，提效數(shù)據(jù)溯源和故障定位。

數(shù)據(jù)特征：分析數(shù)據(jù)資產(chǎn)全方位信息視圖，賦能用戶高效數(shù)據(jù)探查。

數(shù)據(jù)推薦：通過協(xié)同過濾算法，精準(zhǔn)推薦用戶需要的數(shù)據(jù)資產(chǎn)。

相似性分析：基于數(shù)據(jù)相似性來實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的智能匹配，賦能自動(dòng)標(biāo)簽、自動(dòng)落標(biāo)

數(shù)據(jù)地圖：數(shù)據(jù)地圖門戶，支持可視化、層級(jí)化展現(xiàn)全局?jǐn)?shù)據(jù)資產(chǎn)，根據(jù)數(shù)據(jù)探查需求進(jìn)行下鉆、分析。

數(shù)據(jù)搜索：提供高性能全局?jǐn)?shù)據(jù)資產(chǎn)搜索，幫助用戶快速獲取目標(biāo)數(shù)據(jù)資產(chǎn)。

資產(chǎn)關(guān)聯(lián)：提供標(biāo)簽、描述、關(guān)聯(lián)數(shù)據(jù)標(biāo)準(zhǔn)和其他數(shù)據(jù)資產(chǎn)的方式豐富資產(chǎn)視圖。

3.數(shù)據(jù)安全

《中共中央國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》提出：加強(qiáng)數(shù)據(jù)資源整合和安全保護(hù)。探索建立統(tǒng)一規(guī)范的數(shù)據(jù)管理制度，提高數(shù)據(jù)質(zhì)量和規(guī)范性，豐富數(shù)據(jù)產(chǎn)品。研究根據(jù)數(shù)據(jù)性質(zhì)完善產(chǎn)權(quán)性質(zhì)。制定數(shù)據(jù)隱私保護(hù)制度和安全審查制度。推動(dòng)完善適用于大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分類分級(jí)安全保護(hù)制度，加強(qiáng)對(duì)政務(wù)數(shù)據(jù)、企業(yè)商業(yè)秘密和個(gè)人數(shù)據(jù)的保護(hù)。

隱私計(jì)算使數(shù)據(jù)在加密狀態(tài)下可以計(jì)算，安全性和準(zhǔn)確性由數(shù)學(xué)理論保證，無需提供可信第三方、平臺(tái)硬件以及操作系統(tǒng)。

五、數(shù)據(jù)服務(wù)能力

1.能力構(gòu)成

(1)數(shù)據(jù)API

通過API為各個(gè)應(yīng)用提供數(shù)據(jù)接口，打通應(yīng)用之間的數(shù)據(jù)流轉(zhuǎn)，構(gòu)建新型應(yīng)用。

(2) 數(shù)據(jù)標(biāo)簽平臺(tái)

為業(yè)務(wù)部門直接提供有業(yè)務(wù)語義的高質(zhì)量數(shù)據(jù)生產(chǎn)資料。

(3) 數(shù)據(jù)交換共享平臺(tái)

為各個(gè)不同的部分提供有業(yè)務(wù)語義的數(shù)據(jù)搜索與共享能力，打通數(shù)據(jù)孤島，構(gòu)建業(yè)務(wù)協(xié)同效應(yīng)。

(4) 數(shù)據(jù)報(bào)表平臺(tái)

提供可視化報(bào)表的開發(fā)與分享能力，從數(shù)據(jù)統(tǒng)計(jì)中發(fā)現(xiàn)數(shù)據(jù)價(jià)值。

(5)數(shù)據(jù)科學(xué)平臺(tái)

提供數(shù)據(jù)建模、模型運(yùn)行、模型服務(wù)發(fā)布等能力，幫助數(shù)據(jù)分析師構(gòu)建端到端的機(jī)器學(xué)習(xí)開發(fā)與運(yùn)行能力。

數(shù)據(jù)API服務(wù)開發(fā)、發(fā)布、調(diào)用管理與監(jiān)控統(tǒng)計(jì)的數(shù)據(jù)服務(wù)平臺(tái)；將多樣的數(shù)據(jù)轉(zhuǎn)換為業(yè)務(wù)應(yīng)用直接使用的數(shù)據(jù)資產(chǎn)，打通數(shù)據(jù)與業(yè)務(wù)，完善企業(yè)數(shù)據(jù)中臺(tái)建設(shè)；數(shù)據(jù)API服務(wù)開發(fā)、發(fā)布、管控。

標(biāo)簽建設(shè)開發(fā)、生命周期管理、標(biāo)簽應(yīng)用為一體，支撐企業(yè)差異化的標(biāo)簽畫像服務(wù)和運(yùn)營需求；通過標(biāo)簽開發(fā)、管理、更新、監(jiān)控、用戶畫像賦能企業(yè)更好的洞察客戶需求、防控業(yè)務(wù)風(fēng)險(xiǎn)、提高服務(wù)質(zhì)量和效率。

數(shù)據(jù)交換共享平臺(tái)支撐企業(yè)數(shù)據(jù)共享交換的基礎(chǔ)性互聯(lián)互通平臺(tái)。促進(jìn)數(shù)據(jù)交易，實(shí)現(xiàn)企業(yè)內(nèi)外部跨層級(jí)、跨系統(tǒng)、跨部門的數(shù)據(jù)共享和業(yè)務(wù)協(xié)同提供基礎(chǔ)支撐。包括：數(shù)據(jù)資產(chǎn)發(fā)布管理、數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)分析、數(shù)據(jù)資產(chǎn)編目管理、數(shù)據(jù)資產(chǎn)共享管理、數(shù)據(jù)資產(chǎn)數(shù)據(jù)安全管理、數(shù)據(jù)資產(chǎn)流程與審核管理、數(shù)據(jù)資產(chǎn)檢索管理。