一文讀懂?dāng)?shù)據(jù)中臺架構(gòu)體系（收藏）
點擊關(guān)注公眾號：互聯(lián)網(wǎng)架構(gòu)師，后臺回復(fù) 2T獲取2TB學(xué)習(xí)資源！
上一篇：Alibaba開源內(nèi)網(wǎng)高并發(fā)編程手冊.pdf
— 01 —
數(shù)據(jù)中臺體系架構(gòu)示例
該數(shù)據(jù)中臺體系架構(gòu)綜合考慮了數(shù)據(jù)中臺的各種要素，參考這個架構(gòu)進(jìn)行建設(shè)可以有效提升數(shù)據(jù)資產(chǎn)價值，提供數(shù)據(jù)及服務(wù)的共享。 參考這個數(shù)據(jù)中臺體系架構(gòu)，企業(yè)可以一次規(guī)劃、分步實施。首先建設(shè)處理子系統(tǒng)及數(shù)據(jù)存儲子系統(tǒng)，然后根據(jù)業(yè)務(wù)發(fā)展需求，逐步補充數(shù)據(jù)采集、數(shù)據(jù)安全及數(shù)據(jù)治理子系統(tǒng)。
該數(shù)據(jù)中臺由 6 個解耦的子系統(tǒng)組成。企業(yè)在立項建設(shè)時可以靈活組合，每個子系統(tǒng)單獨招標(biāo)建設(shè)，也可以把多個子系統(tǒng)合并招標(biāo)建設(shè)。數(shù)據(jù)中臺通用體系架構(gòu)包含數(shù)據(jù)存儲框架、數(shù)據(jù)采集框架、數(shù)據(jù)處理框架、數(shù)據(jù)治理框架、數(shù)據(jù)安全框架及數(shù)據(jù)運營框架等 6 大部分。
1、數(shù)據(jù)存儲框架
數(shù)據(jù)處理是每個數(shù)據(jù)應(yīng)用的基本環(huán)節(jié)之一，經(jīng)典的數(shù)據(jù)抽取、轉(zhuǎn)換和加載（ETL）處理流程在數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)整合、數(shù)據(jù)建模等多個地方均要使用。單獨建設(shè)數(shù)據(jù)處理框架有利于數(shù)據(jù)處理工具組件的集中開發(fā)與管理，也有利于數(shù)據(jù)中臺數(shù)據(jù)處理任務(wù)的協(xié)調(diào)與調(diào)度。
數(shù)據(jù)處理框架專門負(fù)責(zé)數(shù)據(jù)處理相關(guān)的任務(wù)，包括批處理、流處理、人工智能分析、數(shù)據(jù)清洗、數(shù)據(jù)交換及查詢，此外數(shù)據(jù)處理的相關(guān)工具組件可在處理框架中配置。任務(wù)調(diào)度模塊在數(shù)據(jù)處理框架中處于居中指揮的作用，并對運行的數(shù)據(jù)處理任務(wù)進(jìn)行監(jiān)控及異常處理等操作。
廣義的數(shù)據(jù)治理不僅包含提升數(shù)據(jù)價值的內(nèi)容，如數(shù)據(jù)管理、數(shù)據(jù)目錄、數(shù)據(jù)質(zhì)量等，也包含數(shù)據(jù)安全管理及數(shù)據(jù)共享服務(wù)。
數(shù)據(jù)安全管理與數(shù)據(jù)價值提升是一個矛盾體，如果由一個廠商或開發(fā)團隊進(jìn)行數(shù)據(jù)安全管理及數(shù)據(jù)價值提升相關(guān)軟件的開發(fā)，則開發(fā)者的操作難免有所偏向，而且矛盾不容易公開，少了沖突也就少了優(yōu)質(zhì)的解決方案。
另外，數(shù)據(jù)共享與數(shù)據(jù)治理的其他內(nèi)容也存在相同的問題。因此，本文建議數(shù)據(jù)中臺的數(shù)據(jù)治理框架中不包含數(shù)據(jù)安全與共享的相關(guān)內(nèi)容。
數(shù)據(jù)治理框架包含數(shù)據(jù)目錄、數(shù)據(jù)管理、模型管理和數(shù)據(jù)質(zhì)量 4 個模塊：
數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)目錄、知識圖譜及數(shù)據(jù)血緣的主要作用是展示數(shù)據(jù)的屬性及相互關(guān)系，因此都納入數(shù)據(jù)目錄模塊。 數(shù)據(jù)模型能提高數(shù)據(jù)中臺對外部應(yīng)用需求的反應(yīng)能力，固化的中間模型數(shù)據(jù)需要專門管理。模型管理包括模型目錄、模型血緣及模型地圖等。 數(shù)據(jù)管理又可以細(xì)分為元數(shù)據(jù)管理、主數(shù)據(jù)管理、標(biāo)簽數(shù)據(jù)管理及源數(shù)據(jù)管理。 數(shù)據(jù)質(zhì)量管理模塊按照制定的數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)稽核規(guī)則對數(shù)據(jù)中臺中的數(shù)據(jù)進(jìn)行質(zhì)量管理。
數(shù)據(jù)已經(jīng)成為數(shù)據(jù)資產(chǎn)，數(shù)據(jù)安全框架是數(shù)據(jù)中臺必不可少的組成部分。數(shù)據(jù)安全疊加在數(shù)據(jù)中臺其他功能框架之上，數(shù)據(jù)采集、處理、交換、共享等每個環(huán)節(jié)均必須實施安全控制策略。安全框架可以分為日志管理、用戶認(rèn)證、權(quán)限管理及加解密等幾個功能模塊。
此外，安全全門戶也可以對外提供安全能力封裝，展示數(shù)據(jù)中臺的安全態(tài)勢及安全視圖。
數(shù)據(jù)中臺的核心功能是綜合眾多數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理及數(shù)據(jù)治理功能，集中建設(shè)、集中管理、減少冗余、增加復(fù)用。數(shù)據(jù)中臺的最終目的還是為其他應(yīng)用或開發(fā)者提供數(shù)據(jù)服務(wù)，而對外數(shù)據(jù)服務(wù)功能將直接面向不確定的外部對象。
因此單獨建設(shè)數(shù)據(jù)運營，一方面有利于針對外部用戶提供針對性功能；另一方面，數(shù)據(jù)運營模塊作為用戶與數(shù)據(jù)中臺核心數(shù)據(jù)服務(wù)之間的中間層，可以有效隔離外部用戶直接控制、接觸核心數(shù)據(jù)及應(yīng)用，可保護(hù)數(shù)據(jù)中臺的安全性及內(nèi)部功能的穩(wěn)定性。
綜合以上因素，數(shù)據(jù)運營應(yīng)配置運營門戶、能力開放、數(shù)據(jù)開放及運營監(jiān)控等功能：
運營門戶：對數(shù)據(jù)中臺管理者提供管理門戶，對開發(fā)者提供開發(fā)者門戶。
對內(nèi)部應(yīng)用提供內(nèi)部應(yīng)用門戶，對外部應(yīng)用提供外部應(yīng)用門戶。運營門戶針對不同的用戶提供不同的通道并開放不同的數(shù)據(jù)中臺能力。
能力開放：把數(shù)據(jù)中臺的數(shù)據(jù)處理能力、數(shù)據(jù)分析能力等經(jīng)過適當(dāng)?shù)姆庋b后對用戶提供服務(wù)，可以是微服務(wù)，也可以是 API 接口，或者直接提供二次開發(fā)能力。 數(shù)據(jù)開放：通過數(shù)據(jù)目錄，數(shù)據(jù)/模型展示（可視化、數(shù)據(jù)視圖等）為其他數(shù)據(jù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)。 運營監(jiān)控：對數(shù)據(jù)中臺的總體運營情況進(jìn)行監(jiān)控管理，包括硬件環(huán)境、軟件環(huán)境，并且確定監(jiān)控指標(biāo)，按需求提供運營日報，處理告警信息。
— 02 —
數(shù)據(jù)中臺的目標(biāo)是讓數(shù)據(jù)持續(xù)用起來，通過數(shù)據(jù)中臺提供的工具、方法和運行機制，把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，讓數(shù)據(jù)更方便地被業(yè)務(wù)所使用。下圖所示為數(shù)據(jù)中臺總體架構(gòu)圖，數(shù)據(jù)中臺是在底層存儲計算平臺與上層的數(shù)據(jù)應(yīng)用之間的一整套體系。
數(shù)據(jù)中臺屏蔽掉底層存儲平臺的計算技術(shù)復(fù)雜性，降低對技術(shù)人才的需求，讓數(shù)據(jù)的使用成本更低。通過數(shù)據(jù)中臺的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力，服務(wù)于企業(yè)業(yè)務(wù)。數(shù)據(jù)安全體系、數(shù)據(jù)運營體系保障數(shù)據(jù)中臺可以長期健康、持續(xù)運轉(zhuǎn)。
數(shù)據(jù)匯聚是數(shù)據(jù)中臺數(shù)據(jù)接入的入口。數(shù)據(jù)中臺本身幾乎不產(chǎn)生數(shù)據(jù)，所有數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等，這些數(shù)據(jù)分散在不同的網(wǎng)絡(luò)環(huán)境和存儲平臺中，難以利用，很難產(chǎn)生業(yè)務(wù)價值。
有了數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊，中臺已經(jīng)具備傳統(tǒng)數(shù)倉平臺的基本能力，可以做數(shù)據(jù)的匯聚以及各種數(shù)據(jù)開發(fā)，就可以建立企業(yè)的數(shù)據(jù)資產(chǎn)體系。之前說數(shù)據(jù)資產(chǎn)體系是中臺的血肉，開發(fā)、管理、使用的都是數(shù)據(jù)。大數(shù)據(jù)時代，數(shù)據(jù)量大，增長快，業(yè)務(wù)對數(shù)據(jù)的依賴也會越來越高，必須考慮數(shù)據(jù)的一致性和可復(fù)用性，垂直煙囪式的數(shù)據(jù)和數(shù)據(jù)服務(wù)的建設(shè)方式注定不能長久存在。
前面利用數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)建設(shè)企業(yè)數(shù)據(jù)資產(chǎn)，利用數(shù)據(jù)管理展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)，但是并沒有發(fā)揮數(shù)據(jù)的價值。數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，通過數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù)，激活整個數(shù)據(jù)中臺，數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺存在的價值所在。
企業(yè)的數(shù)據(jù)服務(wù)是千變?nèi)f化的，中臺產(chǎn)品可以帶有一些標(biāo)準(zhǔn)服務(wù)，但是很難滿足企業(yè)的服務(wù)訴求，大部分服務(wù)還是需要通過中臺的能力快速定制。數(shù)據(jù)中臺的服務(wù)模塊并沒有自帶很多服務(wù)，而是提供快速的服務(wù)生成能力以及服務(wù)的管控、鑒權(quán)、計量等功能。
6. 運營體系和安全體系
通過前面的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)、資產(chǎn)管理、數(shù)據(jù)服務(wù)，已經(jīng)完成了整個數(shù)據(jù)中臺的搭建和建設(shè)，也已經(jīng)在業(yè)務(wù)中發(fā)揮一定的價值。
運營體系和安全體系是數(shù)據(jù)中臺得以健康、持續(xù)運轉(zhuǎn)的基礎(chǔ)，如果沒有它們，數(shù)據(jù)中臺很可能像個一般項目一樣，一期搭建起平臺、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個應(yīng)用場景之后而止步，無法正常地持續(xù)運營，不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價值。這也就完全達(dá)不到建設(shè)數(shù)據(jù)中臺的目標(biāo)。
— 03 —
一、技術(shù)中臺架構(gòu)圖
恰逢此時，微服務(wù)技術(shù)和架構(gòu)、容器化的生態(tài)、Devops概念和工具處于大發(fā)展的階段，最后基于“大中臺、小前臺”的信息化建設(shè)模式開始流行。
二、銀行數(shù)據(jù)架構(gòu)體系
數(shù)據(jù)架構(gòu)層面通過數(shù)據(jù)分類、分層部署等手段，從非功能性視角將數(shù)據(jù)合理布局。通過整體架構(gòu)管控和設(shè)計，支持業(yè)務(wù)操作類和管理分析類應(yīng)用（系統(tǒng)），滿足業(yè)務(wù)發(fā)展及IT轉(zhuǎn)型對數(shù)據(jù)的需求，架構(gòu)的擴展性和適應(yīng)性能夠提升數(shù)據(jù)分析應(yīng)用的及時性、靈活性和準(zhǔn)確性。
那實際情況下各個銀行的數(shù)據(jù)架構(gòu)體系會有所不同，根據(jù)各行的業(yè)務(wù)發(fā)展、客戶數(shù)據(jù)量、交易數(shù)據(jù)量、功能需求等會有不同的演變路徑以及發(fā)展方向。
一般國有銀行、股份制銀行等全國性的銀行業(yè)務(wù)較復(fù)雜，數(shù)據(jù)量也較多，數(shù)據(jù)架構(gòu)也因此進(jìn)化較快。常見的數(shù)據(jù)架構(gòu)分區(qū)如下圖所示：
三、零售行業(yè)中臺架構(gòu)
這是一張混合了技術(shù)和業(yè)務(wù)的中臺邏輯架構(gòu)示意圖，前臺應(yīng)用部分我們將零售和消費品行業(yè)需要對接消費者的若干應(yīng)用系統(tǒng)一一列舉了出來，但是在中臺架構(gòu)下它們已經(jīng)和傳統(tǒng)的“應(yīng)用系統(tǒng)”有了很大的差別，變得非常“輕量”。
四、業(yè)務(wù)中臺架構(gòu)
五、后臺架構(gòu)
六、實時數(shù)據(jù)中臺
下面是實現(xiàn)實時數(shù)據(jù)中臺的一種邏輯架構(gòu)，方便你去理解，其實最關(guān)鍵的是實時模型那一層
七、企業(yè)級中臺發(fā)展過程
我用下面這張圖來概括中臺發(fā)展的三個階段，最終我們發(fā)現(xiàn)，對于那些已經(jīng)有 ERP 系統(tǒng)的企業(yè)來講，中臺的建設(shè)本質(zhì)就是利用微服務(wù)架構(gòu)構(gòu)建開放業(yè)務(wù)平臺來替換閉源單體架構(gòu)的 ERP 系統(tǒng)的過程。
八、阿里中臺架構(gòu)
中臺是一種架構(gòu)理念和方法。任何一種架構(gòu)的方法，其本質(zhì)不外乎，利用分、合、打散、重組等技術(shù)手段，對系統(tǒng)進(jìn)行有序化重構(gòu)，以達(dá)到減少系統(tǒng)“熵”的過程，使系統(tǒng)得以不斷進(jìn)化。
九、阿里核心架構(gòu)圖
通過阿里云平臺將技術(shù)中臺進(jìn)行部署，對集團內(nèi)共享業(yè)務(wù)單元提供支撐，并最終對前臺各業(yè)務(wù)線提供服務(wù)化能力輸出。
十、全渠道零售中臺
十一、全渠道集成架構(gòu)
2007~2012年是“集成模式”概念被拋出率最高的年代，它有一個名字叫“SOA”，SOA就是那個時代的“全渠道中臺”
十二、網(wǎng)易嚴(yán)選數(shù)據(jù)中臺體系
— 04 —
6種行業(yè)數(shù)據(jù)中臺解決方案
▲制造行業(yè)解決方案
▲傳媒行業(yè)解決方案
▲檢務(wù)行業(yè)解決方案
最后，關(guān)注公眾號互聯(lián)網(wǎng)架構(gòu)師，在后臺回復(fù)：2T，可以獲取我整理的 Java 系列面試題和答案，非常齊全。
正文結(jié)束
推薦閱讀 ↓↓↓ 1.CTO：誰在項目中使用Arrays.asList、ArrayList.subList，就立馬滾蛋！
正文結(jié)束
1.CTO：誰在項目中使用Arrays.asList、ArrayList.subList，就立馬滾蛋！