系列 | 漫談數(shù)倉(cāng)第一篇NO.1 『?基礎(chǔ)架構(gòu)』

01. 架構(gòu)演進(jìn)

離線數(shù)據(jù)倉(cāng)庫(kù)到實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，從lambda架構(gòu)到kappa架構(gòu)、再到混合架構(gòu)。

02. 邏輯分層

數(shù)倉(cāng)分層，一般按ods->dw->dm整體架構(gòu)。不同的企業(yè)，不同的業(yè)務(wù)場(chǎng)景，有衍生出不同的分層架構(gòu)模式。例如經(jīng)典四層架構(gòu)：ods->dwd->dws-ads，bdl->fdl->gdl->adl等。

技術(shù)選型，傳統(tǒng)數(shù)倉(cāng)一般以O(shè)racle、greenplum、teradata 等，互聯(lián)網(wǎng)數(shù)倉(cāng)一般以Hadoop生態(tài)圈為主，離線以Hive為核心，準(zhǔn)實(shí)時(shí)以spark為核心，實(shí)時(shí)以flink為核心構(gòu)建。

03. 數(shù)據(jù)調(diào)研

業(yè)務(wù)調(diào)研，業(yè)務(wù)側(cè)對(duì)齊，遵循關(guān)系型數(shù)據(jù)庫(kù)建模方式，從概念模型（cdm）->邏輯模型（ldm）->物理模型（pdm）建模套路，是一個(gè)從抽象到具體的一個(gè)不斷細(xì)化完善的分析，設(shè)計(jì)和開發(fā)的過(guò)程。

需求調(diào)研，現(xiàn)有BI報(bào)表需求，統(tǒng)計(jì)需求，用戶畫像，推薦系統(tǒng)等數(shù)據(jù)應(yīng)用。

數(shù)據(jù)庫(kù)調(diào)研，了解數(shù)據(jù)庫(kù)表數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)形態(tài)，全局把握業(yè)務(wù)流程數(shù)據(jù)流向，做到真正業(yè)務(wù)流程和數(shù)據(jù)結(jié)構(gòu)結(jié)合。

04. 主題域劃分

業(yè)務(wù)高度抽象，可先確定企業(yè)業(yè)務(wù)bu模塊，然后可根據(jù)概念模型（cdm）進(jìn)行一級(jí)主題劃分，確定一致性維度和事實(shí)流程，構(gòu)建總線矩陣。

圖片來(lái)源 Kimball《The Data Warehouse Toolkits，- 3rd Edition》

按照kimball大師經(jīng)典建模四步驟：選擇業(yè)務(wù)過(guò)程->聲明粒度->確定維度->確定事實(shí) 進(jìn)行維度建模。

05. 數(shù)倉(cāng)規(guī)范

構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，必不可少的就是制定數(shù)倉(cāng)規(guī)范。包括 命名規(guī)范，流程規(guī)范，設(shè)計(jì)規(guī)范，開發(fā)規(guī)范 等。無(wú)規(guī)矩不成方圓，建設(shè)數(shù)倉(cāng)也是這樣。

開發(fā)規(guī)范 示例：

06. 數(shù)據(jù)治理

大數(shù)據(jù)時(shí)代必不可少的一個(gè)重要環(huán)節(jié)，可從數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、數(shù)據(jù)安全、數(shù)據(jù)生命周期等方面開展實(shí)施。數(shù)據(jù)治理是一個(gè)企業(yè)安身立命的根本。

數(shù)據(jù)質(zhì)量，必須保證完整性、準(zhǔn)確性、一致性、時(shí)效性。每一個(gè)任務(wù)都應(yīng)該配置數(shù)據(jù)質(zhì)量監(jiān)控，嚴(yán)禁任務(wù)裸奔?？山ㄔO(shè)統(tǒng)一數(shù)據(jù)質(zhì)量告警中心從以下四個(gè)方面進(jìn)行監(jiān)控、預(yù)警和優(yōu)化任務(wù)。

元數(shù)據(jù)管理，關(guān)于數(shù)據(jù)的數(shù)據(jù)?？煞譃榧夹g(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。對(duì)于數(shù)倉(cāng)開發(fā)和維護(hù)，模型血緣關(guān)系尤為重要。

數(shù)據(jù)安全，可包含以下五方面的內(nèi)容，即數(shù)據(jù)的保密性、真實(shí)性、完整性、未授權(quán)拷貝和所寄生系統(tǒng)的安全性。

07. 數(shù)倉(cāng)理念

從80年代到現(xiàn)在，數(shù)據(jù)倉(cāng)庫(kù)流派之爭(zhēng)已趨于穩(wěn)緩，比較經(jīng)典的就是數(shù)倉(cāng)大師Kimball的維度建模、數(shù)倉(cāng)之父Inmon的范式(E-R)建模，另外還有Data Vault建模、Anchor模型等。

Kimball Data Warehouse Architecture：

Inmon Data Warehouse Architecture：

結(jié)語(yǔ)：數(shù)倉(cāng)是一種思想，數(shù)倉(cāng)是一種規(guī)范，數(shù)倉(cāng)是一種解決方案。