漫談企業(yè)數(shù)據(jù)倉庫的演進

數(shù)據(jù)倉庫的概念誕生最早可追溯到上世紀70年代，回顧早期的企業(yè)環(huán)境，企業(yè)的生產與服務是一個很長周期，導致業(yè)務數(shù)據(jù)呈現(xiàn)一種粗粒度模式。

隨著互聯(lián)網(wǎng)的快速滲透，從早期的pc到現(xiàn)在的移動互聯(lián)網(wǎng)，業(yè)務的需求與服務周期逐漸變短，業(yè)務數(shù)據(jù)量級，與數(shù)據(jù)類型的多樣化暴增，對應著的技術、架構、理論也顯出快速發(fā)展。從最開始的數(shù)據(jù)倉庫到現(xiàn)在的大數(shù)據(jù)，中間經歷過太多的技術、架構模式的演進與變革，從最初的數(shù)據(jù)倉庫到海量數(shù)據(jù)，從大數(shù)據(jù)到現(xiàn)在的數(shù)據(jù)平臺，從數(shù)據(jù)中臺到數(shù)據(jù)湖。中間還穿插著人工智能與云計算兩大技術體系。

數(shù)據(jù)倉庫在國外的發(fā)展歷史多年，進入中國的時間大概在1998-1999年左右，中間大致經歷了兩個階段，從傳統(tǒng)企業(yè)的數(shù)據(jù)倉庫架構到現(xiàn)在互聯(lián)網(wǎng)時代的大數(shù)據(jù)之下的數(shù)據(jù)倉庫架構，有著明顯的變更。本文按照數(shù)據(jù)倉庫的發(fā)展歷程，細說數(shù)據(jù)倉庫的發(fā)展歷程，最后再討論下技術體系對數(shù)據(jù)倉庫架構的影響。

從數(shù)據(jù)倉庫的萌芽至今，傳統(tǒng)企業(yè)的數(shù)據(jù)倉庫大致可以分為五個時代，四種架構。

• 1970～1991 數(shù)據(jù)倉庫概念萌芽到全企業(yè)集成

• 1991～1994 EDW企業(yè)數(shù)據(jù)集成時代（Inmon 數(shù)據(jù)倉庫一書，范式建模）

• 1994～1996 數(shù)據(jù)集市時代（kimball維度建模）

• 1996～1997 神仙大戰(zhàn)時代（維度建模與范式建模爭論）

• 1998～2001 合并時代（CIF架構）

1.1 范式建模

五個時代均是以重要事件或者人物的出現(xiàn)作為劃分，比如說EDW企業(yè)數(shù)據(jù)集成時代是以Bill Inmon大作《Building the Data Warehouse》作為劃分，在這本書里面Inmon給出了數(shù)據(jù)倉庫定義：數(shù)據(jù)倉庫(DataWarehouse)是一個面向主題的(Subject Oriented)、集成的(Integrated)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化的(Time Variant)數(shù)據(jù)集合，用于支持管理決策(Decision-Making Support)。該書還提供了建立數(shù)據(jù)倉庫的指導意見和基本原則。憑借此書，Bill Inmon被稱為數(shù)據(jù)倉庫之父。

1.2 維度建模

數(shù)據(jù)倉庫的概念確立之后，有關數(shù)據(jù)倉庫的實施方法、實施路徑和架構等問題引發(fā)了諸多爭議。在實際運用中，大部分企業(yè)也都以失敗告終。這時候數(shù)據(jù)集市時代代表人物 Ralph kilmball及其代表作《The Data Warehouse Toolkit》出現(xiàn)。在數(shù)據(jù)倉庫的建設上提出了自下而上的建設方法，剛好與Bill Inmon的范式建模自上而下建設理論相反。這兩種理論的架構是各有千秋，所以就進入的爭吵年代。

（范式建模以及維度建模的架構圖）

Inmon提出的集線器的自上而下（EDW-DM）的數(shù)據(jù)倉庫架構。操作型或事務型系統(tǒng)的數(shù)據(jù)源，通過ETL抽取轉換和加載到數(shù)據(jù)倉庫的ODS層，然后通過ODS的數(shù)據(jù)建設原子數(shù)據(jù)的數(shù)據(jù)倉庫EDW，EDW不是多維格式的，不方便上層應用做數(shù)據(jù)分析，所以需要通過匯總建設成多維格式的數(shù)據(jù)集市層。

范式建模應用在EDW層，一個符合3范式的關系必須具有以下三個條件：

• 每個屬性的值唯一，不具有多義性；

• 每個非主屬性必須完全依賴于整個主鍵，而非主鍵的一部分；

• 每個非主屬性不能依賴于其他關系中的屬性，因為這樣的話，這種屬性應該歸到其他關系中去。

但是由于EDW的數(shù)據(jù)是原子粒度的，數(shù)據(jù)量比較大，完全規(guī)范的3范式在數(shù)據(jù)的交互的時候效率比較低下，所以通常會根據(jù)實際情況在事實表上做一些冗余，減少過多的數(shù)據(jù)交互。

Inmon理論下結構就是：ODS、EDW(ADM/FDM)和DM，也就是貼源層、主題模型層、共性加工層以及集市層。每一個層對應于數(shù)據(jù)庫下面的模式，接下來依次介紹這四個層：

（1）ODS（貼源層）：即這里存放的數(shù)據(jù)與原系統(tǒng)保持一致，將采集公司所有的系統(tǒng)產生的數(shù)據(jù)以及外部數(shù)據(jù)（包括合作數(shù)據(jù)以及爬蟲獲得的數(shù)據(jù)），將所采集的數(shù)據(jù)匯總到一起，供EDW和DM使用；

（2）EDW：這一層分為兩個，即ADM（共性加工層）和FDM（主題模型層）。其中FDM將從ODS層不同系統(tǒng)不同表的字段進行分類，同一主題的字段都歸為一類，之前針對不同行業(yè)的十大主題；ADM是加工一些共性的指標，指標從ODS或者FDM的字段加工來，這層主要供集市層使用；

（3）DM：數(shù)據(jù)集市層，這一層是將業(yè)務部門所關注的指標進行匯總，形成的數(shù)據(jù)，不同的業(yè)務部門可以形成不同的集市，具體情況可以視情況而定；集市層的架構可以細分為：基礎層、匯總層和分析層。

Kimball提出的總線式的自下而上（DM-DW）的數(shù)據(jù)倉庫架構。同樣的，操作型或事務型系統(tǒng)的數(shù)據(jù)源，通過ETL抽取轉換和加載到數(shù)據(jù)倉庫的ODS層，然后通過ODS的數(shù)據(jù)，利用維度建模方法建設一致維度的數(shù)據(jù)集市。通過一致性維度可以將數(shù)據(jù)集市聯(lián)系在一起，由所有的數(shù)據(jù)集市組成數(shù)據(jù)倉庫。

在復合式的數(shù)據(jù)倉庫架構中，操作型或事務型系統(tǒng)的數(shù)據(jù)源，通過ETL抽取轉換和加載到數(shù)據(jù)倉庫的ODS層，然后通過ODS的數(shù)據(jù)，利用范式建模方法，建設原子數(shù)據(jù)的數(shù)據(jù)倉庫EDW，然后基于EDW，利用維度建模方法建設數(shù)據(jù)集市。一般采用的模型是星型模型（推薦）和雪花模型。

范式建模和維度建模的區(qū)別在于，范式建模是先進行全企業(yè)數(shù)據(jù)的數(shù)據(jù)倉庫建設，包含數(shù)據(jù)倉庫生命周期中的所有內容，在一開始的時候不會過于關注數(shù)據(jù)的應用與變現(xiàn)，通過對數(shù)據(jù)質量的摸底，分階段的去按照一條數(shù)據(jù)主線的方式將全企業(yè)數(shù)據(jù)聚集起來。最后再將第一階段數(shù)據(jù)倉庫中的數(shù)據(jù)再次通過階梯型高度聚合進入到數(shù)據(jù)集市DM中，完成對業(yè)務的支撐。

由于需要對企業(yè)全局進行規(guī)范化建模，這將導致較大的工作量。但這一步必須完成好，才能繼續(xù)往上建設數(shù)據(jù)集市。因此也就導致規(guī)范化數(shù)據(jù)倉庫需要一定時間才能投入使用，敏捷性相對后者來說略差。但是規(guī)范化數(shù)據(jù)倉庫一旦建立好了，則以后數(shù)據(jù)就更易于管理。而且由于開發(fā)人員不能直接使用其數(shù)據(jù)倉庫（通過數(shù)據(jù)集市的方式使用），更加確保了數(shù)據(jù)質量。還有由于中心數(shù)據(jù)庫是采用規(guī)范化設計的，冗余情況也會更少。

而維度建模則是更像是根據(jù)需求，面向業(yè)務的提取相關業(yè)務數(shù)據(jù)，按照維度建模的方式組織數(shù)據(jù)，最后進入到數(shù)據(jù)集市，維度建模敏捷性更強，而且適用于業(yè)務變化比較頻繁的情況，對開發(fā)人員的要求也沒有規(guī)范化數(shù)據(jù)倉庫那么高。

（范式建模與維度建模大致區(qū)別）

1.3 CIF架構

隨著數(shù)據(jù)倉庫的不斷實踐與迭代發(fā)展，從爭吵期進入到了合并的時代，Bill inmon 與 Ralph kilmball 的爭吵沒有結論，干脆提出一種新的架構包含對方，也就是后來Bill Inmon 提出的CIF（corporation information factory） 架構模式，這也算是數(shù)據(jù)倉庫的第三代架構，其架構特點是把整個架構劃分為不同層次，把每一層次的定義與功能都詳細的描述下來，CIF主要包括集成轉換層（DSA）、操作數(shù)據(jù)存儲（ODS）、數(shù)據(jù)倉庫（EDW）、數(shù)據(jù)集市（DM）、探索倉庫（EW）等部件。

在后續(xù)的數(shù)據(jù)倉庫建設過程中，一般是合用維度建模和CIF兩種架構進行的，即建立CIF的數(shù)據(jù)倉庫和維度建模的數(shù)據(jù)集市。

CIF模式架構建設周期較長且設計復雜，初始階段建立企業(yè)級數(shù)據(jù)模型和數(shù)據(jù)標準以及相關的數(shù)據(jù)清洗整合工作，需要花費大量的人力和時間，但是一旦建立起企業(yè)級數(shù)據(jù)模型，數(shù)據(jù)的完整性和一致性問題就能夠得到根本解決，針對需求變化易于擴展，后續(xù)的成本較低。

維度建模架構首先著重于某幾個業(yè)務過程進行構建，以增量演進的方式簡化企業(yè)級數(shù)據(jù)倉庫的實現(xiàn)過程，啟動成本和設計方法較為簡單，通過維度建模方式將原子層和匯總層合二為一，可以快速創(chuàng)建分析應用，但是企業(yè)級數(shù)據(jù)倉庫的穩(wěn)定性和數(shù)據(jù)集市之間數(shù)據(jù)的一致性需要持續(xù)維護一致性維度來保證，后續(xù)擴展數(shù)據(jù)集市的工作量較大。

1.4 OPDM

OPDM 大約是在2011年提出來的，嚴格上來說，OPDM 操作型數(shù)據(jù)集市（倉庫）是實時數(shù)據(jù)倉庫的一種，它更多的是面向操作型數(shù)據(jù)而非歷史數(shù)據(jù)查詢與分析。這里的操作型數(shù)據(jù)集市指的是將那些支持企業(yè)日常運作的系統(tǒng)數(shù)據(jù)（比如說訂單系統(tǒng)，財務系統(tǒng)，CRM系統(tǒng)產生的數(shù)據(jù)），通過一種實時技術，將這些分布在各個孤島的數(shù)據(jù)，按照業(yè)務的邏輯有機的整合到一起。提供業(yè)務系統(tǒng)的監(jiān)控與指導（這些技術可以大體可以認為是storm、spark、flink）這一部分的內容和后續(xù)大數(shù)據(jù)時代下的數(shù)據(jù)倉庫實時數(shù)倉重合，我們后續(xù)進行討論。

傳統(tǒng)企業(yè)數(shù)據(jù)倉庫的正確讀法應該是 傳統(tǒng)-企業(yè)數(shù)據(jù)倉庫，從架構體系上來說，傳統(tǒng)企業(yè)數(shù)據(jù)倉庫是數(shù)據(jù)倉庫一個從無到有的過程，中間的有著不停的探索與實踐。但是隨著互聯(lián)網(wǎng)的高速發(fā)展，傳統(tǒng)企業(yè)數(shù)據(jù)倉庫的劣勢也愈來展現(xiàn)。

• 不能滿足海量數(shù)據(jù)存儲需求

• 不能處理不同類型的數(shù)據(jù)

• 計算與處理能力差

隨著大數(shù)據(jù)技術的發(fā)展，互聯(lián)網(wǎng)時代的數(shù)據(jù)倉庫閃亮登場，互聯(lián)網(wǎng)的數(shù)據(jù)平臺從07年-08年左右開始迅猛發(fā)展，在發(fā)展的初期也是從傳統(tǒng)數(shù)據(jù)平臺的第三代架構開始演進的，互聯(lián)網(wǎng)產品發(fā)展特點是“糙、快、猛”，原有的技術體系必然無法支撐高IO吞吐、密集型計算，由此帶來了一系列的技術變革，適合互聯(lián)網(wǎng)時代的大數(shù)據(jù)平臺應運而生。

（網(wǎng)易有數(shù)大數(shù)據(jù)平臺架構）