數(shù)倉(cāng)建模 - 維度 vs 關(guān)系
復(fù)雜的數(shù)據(jù)關(guān)系
數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)
數(shù)據(jù)管理一直在演進(jìn)，從早期的電子表格、蛛網(wǎng)系統(tǒng)到架構(gòu)式數(shù)據(jù)倉(cāng)庫(kù)。發(fā)展至今以維度建模和關(guān)系建模為主，而隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)從GB到PB的裱花，企業(yè)業(yè)務(wù)迭代更新亦是瞬息萬(wàn)變，對(duì)維度模型的偏愛漸漸有統(tǒng)一互聯(lián)網(wǎng)數(shù)倉(cāng)建模標(biāo)準(zhǔn)的趨勢(shì)。
數(shù)倉(cāng)模型不分高下，都是一種觀察現(xiàn)實(shí)的角度。維度模型以實(shí)體與實(shí)體之間發(fā)生的事務(wù)/實(shí)為切入，而關(guān)系建模則以實(shí)體與實(shí)體之間的關(guān)系來(lái)組織數(shù)據(jù)。在當(dāng)前的環(huán)境下，互聯(lián)網(wǎng)更傾向于維度建模，而傳統(tǒng)行業(yè)則較多沿用關(guān)系建模。
個(gè)人先后經(jīng)歷金融、互聯(lián)網(wǎng)數(shù)倉(cāng)建設(shè)，有多個(gè)0到1的項(xiàng)目經(jīng)歷，對(duì)于數(shù)倉(cāng)建設(shè)仍在持續(xù)學(xué)習(xí)中。如有錯(cuò)誤之處，還請(qǐng)多指出交流。
模型理念
維度建模
以事實(shí)表為核心，多個(gè)維度表作為手臂形成的星型模型，是維度建模的典型實(shí)現(xiàn)方式。
事實(shí)表，記錄業(yè)務(wù)過(guò)程中發(fā)生的可度量事件，如訂單中的消費(fèi)金額，折扣金額或是庫(kù)存數(shù)量等，在實(shí)際業(yè)務(wù)中事實(shí)表占據(jù)主要的存儲(chǔ)，如訂單表；而維度表，則是對(duì)業(yè)務(wù)過(guò)程度量有關(guān)的文本環(huán)境，描述“誰(shuí)、什么、哪里、何時(shí)、如何、為什么”，常用的維度表有日期、產(chǎn)品、用戶、地址等。一般維度表會(huì)冗余信息，有超過(guò)100個(gè)列的維度表，這樣的不規(guī)范化帶來(lái)數(shù)據(jù)組織上的簡(jiǎn)單。
關(guān)系建模
關(guān)系建模，被稱為“實(shí)體-關(guān)系”模型，以一種“標(biāo)準(zhǔn)化”的方式存在，強(qiáng)調(diào)數(shù)據(jù)之間非冗余，滿足3NF。在建設(shè)過(guò)程中，將數(shù)據(jù)標(biāo)準(zhǔn)化到細(xì)節(jié)級(jí)數(shù)據(jù)，如用戶主題下，會(huì)有用戶與姓名、用戶與年齡、用戶與住址等。在傳統(tǒng)行業(yè)中，成熟的關(guān)系建模有l(wèi)s-ldm模型，面向金融行業(yè)形成10大主題。
建模實(shí)現(xiàn)的對(duì)比
維度建模：從實(shí)際的需求出發(fā)進(jìn)行數(shù)據(jù)建設(shè)，一般面向部門/業(yè)務(wù)形成獨(dú)立的數(shù)據(jù)集市，這樣的方式帶來(lái)鮮明的特點(diǎn)，高效。但由于基于需求出發(fā)，往往導(dǎo)致頻繁的需求迭代帶來(lái)的維護(hù)成本較高，一旦業(yè)務(wù)過(guò)程發(fā)生調(diào)整，模型有可能會(huì)重來(lái)的風(fēng)險(xiǎn)。
關(guān)系建模：面向企業(yè)進(jìn)行模型建設(shè)，具有較強(qiáng)的抽象性。建設(shè)時(shí)以3NF的方式建設(shè)無(wú)冗余的數(shù)據(jù)，使模型具有很高的靈活性，但由于不能直接面向需求，效率上不如維度模型。另外面向企業(yè)建設(shè)，周期相比于維度建模，要長(zhǎng)的多，但也有個(gè)好處：企業(yè)數(shù)據(jù)集成更容易。
模型選擇
在企業(yè)內(nèi)，這兩種建模方式往往同時(shí)存在，基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)使用關(guān)系建模，技術(shù)的優(yōu)雅換來(lái)了數(shù)據(jù)的精簡(jiǎn)，保證高度抽象、高度一致性，要求業(yè)務(wù)穩(wěn)定；往上維度建模更合適一些，偏向于直接面對(duì)業(yè)務(wù)，靠數(shù)據(jù)的冗余帶來(lái)了可用性，保證查詢效率。兩者優(yōu)勢(shì)互補(bǔ)
Data Vault 簡(jiǎn)介
設(shè)計(jì)示例
在大數(shù)據(jù)的環(huán)境下，數(shù)據(jù)存儲(chǔ)和發(fā)展已發(fā)生很大變化，曾經(jīng)的維度建模和關(guān)系建模在當(dāng)前的場(chǎng)景下都有各自的不足之處。那數(shù)據(jù)倉(cāng)庫(kù)在大數(shù)據(jù)環(huán)境下如何發(fā)展、成熟？Inmon等就提出了data vault模型
data valult是一個(gè)面向細(xì)節(jié)的、歷史追溯的并且唯一鏈接的規(guī)范化表集，能給支持一個(gè)或者多個(gè)業(yè)務(wù)功能區(qū)；是一種中心輻射式模型，其設(shè)計(jì)重點(diǎn)圍繞著業(yè)務(wù)鍵的集成模式。data vault有三種基本的實(shí)體(結(jié)構(gòu))
中心表(Hub)：實(shí)際業(yè)務(wù)鍵的集合，如訂單信息表等
鏈接表(Link)：記錄著業(yè)務(wù)鍵之間的關(guān)系和聯(lián)系，沒有開始或者結(jié)束日期，只記錄數(shù)據(jù)到達(dá)數(shù)據(jù)倉(cāng)庫(kù)那一時(shí)刻的關(guān)系的一種表達(dá)
衛(wèi)星表(Satellite)：數(shù)據(jù)倉(cāng)庫(kù)概念的表，存儲(chǔ)了隨時(shí)間推移的非易失數(shù)據(jù)。
從建模風(fēng)格上看，它采用了一種由第三范式方法與維度建模方法混合而成的方式，以二者的獨(dú)特組合來(lái)滿足企業(yè)需求。
作者：別停下思考
鏈接：https://www.jianshu.com/p/89a8d132543