所謂數(shù)據(jù)模型

點(diǎn)擊上方藍(lán)色字體，選擇“設(shè)為星標(biāo)”

回復(fù)”資源“獲取更多資源

本文為您介紹數(shù)據(jù)模型架構(gòu)規(guī)范。 

聲明

本文以及后續(xù)章節(jié)中介紹的非功能性規(guī)范均為建議性規(guī)范，產(chǎn)品功能無強(qiáng)制，僅供指導(dǎo)。

數(shù)據(jù)層次的劃分

• ODS：
  Operational Data Store，操作數(shù)據(jù)層，在結(jié)構(gòu)上其與源系統(tǒng)的增量或者全量數(shù)據(jù)基本保持 一致。
  它相當(dāng)于一個數(shù)據(jù)準(zhǔn)備區(qū)，同時又承擔(dān)著基礎(chǔ)數(shù)據(jù)的記錄以及歷史變化。其主要作用是把基礎(chǔ)數(shù)據(jù)引入到MaxCompute。

• CDM：
  Common Data Model，公共維度模型層，又細(xì)分為DWD和DWS。
  它的主要作用是完成數(shù)據(jù)加工與整合、建立一致性的維度、構(gòu)建可復(fù)用的面向分析和統(tǒng)計(jì)的明細(xì)事實(shí)表以及匯總公共粒度的指標(biāo)。 

• DWD：
  Data Warehouse Detail，明細(xì)數(shù)據(jù)層。

• DWS：
  Data Warehouse Summary，匯總數(shù)據(jù)層。

• ADS：
  Application Data Service，應(yīng)用數(shù)據(jù)層。

具體倉庫的分層情況需要結(jié)合業(yè)務(wù)場景、數(shù)據(jù)場景、系統(tǒng)場景進(jìn)行綜合考慮。

數(shù)據(jù)分類架構(gòu)

該數(shù)據(jù)分類架構(gòu)在ODS層分為三部分：數(shù)據(jù)準(zhǔn)備區(qū)、離線數(shù)據(jù)和準(zhǔn)實(shí)時數(shù)據(jù)區(qū)。在進(jìn)入到CDM層后，由以下幾部分組成： 

• 公共維度層：
  基于維度建模理念思想，建立整個企業(yè)的一致性維度。

• 明細(xì)粒度事實(shí)層：
  以業(yè)務(wù)過程為建模驅(qū)動，基于每個具體業(yè)務(wù)過程的特點(diǎn)，構(gòu)建最細(xì)粒度的明細(xì)層事實(shí)表。
  您可以結(jié)合企業(yè)的數(shù)據(jù)使用特點(diǎn)，將明細(xì)事實(shí)表的某些重要維度屬性字段做適當(dāng)?shù)娜哂?，即寬表化處理?/p>

• 公共匯總粒度事實(shí)層：
  以分析的主題對象為建模驅(qū)動，基于上層的應(yīng)用和產(chǎn)品的指標(biāo)需求，構(gòu)建公共粒度的匯總指標(biāo)事實(shí)表，以寬表化手段來物理化模型。

數(shù)據(jù)處理流程架構(gòu)

數(shù)據(jù)劃分及命名空間約定

請根據(jù)業(yè)務(wù)劃分?jǐn)?shù)據(jù)并約定命名，建議針對業(yè)務(wù)名稱結(jié)合數(shù)據(jù)層次約定相關(guān)命名的英文縮寫，這樣可以給后續(xù)數(shù)據(jù)開發(fā)過程中，對項(xiàng)目空間、表、字段等命名做為重要參照。 

• 按業(yè)務(wù)劃分：
  命名時按主要的業(yè)務(wù)劃分，以指導(dǎo)物理模型的劃分原則、命名原則及使用的ODS project。
  例如，按業(yè)務(wù)定義英文縮寫，阿里的“淘寶”英文縮寫可以定義為“tb”。

• 按數(shù)據(jù)域劃分：
  命名時按照CDM層的數(shù)據(jù)進(jìn)行數(shù)據(jù)域劃分，以便有效地對數(shù)據(jù)進(jìn)行管理，以及指導(dǎo)數(shù)據(jù)表的命名。
  例如，“交易”數(shù)據(jù)的英文縮寫可定義為“trd”。

• 按業(yè)務(wù)過程劃分：
  當(dāng)一個數(shù)據(jù)域由多個業(yè)務(wù)過程組成時，命名時可以按業(yè)務(wù)流程劃分。
  業(yè)務(wù)過程是從數(shù)據(jù)分析角度看客觀存在的或者抽象的業(yè)務(wù)行為動作。
  例如，交易數(shù)據(jù)域中的“退款”這個業(yè)務(wù)過程的英文縮寫可約定命名為“rfd_ent”。

數(shù)據(jù)模型

模型是對現(xiàn)實(shí)事物的反映和抽象，能幫助我們更好地了解客觀世界。數(shù)據(jù)模型定義了數(shù)據(jù)之間關(guān)系和結(jié)構(gòu)，使得我們可以有規(guī)律地獲取想要的數(shù)據(jù)。例如，在一個超市里，商品的布局都有特定的規(guī)范，商品擺放的位置是按照消費(fèi)者的購買習(xí)慣以及人流走向進(jìn)行擺放的。

• 數(shù)據(jù)模型的作用 

數(shù)據(jù)模型是在業(yè)務(wù)需求分析之后，數(shù)據(jù)倉庫工作開始時的第一步。良好的數(shù)據(jù)模型可以幫助我們更好地存儲數(shù)據(jù)，更有效率地獲取數(shù)據(jù)，保證數(shù)據(jù)間的一致性。

• 模型設(shè)計(jì)的基本原則 

高內(nèi)聚和低耦合

一個邏輯和物理模型由哪些記錄和字段組成，應(yīng)該遵循最基本的軟件設(shè)計(jì)方法論中的高內(nèi)聚和低耦合原則。主要從數(shù)據(jù)業(yè)務(wù)特性和訪問特性兩個角度來考慮：將業(yè)務(wù)相近或者相關(guān)的數(shù)據(jù)、粒度相同數(shù)據(jù)設(shè)計(jì)為一個邏輯或者物理模型；將高概率同時訪問的數(shù)據(jù)放一起，將低概率同時訪問的數(shù)據(jù)分開存儲。

核心模型與擴(kuò)展模型分離

建立核心模型與擴(kuò)展模型體系，核心模型包括的字段支持常用核心的業(yè)務(wù)，擴(kuò)展模型包括的字段支持個性化或是少量應(yīng)用的需要。在必須讓核心模型與擴(kuò)展模型做關(guān)聯(lián)時，不能讓擴(kuò)展字段過度侵入核心模型，以免破壞了核心模型的架構(gòu)簡潔性與可維護(hù)性。

公共處理邏輯下沉及單一

底層公用的處理邏輯應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)，不要讓公用的處理邏輯暴露給應(yīng)用層實(shí)現(xiàn)，不要讓公共邏輯在多處同時存在。

成本與性能平衡

適當(dāng)?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復(fù)制。

數(shù)據(jù)可回滾

處理邏輯不變，在不同時間多次運(yùn)行數(shù)據(jù)的結(jié)果需確定不變。

一致性

相同的字段在不同表中的字段名必須相同。

命名清晰可理解

表命名規(guī)范需清晰、一致，表命名需易于下游的理解和使用。

補(bǔ)充說明

• 一個模型無法滿足所有的需求。

• 需合理選擇數(shù)據(jù)模型的建模方式。

• 通常，設(shè)計(jì)順序依次為：概念模型->邏輯模型->物理模型。

所謂的數(shù)據(jù)質(zhì)量

業(yè)務(wù)和管理決定上限，技術(shù)決定下限

背景調(diào)查時在調(diào)查些什么？

【大數(shù)據(jù)技術(shù)與架構(gòu)】2021年大數(shù)據(jù)面試進(jìn)階系列系統(tǒng)總結(jié)