數(shù)倉(cāng)建模—數(shù)據(jù)集成
數(shù)據(jù)倉(cāng)庫(kù)系列文章(持續(xù)更新)
數(shù)倉(cāng)架構(gòu)發(fā)展史 數(shù)倉(cāng)建模方法論 數(shù)倉(cāng)建模分層理論 數(shù)倉(cāng)建模—寬表的設(shè)計(jì) 數(shù)倉(cāng)建模—指標(biāo)體系 數(shù)據(jù)倉(cāng)庫(kù)之拉鏈表 數(shù)倉(cāng)—數(shù)據(jù)集成 數(shù)倉(cāng)—數(shù)據(jù)集市 數(shù)倉(cāng)—商業(yè)智能系統(tǒng) 數(shù)倉(cāng)—埋點(diǎn)設(shè)計(jì)與管理 數(shù)倉(cāng)—ID Mapping 數(shù)倉(cāng)—OneID 數(shù)倉(cāng)—AARRR海盜模型 數(shù)倉(cāng)—總線矩陣 數(shù)倉(cāng)—數(shù)據(jù)安全 數(shù)倉(cāng)—數(shù)據(jù)質(zhì)量 數(shù)倉(cāng)—數(shù)倉(cāng)建模和業(yè)務(wù)建模
數(shù)據(jù)集市(DM)
這里我們先回憶一下數(shù)據(jù)倉(cāng)庫(kù)的定義， 數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse) 是一個(gè)面向主題的(Subject Oriented) 、集成的( Integrate ) 、相對(duì)穩(wěn)定的(Non -Volatile ) 、反映歷史變化( Time Variant) 的數(shù)據(jù)集合用于支持管理決策。更多關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的可以參考數(shù)倉(cāng)架構(gòu)發(fā)展史,而且前面我們也介紹了大量關(guān)于數(shù)倉(cāng)建模這一塊的內(nèi)容，具體可以參考我們的專(zhuān)欄數(shù)倉(cāng)建模方法論。
今天我們介紹一個(gè)在數(shù)倉(cāng)中非常常見(jiàn)的概念——數(shù)據(jù)集市，數(shù)倉(cāng)定義中的五個(gè)特性都值得一一仔細(xì)品味，隨著你對(duì)數(shù)倉(cāng)的理解加深，你對(duì)這個(gè)五個(gè)特性的理解也會(huì)更加全面。
首先數(shù)據(jù)倉(cāng)庫(kù)用于支持決策,面向分析型數(shù)據(jù)處理,它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫(kù);其次,數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組,并包含歷史數(shù)據(jù)并且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。
什么是數(shù)據(jù)集市(DM)
這里有一個(gè)詞是主題，那就是我們集成后的數(shù)據(jù)，又按照了主題進(jìn)行了劃分，而面向主題劃分出來(lái)的部分就是數(shù)據(jù)集市，也就是說(shuō)數(shù)據(jù)集市是數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子集或者說(shuō)是集成后的子集。
數(shù)據(jù)集市通常是面向部門(mén)的或者是部門(mén)級(jí)業(yè)務(wù)，或者是面向部門(mén)的主題的，舉個(gè)例子例如在金融領(lǐng)域可能會(huì)有結(jié)算部門(mén)的數(shù)據(jù)集市、風(fēng)控部部門(mén)數(shù)據(jù)集市、市場(chǎng)部門(mén)的數(shù)據(jù)集市、運(yùn)營(yíng)部門(mén)的數(shù)據(jù)集市，這里的特點(diǎn)就是面向部門(mén)的，但是對(duì)于有的部門(mén)它的組織結(jié)構(gòu)可能比較大，所以它所負(fù)責(zé)的業(yè)務(wù)線也有多個(gè)，這個(gè)時(shí)候就會(huì)出現(xiàn)，數(shù)據(jù)集市是面向部門(mén)的子業(yè)務(wù)，總之一句話，數(shù)據(jù)集市是面向主題的，一般公司的主題就是部門(mén)或者業(yè)務(wù)線。
這里還有一點(diǎn)要強(qiáng)調(diào)數(shù)據(jù)集市是作為我們數(shù)倉(cāng)的一層，對(duì)外提供數(shù)據(jù)服務(wù)，當(dāng)然提供服務(wù)的方式是有很多種的，但是最終我們是將數(shù)據(jù)集市層的數(shù)據(jù)提供出去的，也就是說(shuō)這一層是面向用戶的。
為什么要有數(shù)據(jù)集市
上面了解了什么是數(shù)據(jù)集市，接下來(lái)我們就看看一下為什么要有數(shù)據(jù)集市，開(kāi)始之前我們線回顧一下前面的數(shù)倉(cāng)建模分層理論,我們知道了數(shù)倉(cāng)最簡(jiǎn)單的就是ODS+DM，但為什么我們還要分層，在文章中我們解釋了分層的意義是什么，如果你忘記了可以看一下前面的文章。
這里我們知道了數(shù)據(jù)集市是數(shù)據(jù)倉(cāng)庫(kù)的子集，我們可以把分層看作是橫向切分，那么數(shù)據(jù)集市就是豎向切分，
所以我們可以得出一個(gè)結(jié)論那就是數(shù)據(jù)集市的劃分也是為了更好的管理數(shù)倉(cāng)和提高生產(chǎn)效率，但是這個(gè)還是有點(diǎn)抽象，下面我們?cè)儆懻撘幌聻槭裁匆鰯?shù)據(jù)集市層。
靈活性
這里我們把數(shù)據(jù)集成也引入進(jìn)來(lái)，從宏觀上看一下從數(shù)據(jù)源到數(shù)據(jù)服務(wù)，整個(gè)數(shù)倉(cāng)的存在形式是怎樣的，當(dāng)然這里我們是一個(gè)簡(jiǎn)化的圖，我們主要反映出問(wèn)題就行了。
上面就是我們當(dāng)前的數(shù)倉(cāng)形態(tài)，這下我們解釋一下我們?yōu)槭裁匆鰯?shù)據(jù)集市層，數(shù)據(jù)集市層雖然是一個(gè)層，但是這層里有多個(gè)集市，每個(gè)集市面向不同的業(yè)務(wù)線或者是業(yè)務(wù)部門(mén)，那我們?yōu)槭裁匆@么做呢，說(shuō)白了就是為解耦，解耦的目的是為了增加靈活性。
如果沒(méi)有數(shù)據(jù)集市層，那么我們的數(shù)倉(cāng)就要面向眾多的業(yè)務(wù)部門(mén)，但是由于每個(gè)業(yè)務(wù)部門(mén)的數(shù)據(jù)需求或者所關(guān)心的數(shù)據(jù)是不一樣的，這就會(huì)導(dǎo)致我們的數(shù)倉(cāng)建設(shè)失去核心，就會(huì)出現(xiàn)我們?yōu)榱藵M足某一個(gè)部門(mén)而違背了我們數(shù)倉(cāng)的建設(shè)原則的現(xiàn)象出現(xiàn)，所以我們?cè)黾恿藬?shù)據(jù)集市層，也就是每個(gè)部門(mén)的個(gè)性化需求在這里體現(xiàn)。
其實(shí)如果你學(xué)習(xí)過(guò)設(shè)計(jì)模式或者是Java 的話，其實(shí)很容易立即，這有點(diǎn)類(lèi)似抽象類(lèi)Service 和 實(shí)現(xiàn)類(lèi) ServiceImpl.
數(shù)據(jù)集市有什么特點(diǎn)
如果你仔細(xì)學(xué)習(xí)了前面的內(nèi)容的話，你肯定可以理解下面的幾個(gè)特點(diǎn)這里我就不一一解釋?zhuān)疫@些特點(diǎn)也是我總結(jié)出來(lái)的，你也可有對(duì)其進(jìn)行擴(kuò)展。
規(guī)模小
數(shù)據(jù)倉(cāng)庫(kù)是面向企業(yè)的，數(shù)據(jù)集市是面向部門(mén)或者特定業(yè)務(wù)的
面向主題
數(shù)據(jù)集市是面向部門(mén)或者特定業(yè)務(wù)的
直接面向用戶
數(shù)據(jù)集市是面向部門(mén)或者特定業(yè)務(wù)的
個(gè)性化高
數(shù)據(jù)集市是面向部門(mén)或者特定業(yè)務(wù)的，所以就會(huì)出現(xiàn)靈活多變的特點(diǎn)，而且也會(huì)出現(xiàn)流程上更簡(jiǎn)單快速，規(guī)范上要求不嚴(yán)格，使用上要盡量簡(jiǎn)單。其實(shí)這會(huì)反映到我們的表上
就是我們集市層的表一般都是關(guān)聯(lián)好之后的表，使用的時(shí)候基本不需要關(guān)聯(lián)，主要是為了使用方便性能高，其實(shí)可以看到我們集市層的表機(jī)會(huì)都是數(shù)倉(cāng)建模—寬表的設(shè)計(jì) 還有就是我們集市層的表一般都是冗余了一些相關(guān)的字段，主要是為了應(yīng)對(duì)也無(wú)妨多變的請(qǐng)求，舉個(gè)例子業(yè)務(wù)方想看每個(gè)人今年的總消費(fèi)，我可能會(huì)把最大值和平均值都會(huì)計(jì)算出來(lái)。
滿足需求為第一優(yōu)先級(jí)
尤其在一起初創(chuàng)企業(yè)，數(shù)倉(cāng)建設(shè)跟不上的時(shí)候，為了盡快完成需求我們就會(huì)直接從ods層建設(shè)DM，從而可以對(duì)外提供數(shù)據(jù)。
如何建立數(shù)據(jù)集市
數(shù)據(jù)倉(cāng)庫(kù)（集市）的設(shè)計(jì)可以采用迭代式的方法，也就是說(shuō)我們可以根據(jù)我們的適用方不斷的去迭代我們的數(shù)據(jù)集市，而且也沒(méi)有任何數(shù)據(jù)集市是可以一次性建成的。
理論上講，應(yīng)該有一個(gè)總的數(shù)據(jù)倉(cāng)庫(kù)的概念，然后才有數(shù)據(jù)集市，但是我們實(shí)際的做法是先確定了數(shù)據(jù)集市以及我們的服務(wù)對(duì)象之后，然后才開(kāi)始開(kāi)始建立數(shù)據(jù)倉(cāng)庫(kù)最后才是數(shù)據(jù)集市，也就是我們首先設(shè)計(jì)的是數(shù)據(jù)集市，但是我們建立的時(shí)候卻是首先建立的是數(shù)據(jù)倉(cāng)庫(kù)。
總結(jié)
數(shù)據(jù)集市就是數(shù)據(jù)倉(cāng)庫(kù)面向某個(gè)主題的子集,它作為數(shù)倉(cāng)面向用戶的一層存在，提供數(shù)據(jù)服務(wù)。
據(jù)集市往往作為數(shù)據(jù)倉(cāng)庫(kù)之上的一個(gè)面向分析應(yīng)用或者是數(shù)倉(cāng)里面向用戶的一層，也就是說(shuō)沒(méi)有這一層的話，我們的倉(cāng)庫(kù)就要面向用戶了，我們可以將其視作代理，因?yàn)檫@一層要面向用戶，所以它就有多變和不規(guī)范的特性，但是為了保證數(shù)倉(cāng)整體建設(shè)的合理性和規(guī)范性，所以我們?cè)跀?shù)倉(cāng)上加了這一層。
雖然集市層是面向用戶的，但是由于面向的用戶群體不同，所以又根據(jù)用戶群體的特點(diǎn)，將集市層進(jìn)行了縱向切分，切分成了一個(gè)個(gè)不同的集市。
數(shù)據(jù)倉(cāng)庫(kù)是面向企業(yè)的，數(shù)據(jù)集市是面向部門(mén)或者特定業(yè)務(wù)的，你可以將其看作一個(gè)小型的數(shù)據(jù)倉(cāng)庫(kù)，其實(shí)這里牽扯出了早期數(shù)據(jù)倉(cāng)庫(kù)的一種存在形體，那就是每個(gè)部門(mén)有自己的數(shù)據(jù)倉(cāng)庫(kù)，而不是統(tǒng)一建設(shè)的數(shù)據(jù)倉(cāng)庫(kù)。
知識(shí)星球
其實(shí)知識(shí)星球我以前就建立了，當(dāng)時(shí)覺(jué)得自己沒(méi)有那么多的精力維護(hù)，不能很好的幫助有需要的同學(xué)們，所以一直沒(méi)有開(kāi)放。最近很多同學(xué)私聊我學(xué)習(xí)路線，個(gè)人精力也是有限，并不能及時(shí)解答所有同學(xué)的問(wèn)題。
通過(guò)調(diào)查，大部分同學(xué)表示愿意加入知識(shí)星球，我也覺(jué)得這樣讓大家的提問(wèn)更加有層次和意義，而不是問(wèn)一些比較膚淺和不太合適的問(wèn)題，有問(wèn)題也能自己先查詢一下，這樣更好的交流和解答疑問(wèn)，提升時(shí)間利用率。
這里生成了50張5折優(yōu)惠券，先到先得，領(lǐng)完為止（星球人數(shù)每增加50人，價(jià)格上漲10元）。