數(shù)據(jù)模型如何論好壞
數(shù)據(jù)模型如何論好壞
|0x00 數(shù)據(jù)模型的選擇
最常見提到的有四種：范式、維度、DataVault、Anchor。在傳統(tǒng)行業(yè)中，范式很流行，在互聯(lián)網(wǎng)行業(yè)中，維度很流行，另外兩種就“只聞其名,不見其人”了。
如果論這四種方法，在設(shè)計(jì)思路上的好壞，那么各有千秋。但如果問，那種模型最為成熟，那么恐怕范式和維度就勝出了，而互聯(lián)網(wǎng)行業(yè)幾乎只能選擇維度建模，因?yàn)樗膶?shí)踐經(jīng)驗(yàn)是最多的。
這就有點(diǎn)像軟件或者框架的比較，Hadoop就一定好嗎？Java就一定優(yōu)于Python嗎？并不是。但Hadoop一定最成熟，Java崗招聘人數(shù)最多。因?yàn)樯鷳B(tài)建立了起來，用的人多了，方法論就成熟了，用起來就順手了。
但是，談數(shù)據(jù)模型前，先要看數(shù)據(jù)架構(gòu)的好壞。
|0x01 數(shù)據(jù)架構(gòu)的評(píng)價(jià)標(biāo)準(zhǔn)
數(shù)據(jù)架構(gòu)，嚴(yán)格意義上，也是一個(gè)系統(tǒng)，只不過是“數(shù)據(jù)系統(tǒng)”。因此，能用在系統(tǒng)上的標(biāo)準(zhǔn)，如響應(yīng)速度、可復(fù)用性、穩(wěn)定性、健壯性等，也可以用在數(shù)據(jù)架構(gòu)的評(píng)價(jià)上。但與應(yīng)用類系統(tǒng)不同的是，數(shù)據(jù)系統(tǒng)面向的是決策，而不是需求，因此響應(yīng)速度、可復(fù)用性就強(qiáng)調(diào)的更多一點(diǎn)。
響應(yīng)速度：數(shù)據(jù)架構(gòu)的主要場景包括：業(yè)務(wù)開發(fā)、數(shù)據(jù)產(chǎn)品、運(yùn)營分析三大類，不論是那種場景，數(shù)據(jù)架構(gòu)均應(yīng)該在盡可能短的時(shí)間內(nèi)響應(yīng)需求； 可復(fù)用性：只有復(fù)用能力上來了，響應(yīng)速度才能提上來，體現(xiàn)在下游依賴、調(diào)用次數(shù)、核心字段覆蓋率等指標(biāo)上； 穩(wěn)定性：除了日常任務(wù)不出問題以外，一旦發(fā)現(xiàn)了問題，能在多短的時(shí)間內(nèi)定位和恢復(fù)問題，就非常重要； 健壯性：除了電商等已經(jīng)耕耘多年的領(lǐng)域外，絕大多數(shù)業(yè)務(wù)模型，都會(huì)快速的變化，如何適應(yīng)這種變化，就非常考驗(yàn)架構(gòu)功底。
|0x02 數(shù)據(jù)模型的評(píng)價(jià)標(biāo)準(zhǔn)
數(shù)據(jù)模型建設(shè)的怎么樣，極度依賴規(guī)范，如果代碼風(fēng)格是“千人前面”，那么恐怕半年下來，業(yè)務(wù)系統(tǒng)就沒法看了。沒有什么比“數(shù)據(jù)系統(tǒng)”更看重“法制”了，規(guī)范體系不僅能保障數(shù)據(jù)建設(shè)的一致性，也能夠應(yīng)對(duì)業(yè)務(wù)交接的情況，更能夠?yàn)樽詣?dòng)化奠定基礎(chǔ)。
業(yè)務(wù)過程清晰：ODS就是原始信息，不修改；DWD面向基礎(chǔ)業(yè)務(wù)過程；DIM描述維度信息；DWS針對(duì)最小場景做指標(biāo)計(jì)算；ADS也要分層，面向跨域的建設(shè)，和面向應(yīng)用的建設(shè)； 指標(biāo)可理解：按照一定業(yè)務(wù)事務(wù)過程進(jìn)行業(yè)務(wù)劃分，明細(xì)層粒度明確、歷史數(shù)據(jù)可獲取，匯總層維度和指標(biāo)同名同義，能客觀反映業(yè)務(wù)不同角度下的量化程度； 核心模型相對(duì)穩(wěn)定：如果業(yè)務(wù)過程運(yùn)行的比較久，過程相對(duì)固定，就要盡快下沉到公共層，形成可復(fù)用的核心模型； 高內(nèi)聚低耦合：各主題內(nèi)數(shù)據(jù)模型要業(yè)務(wù)高內(nèi)聚，避免在一個(gè)模型耦合其他業(yè)務(wù)的指標(biāo)，造成該模型主題不清晰和性價(jià)比低。
| 0xFF 持續(xù)建設(shè)的先進(jìn)性
即便是維度模型，在業(yè)務(wù)高速發(fā)展的今天，也難以適應(yīng)所有的引用場景。例如面向物流、面向財(cái)務(wù)、面向企業(yè)，數(shù)據(jù)解決方案的爭論，一直沒有停息過。維度模型雖然在過去是先進(jìn)性的代表，擁有大量成熟的實(shí)踐方法論和響應(yīng)的工具，但是其核心思想：數(shù)據(jù)域，業(yè)務(wù)過程，粒度，維度，度量，事實(shí)等，隨著業(yè)務(wù)復(fù)雜度的進(jìn)一步提高，實(shí)際的模型設(shè)計(jì)過程已經(jīng)在逐漸淡化這些數(shù)倉概念，大寬表、冗余所代表的的好用思想，也逐漸成為主要的設(shè)計(jì)思路。
所以不光要有方法論的支撐，由先進(jìn)技術(shù)體系支撐的系統(tǒng)產(chǎn)品，也應(yīng)該被逐步的建立起來，甚至是在云計(jì)算普遍成熟之后，下一代的核心產(chǎn)品。
這么看來，數(shù)據(jù)開發(fā)，未來也可能被自動(dòng)化的工具所替代，好可怕... ...
