爱爱网址无码,免费看片A级毛片免费看电影男,北条麻妃中文字幕黄色片子,91香蕉视频在线观看免费,蜜桃视频一区二区在线入口,一级大片在线播放,欧美精品手机在线观看,日本黄色一级片日

點(diǎn)擊上方 "大數(shù)據(jù)肌肉猿"關(guān)注, 星標(biāo)一起成長(zhǎng)

后臺(tái)回復(fù)【加群】，進(jìn)入高質(zhì)量學(xué)習(xí)交流群

2021年大數(shù)據(jù)肌肉猿公眾號(hào)獎(jiǎng)勵(lì)制度

本文將通過(guò)對(duì)數(shù)據(jù)中臺(tái)架構(gòu)的介紹，讓大家了解數(shù)據(jù)中臺(tái)總體架構(gòu)、包含的模塊、模塊之間的關(guān)系以及運(yùn)轉(zhuǎn)機(jī)制。

數(shù)據(jù)中臺(tái)的目標(biāo)是讓數(shù)據(jù)持續(xù)用起來(lái)，通過(guò)數(shù)據(jù)中臺(tái)提供的工具、方法和運(yùn)行機(jī)制，把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，讓數(shù)據(jù)更方便地被業(yè)務(wù)所使用。下圖所示為數(shù)據(jù)中臺(tái)總體架構(gòu)圖，數(shù)據(jù)中臺(tái)是在底層存儲(chǔ)計(jì)算平臺(tái)與上層的數(shù)據(jù)應(yīng)用之間的一整套體系。數(shù)據(jù)中臺(tái)屏蔽掉底層存儲(chǔ)平臺(tái)的計(jì)算技術(shù)復(fù)雜性，降低對(duì)技術(shù)人才的需求，讓數(shù)據(jù)的使用成本更低。通過(guò)數(shù)據(jù)中臺(tái)的數(shù)據(jù)匯聚、數(shù)據(jù)開(kāi)發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過(guò)資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力，服務(wù)于企業(yè)業(yè)務(wù)。數(shù)據(jù)安全體系、數(shù)據(jù)運(yùn)營(yíng)體系保障數(shù)據(jù)中臺(tái)可以長(zhǎng)期健康、持續(xù)運(yùn)轉(zhuǎn)。

數(shù)據(jù)中臺(tái)總體架構(gòu)圖

一、數(shù)據(jù)匯聚

數(shù)據(jù)匯聚是數(shù)據(jù)中臺(tái)數(shù)據(jù)接入的入口。數(shù)據(jù)中臺(tái)本身幾乎不產(chǎn)生數(shù)據(jù)，所有數(shù)據(jù)來(lái)自于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等，這些數(shù)據(jù)分散在不同的網(wǎng)絡(luò)環(huán)境和存儲(chǔ)平臺(tái)中，難以利用，很難產(chǎn)生業(yè)務(wù)價(jià)值。數(shù)據(jù)匯聚是數(shù)據(jù)中臺(tái)必須提供的核心工具，把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)能夠方便地采集到數(shù)據(jù)中臺(tái)進(jìn)行集中存儲(chǔ)，為后續(xù)的加工建模做準(zhǔn)備。數(shù)據(jù)匯聚方式一般有數(shù)據(jù)庫(kù)同步、埋點(diǎn)、網(wǎng)絡(luò)爬蟲(chóng)、消息隊(duì)列等；從匯聚的時(shí)效性來(lái)分，有離線批量匯聚和實(shí)時(shí)采集。

二、數(shù)據(jù)開(kāi)發(fā)

通過(guò)數(shù)據(jù)匯聚模塊匯聚到中臺(tái)的數(shù)據(jù)，沒(méi)有經(jīng)過(guò)什么處理，基本是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起的，這樣業(yè)務(wù)還是很難使用。數(shù)據(jù)開(kāi)發(fā)是一整套數(shù)據(jù)加工以及加工過(guò)程管控的工具，有經(jīng)驗(yàn)的數(shù)據(jù)開(kāi)發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能，可以快速把數(shù)據(jù)加工成對(duì)業(yè)務(wù)有價(jià)值的形式，提供給業(yè)務(wù)使用。數(shù)據(jù)開(kāi)發(fā)模塊主要是面向開(kāi)發(fā)、分析人員，提供離線、實(shí)時(shí)、算法開(kāi)發(fā)工具以及任務(wù)的管理、代碼發(fā)布、運(yùn)維、監(jiān)控、告警等一些列集成工具，方便使用，提升效率。

三、數(shù)據(jù)資產(chǎn)體系

有了數(shù)據(jù)匯聚、數(shù)據(jù)開(kāi)發(fā)模塊，中臺(tái)已經(jīng)具備傳統(tǒng)數(shù)倉(cāng)平臺(tái)的基本能力，可以做數(shù)據(jù)的匯聚以及各種數(shù)據(jù)開(kāi)發(fā)，就可以建立企業(yè)的數(shù)據(jù)資產(chǎn)體系。之前說(shuō)數(shù)據(jù)資產(chǎn)體系是中臺(tái)的血肉，開(kāi)發(fā)、管理、使用的都是數(shù)據(jù)。大數(shù)據(jù)時(shí)代，數(shù)據(jù)量大，增長(zhǎng)快，業(yè)務(wù)對(duì)數(shù)據(jù)的依賴(lài)也會(huì)越來(lái)越高，必須考慮數(shù)據(jù)的一致性和可復(fù)用性，垂直煙囪式的數(shù)據(jù)和數(shù)據(jù)服務(wù)的建設(shè)方式注定不能長(zhǎng)久存在。不同的企業(yè)因業(yè)務(wù)不同導(dǎo)致數(shù)據(jù)不同，數(shù)據(jù)建設(shè)的內(nèi)容也是不同的，但是建設(shè)方法可以相似，數(shù)據(jù)要統(tǒng)一建設(shè)，筆者建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉(cāng)、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)。

四、數(shù)據(jù)資產(chǎn)管理

通過(guò)數(shù)據(jù)資產(chǎn)體系建立起來(lái)的數(shù)據(jù)資產(chǎn)還是一套偏技術(shù)的數(shù)據(jù)體系，業(yè)務(wù)人員比較難理解。資產(chǎn)管理是以企業(yè)全員更好理解的方式，把企業(yè)的數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員（當(dāng)然要考慮權(quán)限和安全管控），數(shù)據(jù)資產(chǎn)管理包括對(duì)數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示，以一種更直觀的方式展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)，提升企業(yè)的數(shù)據(jù)意識(shí)。

五、數(shù)據(jù)服務(wù)體系

前面利用數(shù)據(jù)匯聚、數(shù)據(jù)開(kāi)發(fā)建設(shè)企業(yè)數(shù)據(jù)資產(chǎn)，利用數(shù)據(jù)管理展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)，但是并沒(méi)有發(fā)揮數(shù)據(jù)的價(jià)值。數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，通過(guò)數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù)，激活整個(gè)數(shù)據(jù)中臺(tái)，數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺(tái)存在的價(jià)值所在。企業(yè)的數(shù)據(jù)服務(wù)是千變?nèi)f化的，中臺(tái)產(chǎn)品可以帶有一些標(biāo)準(zhǔn)服務(wù)，但是很難滿(mǎn)足企業(yè)的服務(wù)訴求，大部分服務(wù)還是需要通過(guò)中臺(tái)的能力快速定制。數(shù)據(jù)中臺(tái)的服務(wù)模塊并沒(méi)有自帶很多服務(wù)，而是提供快速的服務(wù)生成能力以及服務(wù)的管控、鑒權(quán)、計(jì)量等功能。

六、運(yùn)營(yíng)體系和安全體系

通過(guò)前面的數(shù)據(jù)匯聚、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)資產(chǎn)、資產(chǎn)管理、數(shù)據(jù)服務(wù)，已經(jīng)完成了整個(gè)數(shù)據(jù)中臺(tái)的搭建和建設(shè)，也已經(jīng)在業(yè)務(wù)中發(fā)揮一定的價(jià)值。運(yùn)營(yíng)體系和安全體系是數(shù)據(jù)中臺(tái)得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)，如果沒(méi)有它們，數(shù)據(jù)中臺(tái)很可能像個(gè)一般項(xiàng)目一樣，一期搭建起平臺(tái)、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個(gè)應(yīng)用場(chǎng)景之后而止步，無(wú)法正常地持續(xù)運(yùn)營(yíng)，不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價(jià)值。這也就完全達(dá)不到建設(shè)數(shù)據(jù)中臺(tái)的目標(biāo)。

作者 | Brian Merchant

譯者 | 譚開(kāi)朗，責(zé)編 | 屠敏

出品 | CSDN（ID：CSDNnews）

--end--


掃描下方二維碼
添加好友，備注【交流】
可私聊交流，也可進(jìn)資源豐富學(xué)習(xí)群

更文不易，點(diǎn)個(gè)“在看”支持一下??

大白話拆解數(shù)據(jù)中臺(tái)架構(gòu)