<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          大白話拆解數(shù)據(jù)中臺(tái)架構(gòu)

          共 1911字,需瀏覽 4分鐘

           ·

          2021-07-18 20:42

          點(diǎn)擊上方 "大數(shù)據(jù)肌肉猿"關(guān)注, 星標(biāo)一起成長(zhǎng)

          后臺(tái)回復(fù)【加群】,進(jìn)入高質(zhì)量學(xué)習(xí)交流群

          2021年大數(shù)據(jù)肌肉猿公眾號(hào)獎(jiǎng)勵(lì)制度

          本文將通過(guò)對(duì)數(shù)據(jù)中臺(tái)架構(gòu)的介紹,讓大家了解數(shù)據(jù)中臺(tái)總體架構(gòu)、包含的模塊、模塊之間的關(guān)系以及運(yùn)轉(zhuǎn)機(jī)制。


          數(shù)據(jù)中臺(tái)的目標(biāo)是讓數(shù)據(jù)持續(xù)用起來(lái),通過(guò)數(shù)據(jù)中臺(tái)提供的工具、方法和運(yùn)行機(jī)制,把數(shù)據(jù)變?yōu)橐环N服務(wù)能力,讓數(shù)據(jù)更方便地被業(yè)務(wù)所使用。下圖所示為數(shù)據(jù)中臺(tái)總體架構(gòu)圖,數(shù)據(jù)中臺(tái)是在底層存儲(chǔ)計(jì)算平臺(tái)與上層的數(shù)據(jù)應(yīng)用之間的一整套體系。數(shù)據(jù)中臺(tái)屏蔽掉底層存儲(chǔ)平臺(tái)的計(jì)算技術(shù)復(fù)雜性,降低對(duì)技術(shù)人才的需求,讓數(shù)據(jù)的使用成本更低。通過(guò)數(shù)據(jù)中臺(tái)的數(shù)據(jù)匯聚、數(shù)據(jù)開(kāi)發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過(guò)資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力,服務(wù)于企業(yè)業(yè)務(wù)。數(shù)據(jù)安全體系、數(shù)據(jù)運(yùn)營(yíng)體系保障數(shù)據(jù)中臺(tái)可以長(zhǎng)期健康、持續(xù)運(yùn)轉(zhuǎn)。 
          數(shù)據(jù)中臺(tái)總體架構(gòu)圖

          一、數(shù)據(jù)匯聚
          數(shù)據(jù)匯聚是數(shù)據(jù)中臺(tái)數(shù)據(jù)接入的入口。數(shù)據(jù)中臺(tái)本身幾乎不產(chǎn)生數(shù)據(jù),所有數(shù)據(jù)來(lái)自于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等,這些數(shù)據(jù)分散在不同的網(wǎng)絡(luò)環(huán)境和存儲(chǔ)平臺(tái)中,難以利用,很難產(chǎn)生業(yè)務(wù)價(jià)值。數(shù)據(jù)匯聚是數(shù)據(jù)中臺(tái)必須提供的核心工具,把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)能夠方便地采集到數(shù)據(jù)中臺(tái)進(jìn)行集中存儲(chǔ),為后續(xù)的加工建模做準(zhǔn)備。數(shù)據(jù)匯聚方式一般有數(shù)據(jù)庫(kù)同步、埋點(diǎn)、網(wǎng)絡(luò)爬蟲(chóng)、消息隊(duì)列等;從匯聚的時(shí)效性來(lái)分,有離線批量匯聚和實(shí)時(shí)采集。

          二、數(shù)據(jù)開(kāi)發(fā)
          通過(guò)數(shù)據(jù)匯聚模塊匯聚到中臺(tái)的數(shù)據(jù),沒(méi)有經(jīng)過(guò)什么處理,基本是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起的,這樣業(yè)務(wù)還是很難使用。數(shù)據(jù)開(kāi)發(fā)是一整套數(shù)據(jù)加工以及加工過(guò)程管控的工具,有經(jīng)驗(yàn)的數(shù)據(jù)開(kāi)發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能,可以快速把數(shù)據(jù)加工成對(duì)業(yè)務(wù)有價(jià)值的形式,提供給業(yè)務(wù)使用。數(shù)據(jù)開(kāi)發(fā)模塊主要是面向開(kāi)發(fā)、分析人員,提供離線、實(shí)時(shí)、算法開(kāi)發(fā)工具以及任務(wù)的管理、代碼發(fā)布、運(yùn)維、監(jiān)控、告警等一些列集成工具,方便使用,提升效率。

          三、數(shù)據(jù)資產(chǎn)體系
          有了數(shù)據(jù)匯聚、數(shù)據(jù)開(kāi)發(fā)模塊,中臺(tái)已經(jīng)具備傳統(tǒng)數(shù)倉(cāng)平臺(tái)的基本能力,可以做數(shù)據(jù)的匯聚以及各種數(shù)據(jù)開(kāi)發(fā),就可以建立企業(yè)的數(shù)據(jù)資產(chǎn)體系。之前說(shuō)數(shù)據(jù)資產(chǎn)體系是中臺(tái)的血肉,開(kāi)發(fā)、管理、使用的都是數(shù)據(jù)。大數(shù)據(jù)時(shí)代,數(shù)據(jù)量大,增長(zhǎng)快,業(yè)務(wù)對(duì)數(shù)據(jù)的依賴(lài)也會(huì)越來(lái)越高,必須考慮數(shù)據(jù)的一致性和可復(fù)用性,垂直煙囪式的數(shù)據(jù)和數(shù)據(jù)服務(wù)的建設(shè)方式注定不能長(zhǎng)久存在。不同的企業(yè)因業(yè)務(wù)不同導(dǎo)致數(shù)據(jù)不同,數(shù)據(jù)建設(shè)的內(nèi)容也是不同的,但是建設(shè)方法可以相似,數(shù)據(jù)要統(tǒng)一建設(shè),筆者建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉(cāng)、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)。

          四、數(shù)據(jù)資產(chǎn)管理
          通過(guò)數(shù)據(jù)資產(chǎn)體系建立起來(lái)的數(shù)據(jù)資產(chǎn)還是一套偏技術(shù)的數(shù)據(jù)體系,業(yè)務(wù)人員比較難理解。資產(chǎn)管理是以企業(yè)全員更好理解的方式,把企業(yè)的數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員(當(dāng)然要考慮權(quán)限和安全管控),數(shù)據(jù)資產(chǎn)管理包括對(duì)數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示,以一種更直觀的方式展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn),提升企業(yè)的數(shù)據(jù)意識(shí)。

          五、數(shù)據(jù)服務(wù)體系
          前面利用數(shù)據(jù)匯聚、數(shù)據(jù)開(kāi)發(fā)建設(shè)企業(yè)數(shù)據(jù)資產(chǎn),利用數(shù)據(jù)管理展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn),但是并沒(méi)有發(fā)揮數(shù)據(jù)的價(jià)值。數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力,通過(guò)數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù),激活整個(gè)數(shù)據(jù)中臺(tái),數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺(tái)存在的價(jià)值所在。企業(yè)的數(shù)據(jù)服務(wù)是千變?nèi)f化的,中臺(tái)產(chǎn)品可以帶有一些標(biāo)準(zhǔn)服務(wù),但是很難滿(mǎn)足企業(yè)的服務(wù)訴求,大部分服務(wù)還是需要通過(guò)中臺(tái)的能力快速定制。數(shù)據(jù)中臺(tái)的服務(wù)模塊并沒(méi)有自帶很多服務(wù),而是提供快速的服務(wù)生成能力以及服務(wù)的管控、鑒權(quán)、計(jì)量等功能。

          六、運(yùn)營(yíng)體系和安全體系
          通過(guò)前面的數(shù)據(jù)匯聚、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)資產(chǎn)、資產(chǎn)管理、數(shù)據(jù)服務(wù),已經(jīng)完成了整個(gè)數(shù)據(jù)中臺(tái)的搭建和建設(shè),也已經(jīng)在業(yè)務(wù)中發(fā)揮一定的價(jià)值。運(yùn)營(yíng)體系和安全體系是數(shù)據(jù)中臺(tái)得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ),如果沒(méi)有它們,數(shù)據(jù)中臺(tái)很可能像個(gè)一般項(xiàng)目一樣,一期搭建起平臺(tái)、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個(gè)應(yīng)用場(chǎng)景之后而止步,無(wú)法正常地持續(xù)運(yùn)營(yíng),不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價(jià)值。這也就完全達(dá)不到建設(shè)數(shù)據(jù)中臺(tái)的目標(biāo)。

          作者 | Brian Merchant

          譯者 | 譚開(kāi)朗,責(zé)編 | 屠敏

          出品 | CSDN(ID:CSDNnews)


          --end--


          掃描下方二維碼
          添加好友,備注【交流
          可私聊交流,也可進(jìn)資源豐富學(xué)習(xí)群


          更文不易,點(diǎn)個(gè)“在看”支持一下??

          瀏覽 70
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  91麻豆视频 | 大香蕉性| 狠狠人妻久久久久久综合99浪潮 | 国产黄色视频在线看 | 欧美日皮片子免费 |