湖倉(cāng)一體架構(gòu)構(gòu)建與平臺(tái)應(yīng)用實(shí)踐(附件PDF下載)
數(shù)據(jù)倉(cāng)庫(kù)適合存儲(chǔ)結(jié)構(gòu)化的、信息密度高的、經(jīng)過(guò)處理后的數(shù)據(jù)。例如我們通過(guò)大數(shù)據(jù)分析得到的關(guān)聯(lián)信息、畫(huà)像信息等,都可以放在數(shù)據(jù)倉(cāng)庫(kù)中。
“倉(cāng)庫(kù)”一詞也將它的特點(diǎn)表現(xiàn)得清清楚楚。倉(cāng)庫(kù),東西要放在規(guī)整的貨架上,甚至還會(huì)給貨架編號(hào)。這里的數(shù)據(jù)很規(guī)范,用起來(lái)沒(méi)那么靈活。
數(shù)據(jù)湖適合存儲(chǔ)非結(jié)構(gòu)化的、信息密度低的、未經(jīng)清洗的數(shù)據(jù)。例如生產(chǎn)中我們獲取到的日志信息、長(zhǎng)文本信息等都可以直接放到數(shù)據(jù)湖中。
曾經(jīng)有一段時(shí)間,大家對(duì)于大數(shù)據(jù)的存儲(chǔ)形式分裂為了兩派。不斷詢問(wèn)是選擇數(shù)據(jù)湖,還是選擇數(shù)據(jù)倉(cāng)庫(kù)?
選擇數(shù)據(jù)湖,才能擁有數(shù)據(jù)的多樣與靈活,有利于將不同的數(shù)據(jù)組合在一起,發(fā)現(xiàn)新的規(guī)律。選擇數(shù)據(jù)倉(cāng)庫(kù),才能擁有數(shù)據(jù)的規(guī)范與清晰,有利于數(shù)據(jù)的便捷使用,也利于數(shù)據(jù)的長(zhǎng)時(shí)間存儲(chǔ)。
湖倉(cāng)一體,即打通數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖兩套體系,讓數(shù)據(jù)和計(jì)算在湖和倉(cāng)之間自由流動(dòng),從而構(gòu)建一個(gè)完整的有機(jī)的大數(shù)據(jù)技術(shù)生態(tài)體系。這就像是在你的面前放了一個(gè)擺滿了文檔的書(shū)桌(數(shù)據(jù)湖),也放了一個(gè)小書(shū)架(數(shù)據(jù)倉(cāng)庫(kù))。于是兩者的數(shù)據(jù)以隨意獲取,在靈活與規(guī)范之間取得了平衡。









































推薦閱讀:
世界的真實(shí)格局分析,地球人類社會(huì)底層運(yùn)行原理
不是你需要中臺(tái),而是一名合格的架構(gòu)師(附各大廠中臺(tái)建設(shè)PPT)
企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
論數(shù)字化轉(zhuǎn)型——轉(zhuǎn)什么,如何轉(zhuǎn)?
企業(yè)10大管理流程圖,數(shù)字化轉(zhuǎn)型從業(yè)者必備!
【中臺(tái)實(shí)踐】華為大數(shù)據(jù)中臺(tái)架構(gòu)分享.pdf
華為如何實(shí)施數(shù)字化轉(zhuǎn)型(附PPT)
