數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)是什么關(guān)系？終于有人講明白了

導(dǎo)讀：本文聊一聊數(shù)據(jù)湖與當(dāng)下熱度非常高的數(shù)據(jù)中臺(tái)之間的關(guān)系。

作者：石秀峰

來(lái)源：談數(shù)據(jù)（ID：learning-bigdata）

01?那些讓人眼花繚亂的概念

不知道大家有沒(méi)有發(fā)現(xiàn)，這幾年的數(shù)據(jù)領(lǐng)域有好多的概念，例如：大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、邊緣計(jì)算、數(shù)據(jù)治理、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)、數(shù)據(jù)可視化……這說(shuō)明數(shù)據(jù)這個(gè)領(lǐng)域真的很“火”，可謂是“百花齊放”！

新技術(shù)、新概念的出現(xiàn)，為企業(yè)業(yè)務(wù)和管理的創(chuàng)新，社會(huì)經(jīng)濟(jì)的發(fā)展，注入新活力，激發(fā)新動(dòng)能。

很多企業(yè)都認(rèn)識(shí)到了數(shù)據(jù)的重要性，數(shù)據(jù)是企業(yè)的重要資產(chǎn)，成為了企業(yè)的普遍共識(shí)。這激活了企業(yè)創(chuàng)新和改革的動(dòng)力，加速了企業(yè)向互聯(lián)網(wǎng)化、數(shù)字化方向的轉(zhuǎn)型，提高了企業(yè)跨行業(yè)、跨領(lǐng)域的學(xué)習(xí)能力，推動(dòng)了整個(gè)社會(huì)的數(shù)字化發(fā)展。

紛至沓來(lái)的新概念在推動(dòng)社會(huì)的數(shù)字化發(fā)展的同時(shí)，給相關(guān)領(lǐng)域的從業(yè)人員帶來(lái)了一定的困惑。一個(gè)新概念還未來(lái)及吸收和消化，新新的概念又來(lái)了。再加上，一些“別有用心”的廠商不遺余力的“忽悠”和“炒作”，導(dǎo)致了很多人的迷茫困惑、心浮氣躁！

有的人一味追求新概念、新技術(shù)而脫離了業(yè)務(wù)、脫離了實(shí)際，認(rèn)為新概念（例如：數(shù)據(jù)中臺(tái)）能夠“包治百病”，一些企業(yè)花費(fèi)很大的成本買(mǎi)來(lái)數(shù)據(jù)中臺(tái)之后才發(fā)現(xiàn)：在人家那兒是治病的良藥，而到了你這里卻成了“埋人的深坑”。所以有人叫苦道：“中臺(tái)搞了2年，項(xiàng)目叫停，CIO被裁！本以為是個(gè)送分題，沒(méi)想到是個(gè)送命題！”

面對(duì)著紛繁蕪雜的新概念，面對(duì)著浩瀚的數(shù)字化海洋，面對(duì)著“廠商們”的炒作，不論是企業(yè)，還是我們這些IT從業(yè)人員，都需要保持好初心，堅(jiān)守初衷。不要看：“人家都數(shù)據(jù)中臺(tái)了，你還在做數(shù)據(jù)報(bào)表，人家都數(shù)據(jù)湖了，你還在搞數(shù)據(jù)倉(cāng)庫(kù)，人家都人工智能了，你還在抽數(shù)、取數(shù)”！

這里說(shuō)明下，我并不是一個(gè)頑固的守舊派，也不是排斥新概念、新技術(shù)。反而，我也非常喜歡研究一些新概念，也非常支持大家對(duì)新的概念、技術(shù)進(jìn)行探索和實(shí)踐。

但要強(qiáng)調(diào)的是，企業(yè)也好，個(gè)人也好，在使用引進(jìn)或使用一個(gè)新概念和新技術(shù)的同時(shí)，不要忘記問(wèn)自己：我們使用它們的初衷是什么？我們的本質(zhì)需求是什么？要用這些新的概念和技術(shù)來(lái)幫我們解決什么問(wèn)題？……

堅(jiān)守初心，不被繁雜的概念所迷惑，才能找到適合企業(yè)或個(gè)人的數(shù)字化轉(zhuǎn)型之路！

02?數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的概念

1. 我們先說(shuō)說(shuō)數(shù)據(jù)湖

數(shù)據(jù)湖(Data Lake)概念最早是2011年由CITO Research網(wǎng)站的CTO和作家Dan Woods所提出，其比喻是：如果我們把數(shù)據(jù)比作大自然的水，那么各個(gè)江川河流的水未經(jīng)加工，源源不斷地匯聚到數(shù)據(jù)湖中。

數(shù)據(jù)湖的權(quán)威定義（來(lái)自維基百科）：

數(shù)據(jù)湖（Data Lake）是一個(gè)以原始格式存儲(chǔ)數(shù)據(jù)的存儲(chǔ)庫(kù)或系統(tǒng)，它按原樣存儲(chǔ)數(shù)據(jù)，而無(wú)需事先對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。一個(gè)數(shù)據(jù)湖可以存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫(kù)中的表），半結(jié)構(gòu)化數(shù)據(jù)（如CSV、日志、XML、JSON），非結(jié)構(gòu)化數(shù)據(jù)（如電子郵件、文檔、PDF）和二進(jìn)制數(shù)據(jù)（如圖形、音頻、視頻）。

數(shù)據(jù)湖概念的提出時(shí)間是僅次于大數(shù)據(jù)，可以說(shuō)是一個(gè)很老的概念了。筆者認(rèn)為數(shù)據(jù)湖本質(zhì)上就是一個(gè)大數(shù)據(jù)平臺(tái)，它隨著大數(shù)據(jù)的技術(shù)不斷完善，目前成熟的數(shù)據(jù)湖體系已具備了大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)處理、機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等等能力。

國(guó)外公司好像對(duì)數(shù)據(jù)湖情有獨(dú)鐘，像亞馬遜的AWS、Informatica、IBM、微軟等公司都有數(shù)據(jù)湖的相關(guān)產(chǎn)品和解決方案。而在國(guó)內(nèi)，數(shù)據(jù)湖到底是個(gè)啥？他有啥用？時(shí)至今日依然存在著不少的爭(zhēng)議。

正如來(lái)自網(wǎng)友 @流風(fēng)（網(wǎng)名）的疑問(wèn)：

絕大部分企業(yè)的需求數(shù)據(jù)倉(cāng)庫(kù)基本都能滿足了，只有少部分企業(yè)才能用到數(shù)據(jù)湖或大數(shù)據(jù)平臺(tái)，好多企業(yè)都被忽悠上了大數(shù)據(jù)平臺(tái)，光有個(gè)架子，卻不知道能用來(lái)干嘛。對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理，大多數(shù)企業(yè)本身除了數(shù)據(jù)存儲(chǔ)之外，幾乎不知道該怎么用。甚至大多數(shù)據(jù)企業(yè)連結(jié)構(gòu)化數(shù)據(jù)都還處理不好，數(shù)據(jù)意識(shí)還停留在起步階段。

@流風(fēng)（網(wǎng)名）所說(shuō)的是事實(shí)，也是目前的普遍現(xiàn)象。但在筆者看來(lái)：一項(xiàng)新技術(shù)，一個(gè)新事物從誕生到發(fā)展到普及，是需要一個(gè)由“基礎(chǔ)認(rèn)知---知識(shí)學(xué)習(xí)---能力建設(shè)---探索應(yīng)用---成熟應(yīng)用”的過(guò)程。

在這個(gè)過(guò)程中，各企業(yè)的發(fā)展水平一定是參差不齊的，沒(méi)有那兩家企業(yè)的現(xiàn)狀、需求、目標(biāo)、數(shù)據(jù)是完全相同的，所以不同企業(yè)對(duì)數(shù)據(jù)的意識(shí)程度不相同、技術(shù)能力不一樣、應(yīng)用水平差異大也是正常的。

2. 我們?cè)僬f(shuō)數(shù)據(jù)中臺(tái)

對(duì)于數(shù)據(jù)中臺(tái)，筆者閱讀了很多大咖的文章，查閱了很多資料，也沒(méi)有找到關(guān)于數(shù)據(jù)中臺(tái)的標(biāo)準(zhǔn)定義。事實(shí)上也確實(shí)如此，數(shù)據(jù)中臺(tái)是具有“中國(guó)特色”的一個(gè)概念，在國(guó)外并沒(méi)有太多的人談數(shù)據(jù)中臺(tái)。而我們中國(guó)人創(chuàng)造的數(shù)據(jù)中臺(tái)概念，目前還未形成一個(gè)統(tǒng)一的認(rèn)知和基于共識(shí)的標(biāo)準(zhǔn)定義。

中臺(tái)概念的鼻祖——阿里巴巴的數(shù)據(jù)產(chǎn)品部總經(jīng)理朋新宇表示：

數(shù)據(jù)中臺(tái)是數(shù)據(jù)+技術(shù)+產(chǎn)品+組織的組合，是企業(yè)開(kāi)展新型運(yùn)營(yíng)的一個(gè)中樞系統(tǒng)。具象的說(shuō)，它是一套解決方案，抽象的理解，它是一種新的公司運(yùn)營(yíng)理念。

數(shù)瀾科技CDO付登坡表示：

數(shù)據(jù)中臺(tái)是讓數(shù)據(jù)用起來(lái)持續(xù)的一套機(jī)制，經(jīng)過(guò)業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)服務(wù)化，并在有權(quán)限管理的情況下以 API 的方式開(kāi)放出去 。

袋鼠云CEO 拖雷認(rèn)為：

數(shù)據(jù)中臺(tái)可以理解為企業(yè)的最核心的數(shù)據(jù)大腦……是一種理念，一種思維，是一種面向未來(lái)的架構(gòu)。

袋鼠云將其總結(jié)為“5+1”模式，5是建設(shè)數(shù)據(jù)中臺(tái)的五步法，即：咨詢、規(guī)劃、建設(shè)、應(yīng)用、運(yùn)營(yíng)，1是是指一個(gè)大數(shù)據(jù)平臺(tái)，提供大數(shù)據(jù)的處理、計(jì)算、分析、應(yīng)用。

云徙首席架構(gòu)師陳新宇表示：

數(shù)據(jù)中臺(tái)與業(yè)務(wù)中臺(tái)的一體化，其核心作用便是業(yè)務(wù)中臺(tái)天然打通、統(tǒng)一了各個(gè)渠道的數(shù)據(jù)，所有數(shù)據(jù)都是高質(zhì)量的，而這些數(shù)據(jù)通過(guò)分析能夠反哺到業(yè)務(wù)本身，業(yè)務(wù)本身又將數(shù)據(jù)留給數(shù)據(jù)平臺(tái)，從而形成良好的正向反饋。

網(wǎng)易嚴(yán)選的魏文慶給出了網(wǎng)易嚴(yán)選對(duì)數(shù)據(jù)中臺(tái)的定義：

“數(shù)據(jù)中臺(tái)是高質(zhì)量、高效賦能數(shù)據(jù)前臺(tái)的一系列數(shù)據(jù)系統(tǒng)和數(shù)據(jù)服務(wù)的組合”，無(wú)論是數(shù)據(jù)中臺(tái)、業(yè)務(wù)總臺(tái)、技術(shù)中臺(tái)，核心都是“標(biāo)準(zhǔn)化”，實(shí)現(xiàn)流程都是先“規(guī)范化”，然后把規(guī)范“產(chǎn)品化工具化”。

百分點(diǎn)程佳表示：

數(shù)據(jù)中臺(tái)是一個(gè)集數(shù)據(jù)采集、融合、治理、組織管理、智能分析為一體，持續(xù)促進(jìn)業(yè)務(wù)創(chuàng)新為目標(biāo)的整體平臺(tái)。

我們看到這么多企業(yè)都試圖給數(shù)據(jù)中臺(tái)下一個(gè)標(biāo)準(zhǔn)的定義，盡管各家的說(shuō)法都略有差異，并不相同，但卻也有異曲同工之妙！那么，數(shù)據(jù)湖與數(shù)據(jù)中臺(tái)到底有什么關(guān)系？我們不妨先看一看業(yè)界典型的數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)架構(gòu)。

03?典型的數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)架構(gòu)

1. 亞馬遜AWS數(shù)據(jù)湖

亞馬遜AWS的張俠看來(lái)：

數(shù)據(jù)湖是一個(gè)中心數(shù)據(jù)存儲(chǔ)的容器，這個(gè)容器可以存儲(chǔ)格式化、非格式化的各種各樣的數(shù)據(jù)；這些數(shù)據(jù)非常容易被快速縮放、有各種方法和工具對(duì)這些數(shù)據(jù)進(jìn)行查詢、可以做各種各樣的分析。

如下圖所示，AWS數(shù)據(jù)湖提供了大量的數(shù)據(jù)處理組件，支持把數(shù)據(jù)按需要移動(dòng)、加載到不同地方；然后把數(shù)據(jù)清理好，建成數(shù)據(jù)目錄。這些數(shù)據(jù)要安全的、合規(guī)的存好、管好，需要的時(shí)候使用工具把這些數(shù)據(jù)拿出來(lái)做各種分析。

▲AWS數(shù)據(jù)湖架構(gòu)

2. 微軟Azure數(shù)據(jù)湖

Azure數(shù)據(jù)湖是在微軟內(nèi)部的大數(shù)據(jù)平臺(tái)Cosmos的技術(shù)和經(jīng)驗(yàn)教訓(xùn)基礎(chǔ)上構(gòu)建的。Cosmos用來(lái)處理應(yīng)用程序比如Azure， AdCenter， Bing，MSN, Skype和Windows Live的數(shù)據(jù)。Cosmos有一個(gè)像SQL一樣的查詢引擎叫做SCOPE，U-SQL是在其上構(gòu)建的。

Azure數(shù)據(jù)湖包括Azure Datalake Store和Azure Datalake Analytics。前者是存儲(chǔ)，有API提供。后者是分析平臺(tái)。它的分析平臺(tái)支持Hadoop的那一套，也支持一個(gè)全新的U-SQL。

如果你想要同時(shí)讀取在Datalake里面的數(shù)據(jù)和Datalake外面的數(shù)據(jù)做分析的話，那就只有U-SQL可以選了。由于U-SQL和Hadoop生態(tài)圈不兼容，而且是基于沒(méi)有多少人愿意學(xué)習(xí)的C#語(yǔ)言的，這導(dǎo)致了Azure數(shù)據(jù)湖賣(mài)的并不好。也有內(nèi)部人傳由于各種原因，Azure數(shù)據(jù)湖幾乎要涼涼了。

▲微軟Azure數(shù)據(jù)湖

3. 阿里系數(shù)據(jù)中臺(tái)

作為“中臺(tái)”的開(kāi)山鼻祖——阿里巴巴的數(shù)據(jù)中臺(tái)全景圖如下圖所示：

阿里巴巴數(shù)據(jù)中臺(tái)核心內(nèi)核是OneData體系，即數(shù)據(jù)中臺(tái)構(gòu)建的方法論體系總稱，包括數(shù)據(jù)構(gòu)建管理的OneModel，實(shí)現(xiàn)數(shù)據(jù)融通連接的OneID，再到提供統(tǒng)一數(shù)據(jù)服務(wù)的One Service，貫穿于整個(gè)數(shù)據(jù)研發(fā)流程中并且通過(guò)工具實(shí)施落地，幫助企業(yè)高效建設(shè)及管理數(shù)據(jù)。

▲阿里巴巴數(shù)據(jù)中臺(tái)

實(shí)際上阿里的數(shù)據(jù)中臺(tái)并不是一套產(chǎn)品，而是阿里的數(shù)據(jù)中臺(tái)方法論體系+生態(tài)產(chǎn)品。這里所謂的數(shù)據(jù)中臺(tái)生態(tài)產(chǎn)品，就是帶著明顯的阿里基因的數(shù)據(jù)中臺(tái)產(chǎn)品或解決方案，例如：數(shù)瀾科技、袋鼠云、奇點(diǎn)云、云徙等創(chuàng)業(yè)公司都屬于阿里生態(tài)，他們很多公司的核心成員甚至創(chuàng)始人都是從阿里巴巴出來(lái)的，所以帶著阿里基因也很正常。

阿里基因是什么？筆者認(rèn)為的阿里基因即做電商或者說(shuō)2C業(yè)務(wù)的商業(yè)化思維。由于這篇文章重點(diǎn)在寫(xiě)數(shù)據(jù)湖與數(shù)據(jù)中臺(tái)的關(guān)系，就不對(duì)阿里基因和阿里系數(shù)據(jù)中臺(tái)做過(guò)多介紹了。其實(shí)，通過(guò)以下各公司的數(shù)據(jù)中臺(tái)架構(gòu)，你就可以窺探一二了。

▲圖片來(lái)自數(shù)瀾科技

▲圖片來(lái)自袋鼠云

▲圖片來(lái)自奇點(diǎn)云

▲圖片來(lái)自云徙

04?數(shù)據(jù)湖與數(shù)據(jù)中臺(tái)的關(guān)系

看過(guò)了各大廠的數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的介，我們回過(guò)頭來(lái)再來(lái)看數(shù)據(jù)湖與數(shù)據(jù)中臺(tái)的關(guān)系。

大數(shù)據(jù)時(shí)代，數(shù)據(jù)量越來(lái)越多，數(shù)據(jù)形式日益復(fù)雜，而以數(shù)據(jù)倉(cāng)庫(kù)為代表的、現(xiàn)有的數(shù)據(jù)存儲(chǔ)和處理技術(shù)無(wú)法滿足海量、多樣的數(shù)據(jù)處理需求的背景下產(chǎn)生的。“數(shù)據(jù)湖”是將復(fù)雜的事物具象化，偏技術(shù)一些，以一個(gè)形象的名字，反應(yīng)了它在大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)處理方面的優(yōu)勢(shì)和能力。

數(shù)據(jù)湖作為一個(gè)集中的存儲(chǔ)庫(kù)，可以在其中存儲(chǔ)任何形式（結(jié)構(gòu)化和非結(jié)構(gòu)化）、任意規(guī)模的數(shù)據(jù)。在數(shù)據(jù)湖中，可以不對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，只有在使用數(shù)據(jù)的時(shí)候，再利用數(shù)據(jù)湖強(qiáng)大的大數(shù)據(jù)查詢、處理、分析等組件對(duì)數(shù)據(jù)進(jìn)行處理和應(yīng)用。因此，數(shù)據(jù)湖具備運(yùn)行不同類(lèi)型數(shù)據(jù)分析的能力。

數(shù)據(jù)中臺(tái)從技術(shù)的層面承接了數(shù)據(jù)湖的技術(shù)，通過(guò)數(shù)據(jù)技術(shù)，對(duì)海量、多源、多樣的數(shù)據(jù)進(jìn)行采集、處理、存儲(chǔ)、計(jì)算，同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑，把數(shù)據(jù)統(tǒng)一之后，以標(biāo)準(zhǔn)形式存儲(chǔ)，形成大數(shù)據(jù)資產(chǎn)層，以滿足前臺(tái)數(shù)據(jù)分析和應(yīng)用的需求。

數(shù)據(jù)中臺(tái)更強(qiáng)調(diào)應(yīng)用，離業(yè)務(wù)更近，強(qiáng)調(diào)服務(wù)于前臺(tái)的能力，實(shí)現(xiàn)邏輯、算法、標(biāo)簽、模型、數(shù)據(jù)資產(chǎn)的沉淀和復(fù)用，能更快速的相應(yīng)業(yè)務(wù)和應(yīng)用開(kāi)發(fā)的需求，可追溯，更精準(zhǔn)。

05 數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)那家強(qiáng)？

我們都數(shù)據(jù)中臺(tái)了，為什么老外還在數(shù)據(jù)湖？

在近代史上，由于歐美國(guó)家的工業(yè)起步早，所以在科技領(lǐng)域我們的創(chuàng)新能力（從0到1的能力）一直不如一些歐美國(guó)家，但是中國(guó)人的應(yīng)用能力非常強(qiáng)，更注重商業(yè)和管理的創(chuàng)新（商業(yè)模式的各種玩法和創(chuàng)新），中國(guó)人始終要比老外玩的溜，也就是說(shuō)我們從1到100的能力是極強(qiáng)的。

因此，更強(qiáng)調(diào)業(yè)務(wù)和應(yīng)用的“數(shù)據(jù)中臺(tái)”在國(guó)內(nèi)以迅雷不及掩耳之勢(shì)，迅速成為了國(guó)內(nèi)IT界的“頭牌網(wǎng)紅”。

隨著以大數(shù)據(jù)、云計(jì)算、人工智能等新技術(shù)為主要特征的第四次工業(yè)革命的到來(lái)，中國(guó)大數(shù)據(jù)戰(zhàn)略的布局和“新基建”的發(fā)展，我相信，在這場(chǎng)數(shù)字化的變革中，我們的技術(shù)創(chuàng)新能力也一定會(huì)追上甚至超越歐美的！

最后，再回答網(wǎng)友的一個(gè)問(wèn)題：數(shù)據(jù)湖與數(shù)據(jù)中臺(tái)哪家強(qiáng)？

在筆者來(lái)看，不論是數(shù)據(jù)湖還是數(shù)據(jù)中臺(tái)，都是“千人千面”的，不同的人理解不同，數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)也沒(méi)有孰弱孰強(qiáng)之說(shuō)。

對(duì)企業(yè)而言，不為眼花繚亂的“概念”所迷惑，一切要從實(shí)際需求出發(fā)，不能人云亦云，盲目跟風(fēng)，也不能墨守成規(guī)、固步自封。企業(yè)數(shù)據(jù)項(xiàng)目的建設(shè)還是應(yīng)當(dāng)從企業(yè)的業(yè)務(wù)需求出發(fā)構(gòu)建與企業(yè)相匹配的一套數(shù)據(jù)管理和使用流程，以及與之需求相匹配的數(shù)據(jù)平臺(tái)和工具。

劃重點(diǎn)?

干貨直達(dá)?

• 西安交大送大一新生這本書(shū)，你讀過(guò)嗎？12本有趣有料的科普書(shū)盤(pán)點(diǎn)
  

• 終于有人把AI、BI、大數(shù)據(jù)、數(shù)據(jù)科學(xué)講明白了
  

• 監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)都是什么？終于有人講明白了
  

• 一條SQL引發(fā)的“血案”：與SQL優(yōu)化相關(guān)的4個(gè)案例

更多精彩?

在公眾號(hào)對(duì)話框輸入以下關(guān)鍵詞

查看更多優(yōu)質(zhì)內(nèi)容！

PPT?|?讀書(shū)?|?書(shū)單?|?硬核?|?干貨?|?講明白?|?神操作

大數(shù)據(jù)?|?云計(jì)算?|?數(shù)據(jù)庫(kù)?|?Python?|?可視化

AI?|?人工智能?|?機(jī)器學(xué)習(xí)?|?深度學(xué)習(xí)?|?NLP

5G?|?中臺(tái)?|?用戶畫(huà)像?|?1024?|?數(shù)學(xué)?|?算法?|?數(shù)字孿生

據(jù)統(tǒng)計(jì)，99%的大咖都完成了這個(gè)神操作

?