談?wù)勅绾慰缭綌?shù)據(jù)架構(gòu)的漩渦

如果讓當(dāng)前數(shù)據(jù)工程領(lǐng)域的人繪制一個“現(xiàn)代”數(shù)據(jù)架構(gòu)，幾乎肯定會得到如下結(jié)果：

這樣的數(shù)據(jù)架構(gòu)格局反映了基于系統(tǒng)的架構(gòu)設(shè)計方法。這種基于系統(tǒng)的架構(gòu)有何現(xiàn)代感？它已經(jīng)存在了將近 10 年，并且沒有太大變化。該架構(gòu)由三個主要組件組成：數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)集市（或服務(wù)層）。

首先是數(shù)據(jù)倉庫。之所以需要擁有獨(dú)立的數(shù)據(jù)集市和數(shù)據(jù)湖，是因為那些傳統(tǒng)的數(shù)據(jù)倉庫無法擴(kuò)展以滿足置于其上的不同的、相互競爭的應(yīng)用場景。數(shù)據(jù)集市的出現(xiàn)是因為中央數(shù)據(jù)倉庫無法擴(kuò)展以滿足最終用戶的不同應(yīng)用和高并發(fā)需求。然后是數(shù)據(jù)湖，因為企業(yè)數(shù)據(jù)倉庫無法存儲和處理大數(shù)據(jù)（在數(shù)量、種類和速度方面）。

創(chuàng)建數(shù)據(jù)湖和數(shù)據(jù)集市是為了滿足當(dāng)時數(shù)據(jù)工程領(lǐng)域的實際需求。即使在今天，數(shù)據(jù)倉庫仍然無法支持企業(yè)的所有不同應(yīng)用。即使對于較新的云數(shù)據(jù)倉庫也是如此。這些不同的數(shù)據(jù)系統(tǒng)導(dǎo)致了孤立的數(shù)據(jù)，這對于企業(yè)從中獲取商業(yè)價值和安全治理具有非常大的挑戰(zhàn)。

用不同的方式思考數(shù)據(jù)

為了優(yōu)化數(shù)據(jù)架構(gòu)，我們需要停止根據(jù)現(xiàn)有類型的系統(tǒng)來思考數(shù)據(jù)，例如遺留數(shù)據(jù)倉庫、數(shù)據(jù)集市和數(shù)據(jù)湖。這樣做沒有幫助，而且會在企業(yè)數(shù)據(jù)環(huán)境中引入人為的邊界。

以下是關(guān)于如何以不同方式思考數(shù)據(jù)的建議。在較高級別，可以將所有企業(yè)數(shù)據(jù)分組到以下邏輯數(shù)據(jù)區(qū)域：

因此，讓我們開始按照這樣的區(qū)域而不是系統(tǒng)來考慮數(shù)據(jù)。舊的基于系統(tǒng)的思維將繼續(xù)讓數(shù)據(jù)工程專業(yè)人員陷入舊的做事方式，并將繼續(xù)分裂數(shù)據(jù)格局。采用新的思維模式，無需將數(shù)據(jù)區(qū)域劃分為不同的孤立數(shù)據(jù)系統(tǒng)，例如：

當(dāng)像單一平臺可以打破這些孤島時，為什么還要用以前的思路思考呢？我們不應(yīng)考慮系統(tǒng)問題，而應(yīng)考慮為所有企業(yè)數(shù)據(jù)建立一個單一平臺，例如

構(gòu)建企業(yè)統(tǒng)一的數(shù)據(jù)平臺

我們通常使用多個名稱來標(biāo)識數(shù)據(jù)的位置和使用方式，包括操作數(shù)據(jù)存儲 (ODS)、企業(yè)信息工廠 (CIF)、數(shù)據(jù)倉庫、數(shù)據(jù)集市等等。每個術(shù)語代表在企業(yè)內(nèi)對數(shù)據(jù)進(jìn)行分組的不同方式。但不幸的是，今天那些不同的數(shù)據(jù)組代表了不同的數(shù)據(jù)系統(tǒng)。讓我們開始根據(jù)區(qū)域（或數(shù)據(jù)類型）而不是系統(tǒng)來考慮數(shù)據(jù)。

企業(yè)數(shù)據(jù)架構(gòu)的目標(biāo)絕不是將數(shù)據(jù)格局拆分為多個不同的系統(tǒng)，特別是拆分為數(shù)據(jù)倉庫、數(shù)據(jù)集市和數(shù)據(jù)湖。我們需要停止做一些事情，因為“他們總是那樣做”，并重新思考我們正在努力完成的事情。我們的目標(biāo)應(yīng)該是為企業(yè)的所有數(shù)據(jù)建立一個統(tǒng)一的平臺，例如，如下所示：

這樣的數(shù)據(jù)平臺可以支持所有的數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)工程、數(shù)據(jù)交換、數(shù)據(jù)應(yīng)用程序和數(shù)據(jù)科學(xué)的應(yīng)用場景，我們可以將數(shù)據(jù)倉庫、數(shù)據(jù)集市和數(shù)據(jù)湖整合到一個平臺中。

大多數(shù)“云”數(shù)據(jù)倉庫都是 20 多年前設(shè)計的，并且已經(jīng)遷移到云端。他們無法真正利用云的可擴(kuò)展性。而那些最近設(shè)計的系統(tǒng)不提供完整的企業(yè)數(shù)據(jù)管理體驗，提供治理、符合 ACID 的交易、實時數(shù)據(jù)共享、完全托管服務(wù)等。現(xiàn)在是時候開始以不同的方式思考我們的數(shù)據(jù)了。

(歡迎大家加入數(shù)據(jù)工匠知識星球獲取更多資訊。)

了解更多精彩內(nèi)容

長按，識別二維碼，關(guān)注我們吧！

數(shù)據(jù)工匠俱樂部

微信號：zgsjgjjlb

專注數(shù)據(jù)治理，推動大數(shù)據(jù)發(fā)展