Flink 在實時金融數(shù)據(jù)湖的應(yīng)用

導(dǎo)讀：本文由中原銀行大數(shù)據(jù)平臺研發(fā)工程師白學(xué)余分享，主要介紹實時金融數(shù)據(jù)湖在中原銀行的應(yīng)用。主要內(nèi)容包括：

• 背景概況

• 實時金融數(shù)據(jù)湖體系架構(gòu)

• 場景實踐

01

背景概況

首先簡單介紹一下中原銀行，它位于河南省鄭州市，是河南省唯一的省級法人銀行，是河南省最大的城市商業(yè)銀行。2017 年 7 月 19 日在香港成功上市。中原銀行在成立之初就將科技利行和科技興行作為我行的戰(zhàn)略，我行立志要成為一個科技銀行和數(shù)據(jù)銀行。我們一直在從事技術(shù)，也崇尚技術(shù)，希望用技術(shù)的手段來解決現(xiàn)在的問題。

 

 

本文將從實時金融數(shù)據(jù)湖的建設(shè)背景、體系架構(gòu)、場景實踐三個方面分享。

1. 數(shù)據(jù)湖誕生的業(yè)務(wù)背景

■ 決策方式變遷

下面來看一下背景概況，我們認(rèn)為現(xiàn)在的銀行的決策方式正面臨巨大的變遷。

• 首先，傳統(tǒng)的銀行數(shù)據(jù)分析主要集中在銀行的收入、成本、利潤的分配和應(yīng)對監(jiān)管部門的監(jiān)管。這些數(shù)據(jù)分析非常復(fù)雜，但也存在一定的規(guī)律，它屬于財務(wù)數(shù)據(jù)分析。隨著互聯(lián)網(wǎng)金融的不斷發(fā)展，銀行的業(yè)務(wù)不斷受到擠壓，如果仍然將數(shù)據(jù)分析集中在收入、成本、分配及監(jiān)管方面，已經(jīng)不能滿足業(yè)務(wù)的需求。如今，更好的了解客戶，收集大量的數(shù)據(jù)，做更多有針對性的營銷和決策分析是當(dāng)務(wù)之急。因此，現(xiàn)在銀行的業(yè)務(wù)分析決策由傳統(tǒng)的財務(wù)分析逐步轉(zhuǎn)向面向 KYC 的分析。

• 其次，傳統(tǒng)的銀行業(yè)務(wù)主要依靠業(yè)務(wù)人員進(jìn)行決策以滿足業(yè)務(wù)的發(fā)展需求。但是隨著銀行業(yè)務(wù)的不斷發(fā)展，各種各樣的應(yīng)用產(chǎn)生大量的多類型數(shù)據(jù)。僅僅依靠業(yè)務(wù)人員去做決策，已無法滿足業(yè)務(wù)的需求。當(dāng)前面臨的問題更加復(fù)雜，影響因素也日漸增多，需要用更全面、智能的技術(shù)方式來進(jìn)行解決。因此，銀行需要將傳統(tǒng)的純業(yè)務(wù)人員決策方式轉(zhuǎn)變?yōu)樵絹碓蕉嘁揽繖C(jī)器智能的決策方式。

■ 問題分析

大數(shù)據(jù)的時代最大的特點就是數(shù)據(jù)量大、數(shù)據(jù)的類型多。在使用大規(guī)模數(shù)據(jù)的過程中涉及各種各樣的技術(shù)，包括：

• 傳統(tǒng)的面向財務(wù)分析離線數(shù)據(jù)分析

• 面向非財務(wù)的數(shù)據(jù)分析

• 面向事件或日志等頻繁變更

• 實時性較高的數(shù)據(jù)分析

我們需要多樣化的數(shù)字營銷手段來描繪更全面、準(zhǔn)確、科學(xué)的客戶畫像。同時，也需要實時風(fēng)險決策技術(shù)來實時監(jiān)控業(yè)務(wù)面臨的風(fēng)險、多模數(shù)據(jù)加工技術(shù)來有效支撐不同類型的數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等。當(dāng)然也需要機(jī)器學(xué)習(xí)和人工智能技術(shù)來支持問題的智能分析和決策。

如此多的技術(shù)，加上數(shù)據(jù)驅(qū)動決策的場景，決定了當(dāng)前銀行的數(shù)據(jù)分析面臨著一個巨大的變遷，從傳統(tǒng)的面向財務(wù)的、面向離線的數(shù)據(jù)分析，逐步轉(zhuǎn)向面向客戶的、面向?qū)崟r的數(shù)據(jù)分析。以上是實時金融數(shù)據(jù)湖建設(shè)的第一個觀點。

 

2. 數(shù)據(jù)湖誕生的技術(shù)背景

實時金融數(shù)據(jù)湖建設(shè)的第二個觀點是，在銀行體系下，面向規(guī)范化、精準(zhǔn)加工的傳統(tǒng)數(shù)倉體系，能夠較好的解決財務(wù)分析等場景，并在很長時間內(nèi)仍會是主流方案。

 

 

■ 傳統(tǒng)數(shù)倉架構(gòu)

下圖展示的是傳統(tǒng)的數(shù)倉架構(gòu)。從下往上，依次是基礎(chǔ)貼源層、公共數(shù)據(jù)的整合層、業(yè)務(wù)集市層和應(yīng)用加工層。不同的層每天通過批的方式執(zhí)行大量的運(yùn)算，來得到業(yè)務(wù)想要的結(jié)果。銀行很長時間內(nèi)非常依賴傳統(tǒng)的數(shù)倉體系，因為它非常好的解決了財務(wù)分析的問題。其特點也比較明顯：

• 精準(zhǔn)、規(guī)范

• 多層數(shù)據(jù)加工 

• 口徑統(tǒng)一 

• T+1 數(shù)據(jù)處理

• 具備較高的性能

• 經(jīng)過長時間積累沉淀 

• 適合財務(wù)分析

以上是傳統(tǒng)數(shù)據(jù)倉庫的優(yōu)勢。當(dāng)然它的缺點也比較明顯：

• 變更困難 

• 單位存儲成本較高 

• 不適合海量日志、行為等變更頻繁，實時性高的數(shù)據(jù)

• 半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兼容差

以上是實時金融數(shù)據(jù)湖建設(shè)的第二個觀點，即傳統(tǒng)的數(shù)據(jù)倉庫有它的優(yōu)勢和不足，并將長期存在。

 

 

■ 數(shù)倉的變遷

實時金融數(shù)據(jù)湖建設(shè)的第三個觀點是，面向 KYC、機(jī)器智能的分析，需要支持多類型數(shù)據(jù)、多時效數(shù)據(jù)、更加敏捷的使用，因此需要新的與數(shù)據(jù)倉庫互補(bǔ)的架構(gòu)體系。

 

 

3. 實時金融數(shù)據(jù)湖的特點

通過以上介紹的三個觀點引出今天介紹的主題，實時金融數(shù)據(jù)湖。 主要有三個特點：

• 第一，開放性。支持多類型場景，如 AI、非結(jié)構(gòu)化、歷史數(shù)據(jù)，海納百川。

• 第二，時效性。具備有效的支持實時分析與實時決策的體系架構(gòu)。

• 第三，融合性。與銀行數(shù)據(jù)倉庫技術(shù)架構(gòu)融合，統(tǒng)一數(shù)據(jù)視圖。

 

 

整體的實時金融數(shù)據(jù)湖是一個融合的數(shù)據(jù)湖，它的融合理念主要體現(xiàn)在以下 6 個方面：

• 第一，數(shù)據(jù)匯聚的融合，各種海量、多樣數(shù)據(jù)匯聚的地方，包括結(jié)構(gòu)化、半結(jié)構(gòu)以及非結(jié)構(gòu)數(shù)據(jù)。

• 第二，技術(shù)實現(xiàn)的融合，包含云計算、大數(shù)據(jù)、數(shù)據(jù)倉庫的融合以及流計算和批處理技術(shù)的融合。

• 第三，規(guī)范設(shè)計的融合，數(shù)據(jù)模型主題設(shè)計靈活，同時支持 Schema-on-read 和  Schema-on-write 模式，支持多維、關(guān)系數(shù)據(jù)模型。

• 第四，數(shù)據(jù)管理的融合，數(shù)據(jù)湖和數(shù)倉元數(shù)據(jù)管理的統(tǒng)一以及用戶開發(fā)體驗的統(tǒng)一。

• 第五，物理位置的融合，可以是物理集中的單一大集群，也可以是物理分散，邏輯集中的邏輯集群。

• 第六，數(shù)據(jù)存儲的融合，分析數(shù)據(jù)統(tǒng)一存儲的技術(shù)平臺，符合入湖倉標(biāo)準(zhǔn)的數(shù)據(jù)按照要求放入，降低存儲和運(yùn)維成本。

 

02

體系架構(gòu)

1. 實時金融數(shù)據(jù)湖架構(gòu)

■ 功能架構(gòu)

首先來看一下實時金融數(shù)據(jù)湖的功能架構(gòu)。在功能上，包括數(shù)據(jù)源、統(tǒng)一的數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)開發(fā)、數(shù)據(jù)服務(wù)和數(shù)據(jù)應(yīng)用。

• 第一，數(shù)據(jù)源。不僅僅支持結(jié)構(gòu)化數(shù)據(jù)，也支持半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

• 第二，統(tǒng)一數(shù)據(jù)接入。數(shù)據(jù)通過統(tǒng)一數(shù)據(jù)接入平臺，按數(shù)據(jù)的不同類型進(jìn)行智能的數(shù)據(jù)接入。

• 第三，數(shù)據(jù)存儲。包括數(shù)據(jù)倉庫和數(shù)據(jù)湖，實現(xiàn)冷熱溫智能數(shù)據(jù)分布。

• 第四，數(shù)據(jù)開發(fā)。包括任務(wù)開發(fā)，任務(wù)調(diào)度，監(jiān)控運(yùn)維，可視化編程。

• 第五，數(shù)據(jù)服務(wù)。包括交互式查詢，數(shù)據(jù) API，SQL 質(zhì)量評估，元數(shù)據(jù)管理，血緣管理。

• 第六，數(shù)據(jù)應(yīng)用。包括數(shù)字化營銷，數(shù)字化風(fēng)控，數(shù)據(jù)化運(yùn)營，客戶畫像。

 

 

■ 邏輯架構(gòu)

實時金融數(shù)據(jù)湖的邏輯架構(gòu)主要有 4 層，包括存儲層、計算層、服務(wù)層和產(chǎn)品層。

• 在存儲層，有 MPP 數(shù)據(jù)倉庫和基于 OSS/HDFS 的數(shù)據(jù)湖，可以實現(xiàn)智能存儲管理。

• 在計算層，實現(xiàn)統(tǒng)一的元數(shù)據(jù)服務(wù)。

• 在服務(wù)層，有聯(lián)邦數(shù)據(jù)計算和數(shù)據(jù)服務(wù) API 兩種方式。其中，聯(lián)邦數(shù)據(jù)計算服務(wù)是一個聯(lián)邦查詢引擎，可以實現(xiàn)數(shù)據(jù)跨庫查詢，它依賴的就是統(tǒng)一元數(shù)據(jù)服務(wù)，查詢的是數(shù)據(jù)倉庫和數(shù)據(jù)湖中的數(shù)據(jù)。

• 在產(chǎn)品層，提供智能服務(wù)：包 RPA、證照識別、語言分析、客戶畫像、智能推薦。商業(yè)分析服務(wù)：包括自助分析、客戶洞察、可視化。數(shù)據(jù)開發(fā)服務(wù)：包括數(shù)據(jù)開發(fā)平臺，自動化治理。

 

 

2. 實時金融數(shù)據(jù)湖工程實踐

下面講一下實時金融數(shù)據(jù)湖的工程實踐，主要針對實時結(jié)構(gòu)化數(shù)據(jù)分析。整體基于開源架構(gòu)搭建，如下圖所示，主要有 4 層，包括存儲層、表結(jié)構(gòu)層、查詢引擎層和聯(lián)邦計算層。

• 存儲層和表結(jié)構(gòu)層是數(shù)據(jù)智能分布的組成部分，支持 Upsert/Delete、Table Schema 和 ACID 的語義保證，并且它可以兼容存儲半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

• 查詢引擎層和聯(lián)邦計算層是統(tǒng)一數(shù)據(jù)開發(fā)平臺的一個組成部分。統(tǒng)一數(shù)據(jù)開發(fā)平臺提供的是一站式的數(shù)據(jù)開發(fā)，可以實現(xiàn)實時數(shù)據(jù)任務(wù)的開發(fā)和離線數(shù)據(jù)任務(wù)的開發(fā)。

本次分享主要針對的是實時數(shù)據(jù)任務(wù)的開發(fā)。后面主要介紹的是一站式流計算開發(fā)平臺，它可以實現(xiàn)實時任務(wù)的開發(fā)、管理、運(yùn)維，保障實時任務(wù)的穩(wěn)定運(yùn)行。

 

 

3. 流計算開發(fā)平臺

為什么銀行需要流計算開發(fā)平臺，流計算開發(fā)平臺的優(yōu)勢是什么？

■ 優(yōu)勢

流計算開發(fā)平臺的優(yōu)勢在于可以有效降低實時數(shù)據(jù)開發(fā)準(zhǔn)入門檻，助力實時業(yè)務(wù)快速發(fā)展。通過流計算開發(fā)平臺，提供一個一站式的實時數(shù)據(jù)開發(fā)平臺，包括可視化的數(shù)據(jù)開發(fā)，任務(wù)管理，實現(xiàn)多租戶和多項目的管理，統(tǒng)一運(yùn)維管理、權(quán)限管理，可以在這個平臺上完成實時數(shù)據(jù)任務(wù)的開發(fā)。流計算開發(fā)平臺是基于 Flink SQL 來做的，F(xiàn)link SQL  本身是一種生產(chǎn)力。

通過 Flink SQL 的不斷應(yīng)用，可以把流計算開發(fā)平臺的能力下推至分支行，分支行可以通過平臺，按照業(yè)務(wù)需求自主的開發(fā)實時數(shù)據(jù)的任務(wù)，以此來促進(jìn)銀行業(yè)務(wù)的發(fā)展。

 

 

■ 架構(gòu)

流計算開發(fā)平臺的架構(gòu)如下圖所示。主要有數(shù)據(jù)存儲、資源管理、計算引擎、數(shù)據(jù)開發(fā)、Web 可視化等。

它可以實現(xiàn)多租戶的管理、多項目的管理，并且用戶可以在上面實現(xiàn)一個實時任務(wù)的運(yùn)維監(jiān)控。流計算開發(fā)平臺資源管理方式，支持物理機(jī)和虛擬機(jī)的方式，同時支持統(tǒng)一的云底座 K8s。平臺計算引擎是基于 Flink，提供了數(shù)據(jù)集成、實時任務(wù)的開發(fā)、運(yùn)維中心、數(shù)據(jù)管理，和可視化數(shù)據(jù)開發(fā) IDE 等功能。

 

 

■ “直通式”實時場景

上面主要介紹了流計算開發(fā)平臺的架構(gòu)和優(yōu)勢，下面針對具體的場景做進(jìn)一步介紹。首先是“直通式”實時場景架構(gòu)。

不同的數(shù)據(jù)源數(shù)據(jù)被實時的接入到 Kafka，F(xiàn)link 實時讀取 Kafka 數(shù)據(jù)進(jìn)行處理，將處理的結(jié)果發(fā)送給業(yè)務(wù)端。業(yè)務(wù)端可以是 Kafka，也可以是 HBase 等不同的下游。業(yè)務(wù)的維表數(shù)據(jù)是用 Elastic 來存儲。“直通式”架構(gòu)可以實現(xiàn) T+0 的數(shù)據(jù)的時效性，主要用在實時決策場景中。

 

• 實時決策分析
  

 

這里舉了一個簡單的例子，臨期貸后催收業(yè)務(wù)。貸款快過期了需要進(jìn)行催收。業(yè)務(wù)依賴賬戶余額、交易金額、本期應(yīng)還金額。通過三個數(shù)據(jù)，針對不同的業(yè)務(wù)進(jìn)行決策，是通過短信催收、智能語音催收，還是電話催收？

如果是基于原有的離線數(shù)倉的架構(gòu)，得到的數(shù)據(jù)都是 T+1 的。用過期的數(shù)據(jù)決策，可能客戶已經(jīng)還款，但是仍然存在電話催收的問題。而通過“直通式”場景架構(gòu)的應(yīng)用，可以實現(xiàn) T+0 的賬戶余額，交易金額和本期應(yīng)還金額，實時進(jìn)行決策，提升用戶的體驗。

 

• 實時 BI 分析

 

再來看一個例子，實時獲取過去一段時間到現(xiàn)在的理財產(chǎn)品銷量信息，這個需求有一些關(guān)鍵字，需要“實時獲取”，即需要 T+0 的數(shù)據(jù)。“一段時間到現(xiàn)在”，它涉及歷史數(shù)據(jù)的查詢。理財產(chǎn)品的銷量信息涉及到銀行業(yè)務(wù)，一般都比較復(fù)雜，需要用到多流 join。

整個需求是一個實時 BI 需求，這個需求使用“直通式”的架構(gòu)無法有效解決，“直通式”架構(gòu)用的是 Flink SQL，但 Flink SQL 無法有效應(yīng)對歷史數(shù)據(jù)的查詢，并且銀行的業(yè)務(wù)一般都比較復(fù)雜，現(xiàn)在主要用的雙流 join。要解決這個問題，需要探索區(qū)別于“直通式”實時場景架構(gòu)的新架構(gòu)。

 

 

■ “落地式”實時場景

下面介紹“落地式”的實時場景架構(gòu)，數(shù)據(jù)源被實時接入到 Kafka 之后，F(xiàn)link 可以實時處理 Kafka 的數(shù)據(jù)，并將處理的結(jié)果寫入到數(shù)據(jù)湖中。數(shù)據(jù)湖整體基于開源方案搭建，數(shù)據(jù)的存儲是用的 HDFS 和 S3，表格式用的是 Iceberg。Flink 讀取完 Kafka 的數(shù)據(jù)之后進(jìn)行實時處理，這時候可以把處理的中間結(jié)果寫入到數(shù)據(jù)湖中，然后再進(jìn)行逐步處理，最終得到業(yè)務(wù)想要的結(jié)果。處理的結(jié)果可以通過查詢引擎對接應(yīng)用，包括 Flink、Spark、Presto 等。

 

 

4. 實時金融數(shù)據(jù)湖

■ 架構(gòu)

下面是中原銀行的實時金融產(chǎn)品架構(gòu)。包括“直通式”實時應(yīng)用場景和“落地式”的實時金融場景。數(shù)據(jù)會實時的接入到 Kafka，然后 Flink 實時的讀取 Kafka 中的數(shù)據(jù)進(jìn)行處理。如果涉及維表數(shù)據(jù)，則是存在 Elastic 中。這里存在兩種情況：

• 業(yè)務(wù)邏輯簡單，F(xiàn)link 實時讀取 Kafka 中的事件數(shù)據(jù)和 Elastic 中的維表數(shù)據(jù)進(jìn)行處理，處理的結(jié)果會直接發(fā)送給業(yè)務(wù)。

• 業(yè)務(wù)邏輯復(fù)雜，會進(jìn)行分步處理，將中間結(jié)果先寫到數(shù)據(jù)湖，再進(jìn)行逐步的處理，得到最終的結(jié)果。然后最終的結(jié)果會通過查詢引擎對接不同的應(yīng)用。

 

 

■ 數(shù)據(jù)流向

這是實時金融數(shù)據(jù)湖的數(shù)據(jù)流向圖。實時數(shù)據(jù)的數(shù)據(jù)源都來自于 Kafka，然后 Flink SQL 通過 ETL 方式實時讀取 Kafka 中的數(shù)據(jù)。通過實時數(shù)據(jù)的 ETL 和數(shù)據(jù)湖平臺兩種方式對接應(yīng)用，提供的是實時和準(zhǔn)實時的輸出結(jié)果。其中，實時數(shù)據(jù)  ETL 對應(yīng)的是“直通式”實時場景架構(gòu)，而數(shù)據(jù)湖平臺對應(yīng)的是“落地式”的實時應(yīng)用場景架構(gòu)。

 

 

■ 實時金融數(shù)據(jù)湖特點

實時金融數(shù)據(jù)湖的特點有三點。

? 第一，開放性。數(shù)據(jù)湖兼容支持復(fù)雜 SQL，支持大量的金融場景。

? 第二，時效性。支持實時和準(zhǔn)實時的數(shù)據(jù)分析處理，并且有落地和非落地的兩種應(yīng)用對接的方式。

? 第三，融合性。數(shù)據(jù)湖提供的是一個金融數(shù)據(jù)湖的架構(gòu)，支持流批統(tǒng)一的結(jié)構(gòu)化數(shù)據(jù)的分析處理。當(dāng)然也支持半結(jié)構(gòu)化和非結(jié)構(gòu)化，因為數(shù)據(jù)湖用的是分布式存儲。

 

 

■ 建設(shè)成果

通過數(shù)據(jù)湖的不斷建設(shè)，整體也取得了一系列成果。我們現(xiàn)在是 T+0 的數(shù)據(jù)時效性，已經(jīng)支持 20+ 的金融產(chǎn)品，存儲成本可以降低 5 倍。

 

03

場景實踐

1. 智能實時反欺詐

實時金融數(shù)據(jù)湖主要應(yīng)用在兩個大的方面，一個是實時 BI，一個是實時決策。其中，實時決策的典型應(yīng)用是智能實時反欺詐業(yè)務(wù)，它依賴于實時計算平臺、知識圖譜平臺、機(jī)器學(xué)習(xí)平臺、實時數(shù)據(jù)模型，提供一系列的數(shù)據(jù)服務(wù)，包括關(guān)系欺詐服務(wù)、設(shè)備指紋服務(wù)、行為監(jiān)測服務(wù)、位置解析服務(wù)和共性匹配服務(wù)，以此來支持交易反欺詐場景、申請反欺詐場景和營銷反欺詐場景。

當(dāng)前已經(jīng)實現(xiàn)日均實時處理 140 萬條風(fēng)險數(shù)據(jù)，日均實時阻斷 110 次，日均實時預(yù)警 108 次。

 

 

2. 實時 BI

再來看一個實時 BI 場景，主要是客戶實時洞察平臺，內(nèi)部叫知秋平臺，依賴于實時計算平臺、知識圖譜平臺、客戶畫像平臺、智能分析平臺。不同的平臺組合在一起，提供了交互式查詢服務(wù)、統(tǒng)一的元數(shù)據(jù)管理服務(wù)、SQL 質(zhì)量評估服務(wù)、配置式開發(fā)服務(wù)、統(tǒng)一可視化數(shù)據(jù)展示等。支持了趨勢分析、圈子分析、留存分析、客戶客群分析等場景。現(xiàn)在已經(jīng)可以打通實時分析類場景常用需求和服務(wù)，實現(xiàn)實時 BI 分析閉環(huán)可視化，分行自主數(shù)字化實時 BI 分析，已落地實時 BI 分析用例 26800 個，實時 BI 分析平臺平均月活 10000+，每天輔助分析各類實時 BI 需求  30000+。