隨著信息化、數(shù)字化、智能化的進(jìn)程加速，特別是后疫情時(shí)代，數(shù)據(jù)在全球經(jīng)濟(jì)運(yùn)轉(zhuǎn)中的價(jià)值日益凸顯。今年三月底，數(shù)據(jù)更是被作為一種新型的生產(chǎn)要素寫入中央文件，與土地、勞動(dòng)力、資本、技術(shù)等經(jīng)典生產(chǎn)要素并列。
數(shù)據(jù)最終的價(jià)值來(lái)源于治理。只有經(jīng)過(guò)采集、清洗、分析和處理后的數(shù)據(jù)，才能在流通中更順暢地使用，其價(jià)值才能得到更充分地挖掘。同時(shí)，隨著區(qū)塊鏈技術(shù)的蓬勃發(fā)展，區(qū)塊鏈漸趨規(guī)模化應(yīng)用，鏈上數(shù)據(jù)總量呈指數(shù)級(jí)增長(zhǎng)，其中蘊(yùn)藏的巨大價(jià)值，也需要通過(guò)高效、規(guī)范的數(shù)據(jù)治理，才能得到充分彰顯。
微眾銀行區(qū)塊鏈在多年技術(shù)研究和應(yīng)用實(shí)踐的基礎(chǔ)上，積極分析、總結(jié)行業(yè)需求，研發(fā)了一套數(shù)據(jù)治理通用組件（WeBankBlockchain-Data）解決區(qū)塊鏈數(shù)據(jù)治理的技術(shù)難題，多維提升開發(fā)、運(yùn)營(yíng)、運(yùn)維效率。
目前，WeBankBlockchain-Data已在金融、公益、農(nóng)牧產(chǎn)品溯源、司法存證、零售等多個(gè)行業(yè)落地和使用，歷經(jīng)多個(gè)內(nèi)外部生產(chǎn)環(huán)境項(xiàng)目的打磨，不斷以“輕量化、模塊化、通用化”的設(shè)計(jì)哲學(xué)進(jìn)化，具備處理海量數(shù)據(jù)、高可用、可審計(jì)等能力。
為助力全行業(yè)伙伴提升區(qū)塊鏈數(shù)據(jù)治理的效率，實(shí)現(xiàn)數(shù)據(jù)從要素到資源的轉(zhuǎn)化，我們秉持一貫開源開放的理念，將WeBankBlockchain-Data面向社區(qū)和公眾完全開源，誠(chéng)邀各行業(yè)伙伴攜手共建區(qū)塊鏈數(shù)據(jù)治理體系，為數(shù)據(jù)價(jià)值的全面釋放提供有效路徑。
在區(qū)塊鏈底層和區(qū)塊鏈應(yīng)用之間，橫亙著一條區(qū)塊鏈技術(shù)、業(yè)務(wù)和產(chǎn)品的鴻溝，存在著區(qū)塊鏈數(shù)據(jù)擴(kuò)容難度大、鏈上數(shù)據(jù)難以查詢和分析、典型場(chǎng)景缺乏通用化產(chǎn)品或組件支持等多種挑戰(zhàn)。社區(qū)也經(jīng)常會(huì)有朋友問到：區(qū)塊鏈節(jié)點(diǎn)服務(wù)器的磁盤快滿了，該怎么辦？我想查詢某個(gè)賬號(hào)發(fā)過(guò)的所有交易怎么查？微眾銀行區(qū)塊鏈對(duì)賬方案是怎么做的，有沒有通用的解決方案？……
為什么強(qiáng)大的區(qū)塊鏈還有這些問題呢？首先，隨著區(qū)塊鏈數(shù)據(jù)的“爆炸式”增長(zhǎng)，鏈上已經(jīng)積累了億計(jì)的交易、幾T的數(shù)據(jù)，節(jié)點(diǎn)服務(wù)器逐漸無(wú)法滿足交易數(shù)據(jù)的存儲(chǔ)需求，單純對(duì)節(jié)點(diǎn)存儲(chǔ)空間進(jìn)行擴(kuò)容不僅開發(fā)成本高、硬件成本高，而且在數(shù)據(jù)擴(kuò)容過(guò)程中因技術(shù)要求較高，易引發(fā)系統(tǒng)性風(fēng)險(xiǎn)，且不能一勞永逸地解決問題。另一方面，大量交易冷數(shù)據(jù)不僅浪費(fèi)空間，而且會(huì)影響區(qū)塊鏈節(jié)點(diǎn)出塊和執(zhí)行交易的性能。其次，區(qū)塊鏈由于特定的鏈?zhǔn)酱鎯?chǔ)結(jié)構(gòu)，鏈上數(shù)據(jù)只能通過(guò)智能合約接口的方式獲取和調(diào)用，不僅執(zhí)行效率低下，且隨著鏈上數(shù)據(jù)的增加，其查詢和計(jì)算性能逐級(jí)衰減，無(wú)法滿足大數(shù)據(jù)分析和復(fù)雜查詢的訴求，比如需要檢索已經(jīng)部署在鏈上的所有合約。基于特定場(chǎng)景的數(shù)據(jù)導(dǎo)出解決方案，由于智能合約存在較大差異，需要針對(duì)智能合約做特定開發(fā)，成本很高，不能復(fù)用。最后，基于區(qū)塊鏈的可信數(shù)據(jù)缺乏通用的產(chǎn)品和可復(fù)用的組件，部分場(chǎng)景之間存在類似的需求，比如業(yè)務(wù)對(duì)賬、區(qū)塊鏈瀏覽器、業(yè)務(wù)分析、監(jiān)管審計(jì)等。不同項(xiàng)目之間存在著大量重復(fù)的開發(fā)，費(fèi)時(shí)費(fèi)力，同時(shí)區(qū)塊鏈應(yīng)用的開發(fā)者完成工作目標(biāo)需要經(jīng)歷陡峭的學(xué)習(xí)曲線，還可能在開發(fā)、測(cè)試中引入各類風(fēng)險(xiǎn)。WeBankBlockchain-Data 從底層數(shù)據(jù)存儲(chǔ)層、智能合約數(shù)據(jù)解析層和應(yīng)用層等多個(gè)層次入手，提供區(qū)塊鏈數(shù)據(jù)挖掘、裁剪、擴(kuò)容、可信存儲(chǔ)、抽取、分析、審計(jì)、對(duì)賬、監(jiān)管等數(shù)據(jù)治理方面的關(guān)鍵能力，滿足數(shù)據(jù)治理全流程開發(fā)場(chǎng)景的需求，如下圖所示：區(qū)塊鏈數(shù)據(jù)經(jīng)過(guò)區(qū)塊鏈共識(shí)節(jié)點(diǎn)的多方共識(shí)，一旦生成就不會(huì)被修改。在運(yùn)維層，區(qū)塊鏈的歷史區(qū)塊數(shù)據(jù)可被數(shù)據(jù)倉(cāng)庫(kù)組件完整或部分導(dǎo)出到本地。作為可信存儲(chǔ)鏡像，導(dǎo)出的數(shù)據(jù)僅在本地有效，被修改不會(huì)影響鏈上共識(shí)。我們建議使用方建立管理方法，限制對(duì)本地?cái)?shù)據(jù)的修改。在應(yīng)用數(shù)據(jù)層，數(shù)據(jù)導(dǎo)出組件支持導(dǎo)出源數(shù)據(jù)、初步解析和基于合約解析的多維數(shù)據(jù)。所有參與者均可部署自己的導(dǎo)出服務(wù)，作為本地查詢或分析的可信數(shù)據(jù)源。在業(yè)務(wù)層，業(yè)務(wù)對(duì)賬組件支持機(jī)構(gòu)內(nèi)外部對(duì)鏈上鏈下業(yè)務(wù)數(shù)據(jù)進(jìn)行對(duì)賬。數(shù)據(jù)治理通用組件包含哪些子組件？目前，WeBankBlockchain-Data由數(shù)據(jù)倉(cāng)庫(kù)組件(Data-Stash)、數(shù)據(jù)導(dǎo)出組件(Data-Export)、數(shù)據(jù)對(duì)賬組件(Data-Reconcile)三個(gè)相互獨(dú)立、可插拔、可靈活組裝的組件構(gòu)成，后續(xù)會(huì)根據(jù)業(yè)務(wù)和場(chǎng)景訴求提供更多的功能和解決方案子組件。??數(shù)據(jù)倉(cāng)庫(kù)組件Data-StashData-Stash為區(qū)塊鏈底層平臺(tái)FISCO BCOS提供節(jié)點(diǎn)數(shù)據(jù)擴(kuò)容、備份、裁剪及快速同步的能力。用戶可基于Binlog協(xié)議同步區(qū)塊鏈底層節(jié)點(diǎn)全量數(shù)據(jù)，實(shí)現(xiàn)冷熱數(shù)據(jù)分離，支持?jǐn)帱c(diǎn)續(xù)傳、數(shù)據(jù)可信驗(yàn)證，并提供快速同步機(jī)制，助力FISCO BCOS輕松應(yīng)對(duì)節(jié)點(diǎn)海量數(shù)據(jù)的運(yùn)維場(chǎng)景。??數(shù)據(jù)導(dǎo)出組件Data-ExportData-Export支持將鏈上數(shù)據(jù)導(dǎo)出到MySQL、ES等便于進(jìn)行大數(shù)據(jù)處理的存儲(chǔ)介質(zhì)中，解決區(qū)塊鏈數(shù)據(jù)復(fù)雜查詢、分析和處理的問題。開發(fā)者幾乎無(wú)需編碼，只需要簡(jiǎn)單配置，即可實(shí)時(shí)導(dǎo)出個(gè)性化的業(yè)務(wù)數(shù)據(jù)，提升二次開發(fā)的效率，降低開發(fā)成本。同時(shí)，Data-Export支持分庫(kù)分表、多活部署、兼容分布式存儲(chǔ)系統(tǒng)等特性，具備金融級(jí)高并發(fā)、高可用、支持海量數(shù)據(jù)導(dǎo)出的能力。??數(shù)據(jù)對(duì)賬組件Data-ReconcileData-Reconcile抽象了交易系統(tǒng)的通用對(duì)賬流程，提供靈活可配置的區(qū)塊鏈數(shù)據(jù)對(duì)賬解決方案，支持自定義對(duì)賬數(shù)據(jù)和對(duì)賬格式，支持定時(shí)對(duì)賬和觸發(fā)對(duì)賬任務(wù)，提供多種擴(kuò)展點(diǎn)，以便對(duì)賬處理模塊二次開發(fā)。需要指出的是，Data-Reconcile不僅適用于狹義上的交易對(duì)賬，而且適用于任何需要進(jìn)行數(shù)據(jù)核對(duì)的業(yè)務(wù)場(chǎng)景。企業(yè)級(jí)區(qū)塊鏈應(yīng)用存在多元化角色參與，諸如業(yè)務(wù)角色、運(yùn)營(yíng)人員、開發(fā)角色、運(yùn)維角色等。針對(duì)區(qū)塊鏈數(shù)據(jù)，每一個(gè)特定的角色都有著不同的數(shù)據(jù)治理訴求。WeBankBlockchain-Data分別從區(qū)塊鏈底層節(jié)點(diǎn)數(shù)據(jù)維護(hù)、應(yīng)用數(shù)據(jù)處理和業(yè)務(wù)數(shù)據(jù)應(yīng)用三個(gè)維度，抽象、設(shè)計(jì)了對(duì)應(yīng)的組件來(lái)滿足不同角色的對(duì)數(shù)據(jù)治理的需求。? 場(chǎng)景1：節(jié)點(diǎn)數(shù)據(jù)維護(hù)數(shù)據(jù)倉(cāng)庫(kù)組件Data-Stash是一款針對(duì)區(qū)塊鏈節(jié)點(diǎn)數(shù)據(jù)處理的輕量化、高安全、高可用組件，主要面向運(yùn)維人員和開發(fā)人員。數(shù)據(jù)備份：Data-Stash可以通過(guò)Binlog協(xié)議對(duì)區(qū)塊鏈節(jié)點(diǎn)數(shù)據(jù)進(jìn)行準(zhǔn)實(shí)時(shí)全量備份，區(qū)塊鏈節(jié)點(diǎn)可以根據(jù)實(shí)際情況進(jìn)行冷熱數(shù)據(jù)裁剪和分離，在確保數(shù)據(jù)安全可信的基礎(chǔ)上，解決節(jié)點(diǎn)擴(kuò)容問題，降低開發(fā)和硬件成本。在解決節(jié)點(diǎn)擴(kuò)容問題的同時(shí)，可以使得節(jié)點(diǎn)“輕裝上陣”，不僅能夠減少節(jié)點(diǎn)空間的開銷，而且能夠有效提升節(jié)點(diǎn)執(zhí)行交易的性能。數(shù)據(jù)同步：對(duì)于加入?yún)^(qū)塊鏈網(wǎng)絡(luò)的新節(jié)點(diǎn)，可以通過(guò)Data-Stash，在Fisco Sync工具的配合下，快速同步區(qū)塊鏈網(wǎng)絡(luò)的數(shù)據(jù)，確保節(jié)點(diǎn)以最快的速度參與到區(qū)塊鏈網(wǎng)絡(luò)的“工作”中，降低新節(jié)點(diǎn)因等待數(shù)據(jù)同步而造成的時(shí)間浪費(fèi)。??場(chǎng)景2：應(yīng)用數(shù)據(jù)處理數(shù)據(jù)導(dǎo)出組件Data-Export 提供了導(dǎo)出的區(qū)塊鏈標(biāo)準(zhǔn)數(shù)據(jù)、自動(dòng)基于智能合約代碼智能分析而生成的定制數(shù)據(jù)，存儲(chǔ)到MySQL和ElasticSearch等存儲(chǔ)介質(zhì)中，主要面向開發(fā)人員。復(fù)雜查詢與分析：現(xiàn)有區(qū)塊鏈對(duì)查詢功能不太友好，且鏈上計(jì)算非常寶貴，Data-Export支持將鏈上存儲(chǔ)的區(qū)塊鏈數(shù)據(jù)導(dǎo)出到鏈下的分布式存儲(chǔ)系統(tǒng)中。開發(fā)者可以基于已導(dǎo)出的區(qū)塊鏈系統(tǒng)基礎(chǔ)數(shù)據(jù)，智能合約部署合約賬戶、事件和函數(shù)等數(shù)據(jù)，進(jìn)行二次開發(fā)，定制復(fù)雜查詢和數(shù)據(jù)分析的邏輯，快速實(shí)現(xiàn)業(yè)務(wù)需求。例如，開發(fā)者可對(duì)交易明細(xì)根據(jù)業(yè)務(wù)邏輯進(jìn)行統(tǒng)計(jì)和關(guān)聯(lián)查詢分析，開發(fā)各類反洗錢和審計(jì)監(jiān)管報(bào)表等等。區(qū)塊鏈數(shù)據(jù)可視化：Data-Export會(huì)自動(dòng)生成Grafana的配置文件，無(wú)需開發(fā)，即可實(shí)現(xiàn)區(qū)塊鏈數(shù)據(jù)可視化。區(qū)塊鏈數(shù)據(jù)可視化不僅能夠作為區(qū)塊鏈數(shù)據(jù)大盤、數(shù)據(jù)查看、運(yùn)營(yíng)分析的工具，同時(shí)也可以運(yùn)用在應(yīng)用開發(fā)、調(diào)試、測(cè)試階段，以可見即可得的方式提升研發(fā)體驗(yàn)和效率。此外，Data-Export還提供了Restful API供外部系統(tǒng)集成。運(yùn)維人員可以通過(guò)Grafana實(shí)時(shí)監(jiān)控業(yè)務(wù)系統(tǒng)的狀態(tài)，業(yè)務(wù)人員可以在集成后的業(yè)務(wù)后臺(tái)系統(tǒng)上獲得該業(yè)務(wù)的實(shí)時(shí)進(jìn)展。區(qū)塊鏈中間件平臺(tái)WeBASE的數(shù)據(jù)導(dǎo)出子系統(tǒng)已經(jīng)整合了Data-Export，同時(shí)，Data-Export也可以獨(dú)立與區(qū)塊鏈底層集成，以靈活地支持業(yè)務(wù)需求，迄今已在數(shù)十個(gè)生產(chǎn)系統(tǒng)中穩(wěn)定、安全運(yùn)行。如今，Data-Export作為區(qū)塊鏈數(shù)據(jù)治理的關(guān)鍵組件，以開源形式發(fā)布，由社區(qū)伙伴通力完善，以適應(yīng)更多的使用場(chǎng)景、打造更多的功能。??場(chǎng)景3：業(yè)務(wù)數(shù)據(jù)應(yīng)用在業(yè)務(wù)層，數(shù)據(jù)對(duì)賬是區(qū)塊鏈交易系統(tǒng)中最常見的場(chǎng)景之一。基于數(shù)個(gè)區(qū)塊鏈DAPP應(yīng)用的開發(fā)和實(shí)踐經(jīng)驗(yàn)，我們封裝和開發(fā)了數(shù)據(jù)對(duì)賬組件Data-Reconcile，提供基于區(qū)塊鏈智能合約賬本的通用化數(shù)據(jù)對(duì)賬解決方案，并提供了一套可動(dòng)態(tài)延展的對(duì)賬框架，支持定制化開發(fā)，主要面向開發(fā)人員，為業(yè)務(wù)人員提供服務(wù)。企業(yè)內(nèi)部對(duì)賬：Data-Reconcile支持企業(yè)內(nèi)部系統(tǒng)之間的對(duì)賬，例如區(qū)塊鏈鏈上數(shù)據(jù)與鏈下業(yè)務(wù)系統(tǒng)之間的對(duì)賬。開發(fā)人員可以利用Data-Reconcile快速進(jìn)行二次開發(fā)，將業(yè)務(wù)系統(tǒng)數(shù)據(jù)和鏈上數(shù)據(jù)進(jìn)行核算比對(duì)，保證了企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)的可靠和運(yùn)行安全。企業(yè)間對(duì)賬：Data-Reconcile可以幫助開發(fā)者快速構(gòu)建跨機(jī)構(gòu)間的對(duì)賬應(yīng)用系統(tǒng)。例如，在結(jié)算時(shí)，A企業(yè)定期將自身業(yè)務(wù)系統(tǒng)交易數(shù)據(jù)導(dǎo)出為對(duì)賬文件，發(fā)送至與文件存儲(chǔ)中心。B企業(yè)可借助Data-Reconcile定期拉取A企業(yè)對(duì)賬文件，配合Data-Export，與企業(yè)內(nèi)部的鏈上數(shù)據(jù)進(jìn)行對(duì)賬處理。Data-Reconcile在保證對(duì)賬結(jié)果可信的同時(shí)提升了對(duì)賬的效率，可實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)對(duì)賬。綜上所述，WeBankBlockchain-Data 是一套穩(wěn)定、高效、安全的立體化區(qū)塊鏈數(shù)據(jù)治理解決方案，旨在通過(guò)提供一系列相互獨(dú)立、可插拔、可靈活組裝的組件，應(yīng)對(duì)和處理區(qū)塊鏈海量數(shù)據(jù)的問題，為用戶帶來(lái)更加便捷、簡(jiǎn)單、低成本和輕量化的用戶體驗(yàn)，從而推動(dòng)區(qū)塊鏈數(shù)據(jù)治理的發(fā)展。github代碼庫(kù)地址：
Data-Stash 數(shù)據(jù)倉(cāng)庫(kù)組件https://github.com/WeBankBlockchain/Data-Stash
Data-Export 數(shù)據(jù)導(dǎo)出組件https://github.com/WeBankBlockchain/Data-Export
Data-Reconcile 數(shù)據(jù)對(duì)賬組件https://github.com/WeBankBlockchain/Data-Reconcilegitee代碼庫(kù)地址：
Data-Stash 數(shù)據(jù)倉(cāng)庫(kù)組件https://gitee.com/WeBankBlockchain/Data-Stash
Data-Export 數(shù)據(jù)導(dǎo)出組件https://gitee.com/WeBankBlockchain/Data-Export
Data-Reconcile 數(shù)據(jù)對(duì)賬組件https://gitee.com/WeBankBlockchain/Data-Reconcile文檔地址：
Data-Stash 數(shù)據(jù)倉(cāng)庫(kù)組件https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Stash/index.html
Data-Export 數(shù)據(jù)導(dǎo)出組件https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Export/index.html
Data-Reconcile 數(shù)據(jù)對(duì)賬組件https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Reconcile/index.html歡迎參與WeBankBlockchain的社區(qū)建設(shè)：
最后，還有個(gè)小小的彩蛋：微眾銀行區(qū)塊鏈計(jì)劃開放更多的區(qū)塊鏈通用組件，鏈治理組件和通用智能合約庫(kù)組件即將火熱來(lái)襲，敬請(qǐng)期待：）
