分布式數(shù)據(jù)庫(kù)，你真的了解嗎？

分布式數(shù)據(jù)庫(kù)進(jìn)入人們的視野已經(jīng)很久了。相對(duì)于傳統(tǒng)的集中式數(shù)據(jù)庫(kù)，分布式數(shù)據(jù)庫(kù)在高性能、高可用、平滑拓展、高可靠、低成本等許多方面具有優(yōu)勢(shì)。

但時(shí)至今日，關(guān)于分布式數(shù)據(jù)庫(kù)，似乎一直缺少足夠權(quán)威和客觀的解讀。

現(xiàn)在，國(guó)家白皮書(shū)來(lái)了！

為了明確分布式數(shù)據(jù)庫(kù)的概念，梳理分布式數(shù)據(jù)庫(kù)的技術(shù)體系和應(yīng)用現(xiàn)狀，對(duì)未來(lái)的技術(shù)和應(yīng)用趨勢(shì)進(jìn)行研判，中國(guó)軟件評(píng)測(cè)中心牽頭組織了騰訊云等廠商參與，調(diào)研了國(guó)內(nèi)主要分布式數(shù)據(jù)庫(kù)產(chǎn)品廠商，并對(duì)部分產(chǎn)品進(jìn)行了測(cè)評(píng)，參考了國(guó)內(nèi)外主要研究機(jī)構(gòu)的學(xué)術(shù)成果，歷時(shí)半年共同編制了《分布式數(shù)據(jù)庫(kù)發(fā)展路徑研究》報(bào)告，為我國(guó)的分布式數(shù)據(jù)庫(kù)產(chǎn)業(yè)和技術(shù)發(fā)展提供參考，為分布式數(shù)據(jù)庫(kù)的發(fā)展路徑提出建議。

以下是部分報(bào)告精華，關(guān)注「騰訊云數(shù)據(jù)庫(kù)」公眾號(hào)，回復(fù)“白皮書(shū)”，即可下載報(bào)告全文。

分布式數(shù)據(jù)庫(kù)的概念及分類

根據(jù)目前我國(guó)分布式數(shù)據(jù)庫(kù)技術(shù)現(xiàn)狀，我們認(rèn)為分布式數(shù)據(jù)庫(kù)是具備分布式事務(wù)處理能力、可平滑擴(kuò)展、分布于計(jì)算機(jī)網(wǎng)絡(luò)且邏輯上統(tǒng)一的數(shù)據(jù)庫(kù)。具有分布式事務(wù)處理，平滑拓展和物理分布、邏輯統(tǒng)一等特征。

為了保障跨多個(gè)節(jié)點(diǎn)的事務(wù)原子性、一致性，分布式數(shù)據(jù)庫(kù)一般使用分布式協(xié)議來(lái)處理分布式事務(wù)。常用兩階段提交協(xié)議、三階段提交協(xié)議保障事務(wù)的原子性;使用Paxos、RAFT等協(xié)議同步數(shù)據(jù)庫(kù)事務(wù)日志從而保證分布式事務(wù)的一致性。

在存儲(chǔ)技術(shù)上，比較常見(jiàn)的有復(fù)制和分區(qū)兩種方式，采用無(wú)共享架構(gòu)，保證數(shù)據(jù)庫(kù)的高可用和低延時(shí)等。

按照對(duì)數(shù)據(jù)處理的不同方式，分布式數(shù)據(jù)庫(kù)主要分為三類：聯(lián)機(jī)事務(wù)處理、聯(lián)機(jī)分析處理和混合事務(wù)分析處理。

聯(lián)機(jī)事務(wù)處理(On-Line Transaction Processing, OLTP )是事件驅(qū)動(dòng)、面向應(yīng)用的，也稱為面向交易的處理過(guò)程。其基本特征是前臺(tái)接收的用戶數(shù)據(jù)可以立即傳送到計(jì)算中心進(jìn)行處理，并在很短的時(shí)間內(nèi)給出處理結(jié)果，是對(duì)用戶操作的快速響應(yīng)。例如銀行類、電子商務(wù)類的交易系統(tǒng)就是典型的OLTP系統(tǒng)。

聯(lián)機(jī)分析處理(On-Line Analytical Processing，OLAP)是面向數(shù)據(jù)分析的，也稱為面向信息分析處理過(guò)程。它使分析人員能夠迅速、一致、交互地從各個(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的。其特征是應(yīng)對(duì)海量數(shù)據(jù)，支持復(fù)雜的分析操作,側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。例如數(shù)據(jù)倉(cāng)庫(kù)是典型的OLAP系統(tǒng)。

混合事務(wù)分析處理( Hybrid Transaction/Analytical Process,HTAP)由Gartner 于2014年提出。目前HTAP方案主流大體有兩個(gè)方向，根據(jù)OLTP和OLAP負(fù)載是否使用相同的節(jié)點(diǎn)或者引擎，分為統(tǒng)一架構(gòu)和分離架構(gòu)。HTAP避免了繁瑣且昂貴的ETL(抽取、轉(zhuǎn)換、加載)操作，而且可以更快地對(duì)最新數(shù)據(jù)進(jìn)行分析。這種快速分析數(shù)據(jù)的能力將成，為未來(lái)企業(yè)的核心競(jìng)爭(zhēng)力之一。

分布式數(shù)據(jù)庫(kù)發(fā)展的現(xiàn)狀及問(wèn)題

分布式數(shù)據(jù)庫(kù)發(fā)展至今，具備平滑拓展與高性能、容災(zāi)備份與高可靠、高可用和低成本等優(yōu)勢(shì)，同時(shí)已經(jīng)在互聯(lián)網(wǎng)和金融等領(lǐng)域有了成熟的案例。

以金融領(lǐng)域?yàn)槔?020年10月31日，平安銀行“A+信用卡核心系統(tǒng)”正式由騰訊云TDSQL分布式數(shù)據(jù)庫(kù)承載。系統(tǒng)基于分布式架構(gòu)，采用私有云和PssS平臺(tái)建設(shè)，實(shí)現(xiàn)了應(yīng)用微服務(wù)化，能夠按客戶維度進(jìn)行分片，行方所有的客戶的業(yè)務(wù)均可以在單個(gè)分片完成，包括交易授權(quán)、用卡業(yè)務(wù)，也包括行方的批量業(yè)務(wù)，通過(guò)shard-nothing分布式架構(gòu)，可以實(shí)現(xiàn)透明水平擴(kuò)容。

分布式數(shù)據(jù)庫(kù)雖然具備獨(dú)特技術(shù)應(yīng)用優(yōu)勢(shì)，但其發(fā)展也面臨一系列問(wèn)題：應(yīng)用系統(tǒng)面對(duì)分布式數(shù)據(jù)庫(kù)的合理選擇問(wèn)題、遺留系統(tǒng)面對(duì)分布式數(shù)據(jù)庫(kù)的遷移改造問(wèn)題、分布式數(shù)據(jù)庫(kù)運(yùn)維管理較為復(fù)雜問(wèn)題和分布式數(shù)據(jù)庫(kù)產(chǎn)品成熟度有待提升問(wèn)題（詳情見(jiàn)報(bào)告正文）。

分布式數(shù)據(jù)庫(kù)發(fā)展趨勢(shì)

目前，國(guó)內(nèi)絕大部分?jǐn)?shù)據(jù)庫(kù)企業(yè)均推出了分布式數(shù)據(jù)庫(kù)產(chǎn)品,我國(guó)分布式數(shù)據(jù)庫(kù)發(fā)展基本與國(guó)際同步，在一些技術(shù)指標(biāo)和應(yīng)用層面甚至處于領(lǐng)先水平。在未來(lái)，分布式數(shù)據(jù)庫(kù)可能會(huì)朝著這些方向發(fā)展。

一、分布式數(shù)據(jù)庫(kù)的產(chǎn)品化日趨成熟

隨著國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)在金融、互聯(lián)網(wǎng)等重點(diǎn)行業(yè)中的應(yīng)用，促使產(chǎn)品技術(shù)不斷迭代，兼容性、易用性、可擴(kuò)展性等問(wèn)題將一一克服。未來(lái)隨著分布式數(shù)據(jù)庫(kù)等的標(biāo)準(zhǔn)體系及評(píng)價(jià)體系的健全，分布式數(shù)據(jù)庫(kù)產(chǎn)品的生態(tài)體系也將逐漸完善，在運(yùn)維保障、數(shù)據(jù)遷移、運(yùn)行監(jiān)測(cè)等方面的配套工具也將逐步成熟。

二、與人工智能等新技術(shù)融合實(shí)現(xiàn)高效運(yùn)維

在數(shù)字經(jīng)濟(jì)的推動(dòng)下，數(shù)據(jù)的全生命周期管理尤為重要，而分布式數(shù)據(jù)庫(kù)數(shù)據(jù)通常由幾十臺(tái)至數(shù)千臺(tái)服務(wù)器組成，數(shù)據(jù)庫(kù)的運(yùn)維顯得尤為重要。隨著人工智能技術(shù)的發(fā)展，將人工智能技術(shù)融入分布式數(shù)據(jù)庫(kù)的全生命周期，實(shí)現(xiàn)自運(yùn)維、自管理、自調(diào)優(yōu)、故障自診斷和自愈，是未來(lái)發(fā)展的必然趨.勢(shì)。另外，在交易、分析和混合負(fù)載場(chǎng)景下，可以通過(guò)人工智能的學(xué)習(xí)算法，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的自動(dòng)調(diào)優(yōu)。

三、分布式數(shù)據(jù)庫(kù)的服務(wù)方式將向云化發(fā)展

云計(jì)算技術(shù)已在我國(guó)各行業(yè)信息化建設(shè)中大規(guī)模應(yīng)用,為適應(yīng)未來(lái)信創(chuàng)領(lǐng)域信息化建設(shè)技術(shù)方向，降低數(shù)據(jù)庫(kù)運(yùn)維成本，靈活調(diào)度資源，國(guó)內(nèi)數(shù)據(jù)庫(kù)廠商積極布局云數(shù)據(jù)庫(kù)產(chǎn)品及服務(wù)。阿里云、騰訊云、華為等已經(jīng)發(fā)布了基于自有云平臺(tái)的云數(shù)據(jù)庫(kù)產(chǎn)品，傳統(tǒng)數(shù)據(jù)庫(kù)廠商達(dá)夢(mèng)也推出云數(shù)據(jù)庫(kù)產(chǎn)品。總體上，國(guó)內(nèi)云數(shù)據(jù)庫(kù)與國(guó)際先進(jìn)水平基本持平，為未來(lái)信創(chuàng)云數(shù)據(jù)庫(kù)發(fā)展提供良好基礎(chǔ)。

- End -

 更多精彩

全球首例銀行“大型機(jī)”下移背后

↓↓更多驚喜優(yōu)惠請(qǐng)點(diǎn)這兒~