干貨：分布式數(shù)據(jù)庫(kù)技術(shù)路線及方案分類

數(shù)據(jù)庫(kù)的重要性：數(shù)據(jù)庫(kù)作為大多數(shù)信息系統(tǒng)的基礎(chǔ)設(shè)施，向下發(fā)揮硬件算力，向上使能上層應(yīng)用，是IT行業(yè)中大廈的地基、飛船的引擎、更是開(kāi)發(fā)者的必備武器。數(shù)據(jù)庫(kù)的速度、易用性、穩(wěn)定性、擴(kuò)展性、成本都對(duì)企業(yè)的基礎(chǔ)業(yè)務(wù)與增長(zhǎng)彈性至關(guān)重要。

假如數(shù)據(jù)庫(kù)從未誕生，程序員需要面對(duì)海量的數(shù)據(jù)關(guān)系與不可靠的計(jì)算機(jī)系統(tǒng)。而在數(shù)據(jù)庫(kù)的基礎(chǔ)上，程序員不需要重新設(shè)計(jì)復(fù)雜的系統(tǒng)流程保證數(shù)據(jù)處理的事務(wù)性，轉(zhuǎn)而只需要增刪改查CRUD的簡(jiǎn)單操作，大大降低了數(shù)據(jù)存儲(chǔ)與處理的復(fù)雜性。

數(shù)據(jù)庫(kù)的定義與分類：是按照特定數(shù)據(jù)結(jié)構(gòu)組織，存儲(chǔ)和管理數(shù)據(jù)的基礎(chǔ)軟件。分布式數(shù)據(jù)庫(kù)是用計(jì)算機(jī)網(wǎng)絡(luò)將物理上分散的多個(gè)數(shù)據(jù)庫(kù)單元連接起來(lái)組成的一個(gè)邏輯上統(tǒng)一的數(shù)據(jù)庫(kù)。本篇報(bào)告從分布式架構(gòu)的視角出發(fā)，多方位關(guān)注數(shù)據(jù)庫(kù)行業(yè)的前沿動(dòng)向。

分布式數(shù)據(jù)庫(kù)概念及技術(shù)發(fā)展沿革：數(shù)據(jù)庫(kù)已經(jīng)經(jīng)歷了半個(gè)世紀(jì)的發(fā)展，經(jīng)歷了學(xué)術(shù)界驅(qū)動(dòng)、商業(yè)化落地、論文工業(yè)實(shí)現(xiàn)、企業(yè)應(yīng)用需求驅(qū)動(dòng)等技術(shù)發(fā)展階段。

從一開(kāi)始的層面模型，網(wǎng)狀模型，關(guān)系模型，到對(duì)象模型，對(duì)象關(guān)系模型，半結(jié)構(gòu)化等，數(shù)據(jù)模型一直是數(shù)據(jù)庫(kù)的核心和理論基礎(chǔ)，而扎實(shí)的理論支撐和更佳的邏輯獨(dú)立性仍然將是未來(lái)數(shù)據(jù)庫(kù)的根本。

在商業(yè)化落地后，Oracle帶著MySQL、微軟的SQL Server等領(lǐng)銜關(guān)系型數(shù)據(jù)庫(kù)占領(lǐng)市場(chǎng)多年。從SQL、NoSQL到NewSQL，甚至是HTAP，都在迭代中推動(dòng)著業(yè)務(wù)能力的發(fā)展。

當(dāng)前，云+分布式已經(jīng)成為了企業(yè)極限需求的唯一解決方案，并造就了當(dāng)前數(shù)據(jù)庫(kù)行業(yè)的爆發(fā)期。在當(dāng)前與持續(xù)的行業(yè)周期中，先進(jìn)的產(chǎn)品與技術(shù)都需要圍繞市場(chǎng)，才能成為最重要的競(jìng)爭(zhēng)優(yōu)勢(shì)。

分布式數(shù)據(jù)庫(kù)行業(yè)支撐體系：中國(guó)分布式數(shù)據(jù)庫(kù)的發(fā)展取得了人口紅利。而技術(shù)創(chuàng)新需要先進(jìn)的學(xué)術(shù)研究體系，產(chǎn)研結(jié)合需要緊密的產(chǎn)業(yè)交流，行業(yè)滲透則需要緊跟時(shí)代需求的人才培訓(xùn)體系。

中國(guó)數(shù)據(jù)庫(kù)產(chǎn)品圖譜：中國(guó)數(shù)據(jù)庫(kù)廠商分為傳統(tǒng)數(shù)據(jù)庫(kù)廠商、新興數(shù)據(jù)庫(kù)廠商、云廠商、ICT跨界廠商四類，各家提供不同的集中式數(shù)據(jù)庫(kù)與分布式數(shù)據(jù)庫(kù)產(chǎn)品中國(guó)數(shù)據(jù)庫(kù)廠商及代表數(shù)據(jù)庫(kù)產(chǎn)品傳統(tǒng)數(shù)據(jù)庫(kù)廠商達(dá)夢(mèng)數(shù)據(jù)庫(kù)。

分布式數(shù)據(jù)庫(kù)技術(shù)路線分類：目前數(shù)據(jù)庫(kù)分布式技術(shù)路線選擇上，都是以解決數(shù)據(jù)容量擴(kuò)展問(wèn)題為首要目標(biāo)，主流方案為分庫(kù)分表中間件、原生分布式等，不同技術(shù)路線及產(chǎn)品各有優(yōu)劣。

分庫(kù)分表+中間件方案∶下層的單機(jī)數(shù)據(jù)庫(kù)提供存儲(chǔ)和執(zhí)行能力，在多個(gè)單機(jī)數(shù)據(jù)庫(kù)上封裝一層中間層補(bǔ)充分布式能力，以統(tǒng)一的數(shù)據(jù)分片規(guī)則管理分布在不同數(shù)據(jù)庫(kù)節(jié)點(diǎn)的數(shù)據(jù)，并提供SQL解析，請(qǐng)求轉(zhuǎn)發(fā)和結(jié)果合并的能力。

共享存儲(chǔ)分布式數(shù)據(jù)庫(kù)：計(jì)算節(jié)點(diǎn)獨(dú)立并且共享一個(gè)不帶計(jì)算功能的存儲(chǔ)集群（Shared-storage），數(shù)據(jù)存儲(chǔ)的底層是可動(dòng)態(tài)擴(kuò)容的分布式高性能存儲(chǔ)，以存算分離架構(gòu)，計(jì)算層和存儲(chǔ)層都可以動(dòng)態(tài)擴(kuò)縮容，并且這些分布式數(shù)據(jù)庫(kù)都會(huì)對(duì)網(wǎng)絡(luò)以及存儲(chǔ)層的優(yōu)化來(lái)保證高可用和高性能。

去中心化的分布式數(shù)據(jù)庫(kù)：每個(gè)節(jié)點(diǎn)有獨(dú)立的計(jì)算和存儲(chǔ)功能并且節(jié)點(diǎn)之間不共享數(shù)據(jù)，（Shared-nothing），為了平滑的擴(kuò)縮容也采用了存算分離的架構(gòu)，分布式集群的每個(gè)節(jié)點(diǎn)都是獨(dú)立節(jié)點(diǎn)，通過(guò)multi-paxos或者multi-raft等共識(shí)算法來(lái)保證多副本的可用性。

異構(gòu)多模態(tài)化數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)：的異構(gòu)多模態(tài)化已經(jīng)成為主流，但值得注意的是多模的發(fā)展離不開(kāi)單模數(shù)據(jù)庫(kù)技術(shù)的成熟化，將單模能力下沉給垂直引擎成為多模的內(nèi)置能力，在不同模型的處理效率上有所側(cè)重傾斜。

多模數(shù)據(jù)庫(kù)發(fā)展現(xiàn)況：在DB-Engines上，可以見(jiàn)Oracle、MySQL、SQL Server、PostgreSQL本身都是關(guān)系型基礎(chǔ)上支持多模的，MongoDB、Redis等也在向其它類型兼容。

多模已經(jīng)成為主流，但值得注意的是多模的發(fā)展離不開(kāi)單模數(shù)據(jù)庫(kù)技術(shù)的成熟化，將單模能力下沉給垂直引擎成為多模的內(nèi)置能力，在不同模型的處理效率上有所側(cè)重傾斜。

多模數(shù)據(jù)庫(kù)的發(fā)展：從用戶的使用層面出發(fā)，在一個(gè)數(shù)據(jù)庫(kù)中同時(shí)支持多模型，以更簡(jiǎn)單的數(shù)據(jù)庫(kù)架構(gòu)處理更多的不要求高性能的異構(gòu)數(shù)據(jù)，大大提升了使用易用性、運(yùn)維效率、存儲(chǔ)成本。對(duì)不同數(shù)據(jù)類型采用統(tǒng)一的SQL訪問(wèn)接口，極大優(yōu)化了數(shù)據(jù)庫(kù)體驗(yàn)。

隨著應(yīng)用數(shù)據(jù)需求的多樣化，單模數(shù)據(jù)庫(kù)的技術(shù)成熟化，用戶經(jīng)常需要面對(duì)異構(gòu)數(shù)據(jù)的分析。每一個(gè)應(yīng)用都需要開(kāi)發(fā)數(shù)據(jù)中間層來(lái)對(duì)接多種數(shù)據(jù)庫(kù)，去處理模型轉(zhuǎn)換、數(shù)據(jù)分發(fā)、數(shù)據(jù)同步、查詢合并等一系列問(wèn)題。

當(dāng)大數(shù)據(jù)量在關(guān)系型，其它數(shù)據(jù)類型的分析頻次不高時(shí)，一個(gè)能夠面向上層的業(yè)務(wù)邏輯提供統(tǒng)一存儲(chǔ)、統(tǒng)一訪問(wèn)并保證數(shù)據(jù)正確的異構(gòu)多模數(shù)據(jù)庫(kù)系統(tǒng)成為了共性需求。另外，HTAP也正是這個(gè)需求的延伸概念。

HTAP混合負(fù)載：隨著業(yè)務(wù)系統(tǒng)接入的數(shù)據(jù)源及業(yè)務(wù)復(fù)雜性的不斷增加，混合負(fù)載的需求越發(fā)普遍，數(shù)據(jù)庫(kù)技術(shù)正在導(dǎo)向多源異構(gòu)、高實(shí)時(shí)并發(fā)、多SQL標(biāo)準(zhǔn)接口的方向。

業(yè)務(wù)混合負(fù)載需求成為常態(tài)：無(wú)論是傳統(tǒng)業(yè)務(wù)應(yīng)用需求依托IOE架構(gòu)通過(guò)分庫(kù)分表的方式擴(kuò)容，還是大數(shù)據(jù)業(yè)務(wù)應(yīng)用需求依托Hadoop平臺(tái)架構(gòu)，兩者都積聚了眾多問(wèn)題且難以解決，運(yùn)維和使用?受限已不能滿足時(shí)代需要。

隨著業(yè)務(wù)系統(tǒng)接入的數(shù)據(jù)源及業(yè)務(wù)復(fù)雜性的不斷增加，數(shù)據(jù)庫(kù)技術(shù)正在導(dǎo)向多源異構(gòu)、高實(shí)時(shí)并發(fā)、多SQL標(biāo)準(zhǔn)接口的方向。混合負(fù)載的需求越發(fā)普遍，用戶希望通過(guò)統(tǒng)一的訪問(wèn)接口（如SQL），按不同的方式（如離線、在線）使用數(shù)據(jù)。

HTAP混合事務(wù)和分析處理：HTAP描述的是消除OLTP和OLAP之間的間隔，使一個(gè)分布式數(shù)據(jù)庫(kù)系統(tǒng)既可以應(yīng)用于事務(wù)型數(shù)據(jù)庫(kù)場(chǎng)景，又可以應(yīng)用于分析型數(shù)據(jù)庫(kù)場(chǎng)景，從而滿足實(shí)時(shí)業(yè)務(wù)決策的需求。

HTAP能讓數(shù)據(jù)產(chǎn)生后馬上就可以進(jìn)入分析場(chǎng)景，但它面臨最大的問(wèn)題是如何把OLTP和OLAP兩類互斥的工作負(fù)載更好放在一個(gè)系統(tǒng)上運(yùn)行，并且實(shí)現(xiàn)資源干擾小、數(shù)據(jù)可見(jiàn)度高、延時(shí)短。

目前HTAP有兩種方案∶分離架構(gòu)和統(tǒng)一架構(gòu)，分離架構(gòu)是目前的主流方案。趨勢(shì)中，云原生架構(gòu)環(huán)境與HTAP系統(tǒng)的融合將衍生新的HTAP產(chǎn)品方案和技術(shù)特征。

從云托管到云原生的數(shù)據(jù)庫(kù)發(fā)展趨勢(shì)：數(shù)據(jù)庫(kù)上云，起初借助基礎(chǔ)設(shè)施即服務(wù)（laaS），直接將傳統(tǒng)數(shù)據(jù)庫(kù)托管在云上，關(guān)系型數(shù)據(jù)庫(kù)服務(wù)（RDS）就是這樣的產(chǎn)品。而RDS這類方案，在遷移上云的過(guò)程需要對(duì)性能和事務(wù)作出妥協(xié)，存在資源利用率低、維護(hù)成本高、可用性低等問(wèn)題。于是，相比于遷移數(shù)據(jù)庫(kù)上云，在云上建設(shè)數(shù)據(jù)庫(kù)服務(wù)，設(shè)計(jì)出以基礎(chǔ)云先行，從應(yīng)用、中間件、數(shù)據(jù)庫(kù)服務(wù)全線適應(yīng)云特點(diǎn)的云原生數(shù)據(jù)庫(kù)尤為重要。

數(shù)據(jù)庫(kù)的未來(lái)發(fā)展趨勢(shì)總結(jié)：分布式數(shù)據(jù)庫(kù)技術(shù)已經(jīng)步入商業(yè)應(yīng)用的成熟期，但分布式僅是數(shù)據(jù)庫(kù)眾多維度中的一環(huán)，那么從長(zhǎng)遠(yuǎn)的目光中，再將視角放諸整個(gè)數(shù)據(jù)庫(kù)技術(shù)的大廈中，數(shù)據(jù)庫(kù)的未來(lái)將如何發(fā)展。

開(kāi)源情況：開(kāi)源理念的發(fā)展經(jīng)歷了以Linux為代表的自由開(kāi)發(fā)者運(yùn)動(dòng)，以Hadoop為代表的技術(shù)棧驅(qū)動(dòng)社區(qū)，數(shù)據(jù)庫(kù)開(kāi)源生態(tài)步入了極致場(chǎng)景驅(qū)動(dòng)社區(qū)協(xié)作階段。