TBase企業(yè)級(jí)分布式 HTAP 數(shù)據(jù)庫(kù)管理系統(tǒng)

TBase 是騰訊數(shù)據(jù)平臺(tái)團(tuán)隊(duì)在開源的 PostgreSQL 基礎(chǔ)上研發(fā)的企業(yè)級(jí)分布式 HTAP 數(shù)據(jù)庫(kù)管理系統(tǒng)：

• 具備高性能可擴(kuò)展的分布式事務(wù)能力，支持 RC 和 RR 兩種隔離級(jí)別；

• 通過安全、管理、審計(jì)三權(quán)分立體系，提供全方位的數(shù)據(jù)安全保證機(jī)制；

• 支持高性能分區(qū)表，可使得數(shù)據(jù)檢索效率成倍提升；

• SQL 方面兼容 2003 標(biāo)準(zhǔn)、PostgreSQL 語(yǔ)法和常用 Oracle 函數(shù)&數(shù)據(jù)類型、窗口函數(shù)等；

• 提供大小商戶數(shù)據(jù)分離、冷熱數(shù)據(jù)分離等高效的數(shù)據(jù)治理能力

TBase 架構(gòu)：

集群中有三種節(jié)點(diǎn)類型，各自承擔(dān)不同的功能，通過網(wǎng)絡(luò)連接成為一個(gè)系統(tǒng)。這三種節(jié)點(diǎn)類型分別是：

• Coordinator：協(xié)調(diào)節(jié)點(diǎn)，對(duì)外提供接口，負(fù)責(zé)數(shù)據(jù)的分發(fā)和查詢規(guī)劃，多個(gè)節(jié)點(diǎn)位置對(duì)等，每個(gè)節(jié)點(diǎn)都提供相同的數(shù)據(jù)庫(kù)視圖，CN 存儲(chǔ)系統(tǒng)的全局元數(shù)據(jù)。

• Datanode：處理存儲(chǔ)本節(jié)點(diǎn)相關(guān)的元數(shù)據(jù)，每個(gè)節(jié)點(diǎn)還存儲(chǔ)數(shù)據(jù)的一個(gè)分片。在功能上，DN 節(jié)點(diǎn)負(fù)責(zé)完成執(zhí)行協(xié)調(diào)節(jié)點(diǎn)分發(fā)的執(zhí)行請(qǐng)求。

• GTM: 全局事務(wù)管理器(Global transaction manager.)，負(fù)責(zé)管理集群事務(wù)信息，同時(shí)管理集群的全局對(duì)象，比如序列，除此之外 GTM 上不提供其他的功能。

TBase 功能介紹：

• 分布式事務(wù)全局一致性能力：通過擁有自主專利的分布式事務(wù)一致性技術(shù)，包括兩階段提交(Two Phase Commit)以及全局時(shí)鐘(Global Timestamp)的策略來保證在全分布式環(huán)境下的事務(wù)一致性。

• SQL兼容能力：SQL2003 標(biāo)準(zhǔn)、PostgreSQL 語(yǔ)法、常用 Oracle 函數(shù)&數(shù)據(jù)類型、UDF/UDAF、常見窗口函數(shù)、JSON/JSONB/XML/數(shù)組等多種 NoSQL 類型 、遞歸 WITH、無鎖 DDL 操作、擴(kuò)展插件等。

• HTAP能力：提供 OLTP 以及 OLAP 兩個(gè)平面視角 ，OLTP 業(yè)務(wù)運(yùn)行在 datanode 主節(jié)點(diǎn)上，OLAP 業(yè)務(wù)運(yùn)行在 datanode 節(jié)點(diǎn)的備節(jié)點(diǎn)上，二者的數(shù)據(jù)同步采用流復(fù)制的方式來進(jìn)行。

• 讀寫分離能力：提供了讀寫和只讀兩個(gè)平面視角，讀寫流量請(qǐng)求由主節(jié)點(diǎn)來處理，只讀流量請(qǐng)求由備節(jié)點(diǎn)來處理，主備節(jié)點(diǎn)的數(shù)據(jù)同步采用流復(fù)制的方式來進(jìn)行。

• 卓越的數(shù)據(jù)安全保障能力：通過三權(quán)分立的體系，將傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng) DBA 的角色分解為三個(gè)相互獨(dú)立的角色：安全管理員、審計(jì)管理員、數(shù)據(jù)管理員;基于此提出安全策略，主要細(xì)分為三個(gè)部分：數(shù)據(jù)加密、數(shù)據(jù)脫敏訪問、強(qiáng)制訪問控制，三者組合提供多個(gè)層級(jí)的數(shù)據(jù)安全保障能力。

• 高效的數(shù)據(jù)治理能力：數(shù)據(jù)傾斜治理，用以解決數(shù)據(jù)分布不均帶來的存儲(chǔ)以及性能壓力；冷熱數(shù)據(jù)分級(jí)存儲(chǔ) ，用以降低業(yè)務(wù)的存儲(chǔ)成本、提升熱數(shù)據(jù)的性能。

• 多核并行計(jì)算能力：節(jié)點(diǎn)內(nèi)部采用了并行計(jì)算，根據(jù)表大小同時(shí)啟動(dòng)多個(gè)進(jìn)程來協(xié)同完成一個(gè)查詢。

• 多租戶能力：基于節(jié)點(diǎn)組 node group 的集群內(nèi)多租戶解決方案，做到數(shù)據(jù)庫(kù)集群內(nèi)部的業(yè)務(wù)和資源隔離，多個(gè)業(yè)務(wù)在TBase內(nèi)部相互隔離的運(yùn)行。

• 多級(jí)容災(zāi)能力：采用強(qiáng)同步復(fù)制來保證主從數(shù)據(jù)完全一致，保障主節(jié)點(diǎn)故障時(shí)數(shù)據(jù)無丟失；提供基于任意時(shí)間點(diǎn)的恢復(fù)特性來防止誤操作帶來的數(shù)據(jù)丟失。

• 在線擴(kuò)容能力：通過引入shard map層（shard map 中每一項(xiàng)存儲(chǔ) shardid 和 DN 的 映射關(guān)系 ）, 在新加節(jié)點(diǎn)時(shí)，只需要把一些 shard map 中的 shardid 映射到新加的節(jié)點(diǎn)，并把對(duì)應(yīng)的數(shù)據(jù)搬遷過去就可以了，大大縮短擴(kuò)容時(shí)間。

• 豐富的周邊生態(tài)能力：PostGIS、異構(gòu)數(shù)據(jù)復(fù)制、LVS 負(fù)載均衡、FDW 聯(lián)邦能力等。

 TBase 適用場(chǎng)景：

• 在國(guó)產(chǎn)化落地、業(yè)務(wù)核心領(lǐng)域去 O 場(chǎng)景；

• 對(duì) HTAP 混合事務(wù)分析應(yīng)用模型有需要的業(yè)務(wù)場(chǎng)景；

• 對(duì)物聯(lián)網(wǎng)地理信息系統(tǒng)有需求的業(yè)務(wù)場(chǎng)景；

• 對(duì)實(shí)時(shí)高并發(fā)環(huán)境下的分布式事務(wù)強(qiáng)一致性有要求的業(yè)務(wù)（如金融、證券等業(yè)務(wù)）場(chǎng)景；

• 對(duì)企業(yè)級(jí)數(shù)據(jù)安全、審計(jì)、治理應(yīng)用相關(guān)功能有需求的業(yè)務(wù)場(chǎng)景；

• 對(duì)高可用、異地容災(zāi)、7*24 小時(shí)服務(wù)能力有需求的業(yè)務(wù)場(chǎng)景；

• 有海量存儲(chǔ)計(jì)算需求、彈性擴(kuò)容、在線擴(kuò)容需求的業(yè)務(wù)場(chǎng)景；

• 對(duì)異構(gòu)數(shù)據(jù)互通共享有需求的業(yè)務(wù)場(chǎng)景。