重磅，騰訊開(kāi)源分布式存儲(chǔ)系統(tǒng)！

Tendis存儲(chǔ)版是騰訊互娛CROS DBA團(tuán)隊(duì) & 騰訊云數(shù)據(jù)庫(kù)團(tuán)隊(duì) 自主設(shè)計(jì)和研發(fā)的開(kāi)源分布式高性能KV存儲(chǔ)。完全兼容redis協(xié)議，并使用rocksdb作為存儲(chǔ)引擎。用戶可以通過(guò)redis client訪問(wèn)Tendis存儲(chǔ)版，幾乎不用修改代碼。同時(shí)，Tendis存儲(chǔ)版支持遠(yuǎn)超內(nèi)存的磁盤(pán)容量，可以大大降低用戶的存儲(chǔ)成本。

類(lèi)似于Redis Cluster, Tendis存儲(chǔ)版使用去中心化的集群管理架構(gòu)。數(shù)據(jù)節(jié)點(diǎn)之間通過(guò)gossip協(xié)議通訊，用戶訪問(wèn)集群中的任意數(shù)據(jù)節(jié)，請(qǐng)求都能路由到正確的節(jié)點(diǎn)。并且集群節(jié)點(diǎn)支持自動(dòng)發(fā)現(xiàn)、故障探測(cè)、自動(dòng)故障切換、數(shù)據(jù)搬遷等能力，極大降低運(yùn)維成本。

特性

• Redis兼容性

  完全兼容redis協(xié)議，支持絕大多數(shù)redis的指令

• 持久化存儲(chǔ)

  使用rocksdb作為存儲(chǔ)引擎，所有數(shù)據(jù)以特定格式存儲(chǔ)在rocksdb中，最大支持PB級(jí)存儲(chǔ)

• 去中心化架構(gòu)

  類(lèi)似于redis cluster的分布式實(shí)現(xiàn)，所有節(jié)點(diǎn)通過(guò)gossip協(xié)議通訊，可指定hashtag來(lái)控制數(shù)據(jù)分布和訪問(wèn)，使用和運(yùn)維成本極低。

• 水平擴(kuò)展

  集群支持增刪節(jié)點(diǎn)，并且數(shù)據(jù)可以按照slot在任意兩節(jié)點(diǎn)之間遷移，擴(kuò)容和縮容過(guò)程中對(duì)應(yīng)用運(yùn)維人員透明，支持?jǐn)U展至1000個(gè)節(jié)點(diǎn)。

• 故障高可用

  自動(dòng)檢測(cè)故障節(jié)點(diǎn)，當(dāng)故障發(fā)生，slave會(huì)提升為master繼續(xù)對(duì)外服務(wù)。

• redis冷熱混合存儲(chǔ)關(guān)鍵組件

  得益于Tendis存儲(chǔ)版的設(shè)計(jì)和內(nèi)部?jī)?yōu)化，Redis和Tendis存儲(chǔ)版可以一起工作成為Tendis冷熱混合存儲(chǔ)。混合存儲(chǔ)區(qū)非常適用于KV存儲(chǔ)場(chǎng)景，并平衡了性能和成本。對(duì)于redis，占用大量存儲(chǔ)空間的冷數(shù)據(jù)降冷后可以最多減少80%的成本，同時(shí)保證熱數(shù)據(jù)在redis的訪問(wèn)性能。

Tendis 冷熱混合存儲(chǔ)版整體架構(gòu)

Tendis 冷熱混合存儲(chǔ)版主要由 Proxy 、緩存層 Redis、 存儲(chǔ)層 Tendis 存儲(chǔ)版 和 同步層 Redis-sync 組成, 其中每個(gè)組件的功能如下:

Proxy 組件: 負(fù)責(zé)對(duì)客戶端請(qǐng)求進(jìn)行路由分發(fā)，將不同的 Key 的命令分發(fā)到正確的分片，同時(shí) Proxy 還負(fù)責(zé)了部分監(jiān)控?cái)?shù)據(jù)的采集，以及高危命令在線禁用等功能。

緩存層 Redis Cluster: 緩存層 Redis 基于 社區(qū) Redis 4.0 進(jìn)行開(kāi)發(fā)。Redis 具有以下功能: 1) 版本控制 2) 自動(dòng)將 冷數(shù)據(jù)從緩存層中淘汰, 將熱數(shù)據(jù)從存儲(chǔ)層加載到緩存層; 3) 使用 Cuckoo Filter 表示全量 Keys, 防止緩存穿透; 4) 基于 RDB+AOF 擴(kuò)縮容方式, 擴(kuò)縮容更加高效便捷。

存儲(chǔ)層 Tendis Cluster: Tendis 存儲(chǔ)版 是騰訊基于 RocksDB 自研的 兼容 Redis 協(xié)議的 KV 存儲(chǔ)引擎, 該引擎已經(jīng)在騰訊集團(tuán)內(nèi)部運(yùn)營(yíng)多年, 性能和穩(wěn)定性得到了充分的驗(yàn)證。在混合存儲(chǔ)系統(tǒng)中主要負(fù)責(zé)全量數(shù)據(jù)的存儲(chǔ)和讀取, 以及數(shù)據(jù)備份, 增量日志備份等功能。

同步層 Redis-sync: 1) 并行數(shù)據(jù)導(dǎo)入 存儲(chǔ)層 Tendis; 2) 服務(wù)無(wú)狀態(tài), 故障重新拉起; 3) 數(shù)據(jù)自動(dòng)路由。

• 緩存層 Redis Cluster 和 存儲(chǔ)層 Tendis Cluster 分別進(jìn)行擴(kuò)縮容, 集群自治管理等。

• 冷數(shù)據(jù)自動(dòng)降冷, 降低內(nèi)存成本; 熱數(shù)據(jù)自動(dòng)緩存, 降低訪問(wèn)延遲

項(xiàng)目地址

開(kāi)源地址：https://github.com/Tencent/Tendis