騰訊，干掉 Redis 項(xiàng)目，正式開源、太牛逼啦！

項(xiàng)目簡(jiǎn)介

Tendis是騰訊互娛CROS DBA團(tuán)隊(duì) & 騰訊云數(shù)據(jù)庫團(tuán)隊(duì)自主設(shè)計(jì)和研發(fā)的分布式高性能KV存儲(chǔ)數(shù)據(jù)庫，兼容Redis核心數(shù)據(jù)結(jié)構(gòu)與接口，可提供大容量、低成本、強(qiáng)持久化的數(shù)據(jù)庫能力，適用于兼容Redis協(xié)議、需要大容量且較高訪問性能的溫冷數(shù)據(jù)存儲(chǔ)場(chǎng)景。Tendis目前已經(jīng)被應(yīng)用到騰訊內(nèi)、外部大型項(xiàng)目中。

集群架構(gòu)

Tendis使用去中心化集群架構(gòu)，每個(gè)數(shù)據(jù)節(jié)點(diǎn)都擁有全部的路由信息，用戶可以訪問集群中的任意節(jié)點(diǎn)，并且通過redis的move協(xié)議，最終路由到正確的節(jié)點(diǎn)。

每個(gè)Tendis節(jié)點(diǎn)維護(hù)各自的slot數(shù)據(jù)，任意兩個(gè)master節(jié)點(diǎn)之間的slot不重復(fù)，master節(jié)點(diǎn)之間支持基于slot的數(shù)據(jù)搬遷，主備節(jié)點(diǎn)之間通過binlog實(shí)現(xiàn)數(shù)據(jù)復(fù)制。

所有節(jié)點(diǎn)之間通過gossip協(xié)議進(jìn)行通訊，類似于redis cluster的分布式實(shí)現(xiàn)，所有節(jié)點(diǎn)通過gossip協(xié)議通訊，可指定hashtag來控制數(shù)據(jù)分布和訪問，使用和運(yùn)維成本極低。

?

適用場(chǎng)景

1、兼容Redis協(xié)議，需要大容量且較高訪問性能的溫冷數(shù)據(jù)存儲(chǔ)場(chǎng)景

2、適合成本為主要考慮因素，業(yè)務(wù)數(shù)據(jù)有高持久化要求的業(yè)務(wù)場(chǎng)景

3、解決原生Redis固有的fork問題而預(yù)留部分內(nèi)存問題

?

主要特性

兼容Redis協(xié)議

完全兼容redis協(xié)議，支持redis主要數(shù)據(jù)結(jié)構(gòu)和接口，兼容大部分原生Redis命令。

持久化存儲(chǔ)

使用rocksdb作為存儲(chǔ)引擎，所有數(shù)據(jù)以特定格式存儲(chǔ)在rocksdb中，最大支持PB級(jí)存儲(chǔ)。

去中心化架構(gòu)

類似于redis cluster的分布式實(shí)現(xiàn)，所有節(jié)點(diǎn)通過gossip協(xié)議通訊，可指定hashtag來控制數(shù)據(jù)分布和訪問，使用和運(yùn)維成本極低。

水平擴(kuò)展

集群支持增刪節(jié)點(diǎn)，并且數(shù)據(jù)可以按照slot在任意兩節(jié)點(diǎn)之間遷移，擴(kuò)容和縮容過程中對(duì)應(yīng)用運(yùn)維人員透明，支持?jǐn)U展至1000個(gè)節(jié)點(diǎn)。

故障自動(dòng)切換

自動(dòng)檢測(cè)故障節(jié)點(diǎn)，當(dāng)故障發(fā)生后，slave會(huì)自動(dòng)提升為master繼續(xù)對(duì)外提供服務(wù)。

Tendis冷熱混合存儲(chǔ)關(guān)鍵組件

得益于Tendis存版的設(shè)計(jì)和內(nèi)部?jī)?yōu)化，Redis和Tendis存儲(chǔ)版可以一起工作成為Tendis冷熱混合存儲(chǔ)?；旌洗鎯?chǔ)區(qū)非常適用于KV存儲(chǔ)場(chǎng)景，并平衡了性能和成本。對(duì)于redis占用大量存儲(chǔ)空間的冷數(shù)據(jù)降冷后可以最多減少80%的成本，同時(shí)保證了熱數(shù)據(jù)在redis的訪問性能。

?

項(xiàng)目規(guī)劃

1、持續(xù)完善對(duì)Redis的兼容性，包括支持LUA等命令

2、進(jìn)一步提升Tendis的性能，減少rocksdb本身的性能抖動(dòng)問題。

3、探索更多軟硬結(jié)合方案，基于新硬件特性，發(fā)揮更大的數(shù)據(jù)庫性能。

4、支持異構(gòu)數(shù)據(jù)互通能力，降低異構(gòu)數(shù)據(jù)庫的遷移成本

5、運(yùn)維管理能力全面提升，PaaS能力持續(xù)增強(qiáng)

?

Tendis期待與您開源共建

Tendis目前已在騰訊內(nèi)外部包括游戲、視頻、社交、電商等多個(gè)行業(yè)提供數(shù)據(jù)庫支撐。我們期望通過將Tendis開源，能夠有助于業(yè)界其他相關(guān)領(lǐng)域的應(yīng)用。同時(shí)通過Tendis開源項(xiàng)目的平臺(tái)，打造一個(gè)行業(yè)標(biāo)桿級(jí)的分布式KV存儲(chǔ)數(shù)據(jù)庫產(chǎn)品，期待與您一起共建Tendis項(xiàng)目！

https://github.com/Tencent/Tendis

請(qǐng)給項(xiàng)目 一個(gè) Star ! 歡迎提出你的 issue 和 PR！

國(guó)內(nèi)鏡像地址：

https://git.code.tencent.com/TencentOpenSource/Tendis

文章來源公眾號(hào)：騰訊開源

—————END—————

推薦閱讀：

反向代理、負(fù)載均衡！優(yōu)秀的 Nginx 是如何做到的？
Mysql表有近千萬數(shù)據(jù)，CRUD如何優(yōu)化？
來吧，用設(shè)計(jì)模式來干掉 if-else ！
SpringBoot中如何在實(shí)現(xiàn)快速導(dǎo)出Excel ？
匯總一下Intellij IDEA炫酷的插件
一款面向大眾的Java版視頻管理系統(tǒng)，值得收藏！

最近面試BAT，整理一份面試資料《Java面試BAT通關(guān)手冊(cè)》，覆蓋了Java核心技術(shù)、JVM、Java并發(fā)、SSM、微服務(wù)、數(shù)據(jù)庫、數(shù)據(jù)結(jié)構(gòu)等等。
獲取方式：點(diǎn)“在看”，關(guān)注公眾號(hào)并回復(fù)?666?領(lǐng)取，更多內(nèi)容陸續(xù)奉上。
明天見(??ω??)??