Redis Plus 來了，性能炸裂！

因公眾號(hào)更改推送規(guī)則，請(qǐng)點(diǎn)“在看”并加“星標(biāo)”第一時(shí)間獲取精彩技術(shù)分享

點(diǎn)擊關(guān)注#互聯(lián)網(wǎng)架構(gòu)師公眾號(hào)，領(lǐng)取架構(gòu)師全套資料 都在這里

今天給大家介紹的是KeyDB，KeyDB項(xiàng)目是從redis fork出來的分支。眾所周知redis是一個(gè)單線程的kv內(nèi)存存儲(chǔ)系統(tǒng)，而KeyDB在100%兼容redis API的情況下將redis改造成多線程。

線程模型

每個(gè)worker線程做了cpu綁核，讀取數(shù)據(jù)也使用了SO_INCOMING_CPU特性，指定cpu接收數(shù)據(jù)。

解析協(xié)議之后每個(gè)線程都會(huì)去操作內(nèi)存中的數(shù)據(jù)，由一把全局鎖來控制多線程訪問內(nèi)存數(shù)據(jù)。

主線程其實(shí)也是一個(gè)worker線程，包括了worker線程的工作內(nèi)容，同時(shí)也包括只有主線程才可以完成的工作內(nèi)容。在worker線程數(shù)組中下標(biāo)為0的就是主線程。

主線程的主要工作在實(shí)現(xiàn)serverCron，包括：

• 處理統(tǒng)計(jì)
• 客戶端鏈接管理
• db數(shù)據(jù)的resize和reshard
• 處理aof
• replication主備同步

• cluster模式下的任務(wù)

在redis中所有鏈接管理都是在一個(gè)線程中完成的。在KeyDB的設(shè)計(jì)中，每個(gè)worker線程負(fù)責(zé)一組鏈接，所有的鏈接插入到本線程的鏈接列表中維護(hù)。鏈接的產(chǎn)生、工作、銷毀必須在同個(gè)線程中。每個(gè)鏈接新增一個(gè)字段

int iel; /* the event loop index we're registered with */

用來表示鏈接屬于哪個(gè)線程接管。

KeyDB維護(hù)了三個(gè)關(guān)鍵的數(shù)據(jù)結(jié)構(gòu)做鏈接管理：

• clients_pending_write：線程專屬的鏈表，維護(hù)同步給客戶鏈接發(fā)送數(shù)據(jù)的隊(duì)列

• clients_pending_asyncwrite：線程專屬的鏈表，維護(hù)異步給客戶鏈接發(fā)送數(shù)據(jù)的隊(duì)列

• clients_to_close：全局鏈表，維護(hù)需要異步關(guān)閉的客戶鏈接

分成同步和異步兩個(gè)隊(duì)列，是因?yàn)閞edis有些聯(lián)動(dòng)api，比如pub/sub，pub之后需要給sub的客戶端發(fā)送消息，pub執(zhí)行的線程和sub的客戶端所在線程不是同一個(gè)線程，為了處理這種情況，KeyDB將需要給非本線程的客戶端發(fā)送數(shù)據(jù)維護(hù)在異步隊(duì)列中。

同步發(fā)送的邏輯比較簡單，都是在本線程中完成，以下圖來說明如何同步給客戶端發(fā)送數(shù)據(jù)：

    

     
int fdCmdWrite; //寫管道
     
int fdCmdRead; //讀管道
    

本地線程需要異步發(fā)送數(shù)據(jù)時(shí)，先檢查client是否屬于本地線程，非本地線程獲取到client專屬的線程ID，之后給專屬的線程管到發(fā)送AE_ASYNC_OP::CreateFileEvent的操作，要求添加寫socket事件。專屬線程在處理管道消息時(shí)將對(duì)應(yīng)的請(qǐng)求添加到寫事件中，如圖所示：

redis有些關(guān)閉客戶端的請(qǐng)求并非完全是在鏈接所在的線程執(zhí)行關(guān)閉，所以在這里維護(hù)了一個(gè)全局的異步關(guān)閉鏈表。

鎖機(jī)制

• try_lock：一次獲取失敗，直接返回
• lock：忙等，每1024 * 1024次忙等后使用sched_yield 主動(dòng)交出cpu，挪到cpu的任務(wù)末尾等待執(zhí)行。

Active-Replica

KeyDB實(shí)現(xiàn)了多活的機(jī)制，每個(gè)replica可設(shè)置成可寫非只讀，replica之間互相同步數(shù)據(jù)。主要特性有：

• 每個(gè)replica有個(gè)uuid標(biāo)志，用來去除環(huán)形復(fù)制

• 新增加rreplay API，將增量命令打包成rreplay命令，帶上本地的uuid

• key，value加上時(shí)間戳版本號(hào)，作為沖突校驗(yàn)，如果本地有相同的key且時(shí)間戳版本號(hào)大于同步過來的數(shù)據(jù)，新寫入失敗。采用當(dāng)前時(shí)間戳向左移20位，再加上后44位自增的方式來獲取key的時(shí)間戳版本號(hào)。

結(jié)束語

來源：baijiahao.baidu.com/s?id=1636300033246324795&wfr=spider&for=pc

1、2T架構(gòu)師學(xué)習(xí)資料干貨分享