Redis 生產(chǎn)架構(gòu)選型解決方案
來源：juejin.cn/post/6955355807231770631
在寫開源項(xiàng)目的時(shí)候，想到了要支持多種redis部署方式，于是對于這塊的生產(chǎn)環(huán)境的架構(gòu)選型展開調(diào)研
有幫助的話，請點(diǎn)一個(gè)關(guān)注，支持我的繼續(xù)撰稿，謝謝～
一 引擎版本
推薦使用更新的引擎版本以支持更多的特性，
Redis 6.0新特性說明
模塊系統(tǒng)新增多個(gè)API。 支持SSL/TLS加密。 支持新的Redis協(xié)議：RESP3。 服務(wù)端支持多模式的客戶端緩存。 支持多線程IO。 副本中支持無盤復(fù)制（diskless replication）。 Redis-benchmark新增了Redis集群模式。 支持重寫Systemd。 支持Disque模塊。
Redis 5.0新特性說明
云數(shù)據(jù)庫Redis 5.0版本大幅度優(yōu)化內(nèi)核，運(yùn)行更加穩(wěn)定，同時(shí)新增Stream、賬號管理、審計(jì)日志等多種特性，滿足您更多場景下的使用需求。 新的數(shù)據(jù)類型：流數(shù)據(jù)（Stream）。詳細(xì)說明請參見Redis Streams。 新增賬號管理功能。 新增日志管理功能，支持審計(jì)日志、運(yùn)行日志和慢日志，您可以通過日志管理查詢讀寫操作、敏感操作（如KEYS、FLUSHALL）和管理類命令的使用記錄以及慢日志。 新增基于快照的緩存分析功能。 新的定時(shí)器（Timers）、集群（ Cluster）和字典（Dictionary）模塊的API。 RDB中增加LFU和LRU信息。 集群管理器從Ruby （redis-trib.rb）移植到了redis-cli中的C語言代碼。 新增有序集合（Sorted Set）命令ZPOPMIN、ZPOPMAX、BZPOPMIN和BZPOPMAX。 升級Active Defragmentation至v2版本。 增強(qiáng)HyperLogLog的實(shí)現(xiàn)。 優(yōu)化內(nèi)存統(tǒng)計(jì)報(bào)告。 為許多有子命令的命令增加了HELP子命令。 提高了客戶端頻繁連接和斷開連接時(shí)的性能表現(xiàn)。 升級Jemalloc至5.1版本。 新增命令CLIENT ID和CLIENT UNBLOCK。 新增了為藝術(shù)而生的LOLWUT命令。 棄用slave術(shù)語（需要API向后兼容的情況例外）。 對網(wǎng)絡(luò)層進(jìn)行了多處優(yōu)化。 進(jìn)行了一些Lua相關(guān)的改進(jìn)。 新增動態(tài)HZ（Dynamic HZ）以平衡空閑CPU使用率和響應(yīng)性。 對Redis核心代碼進(jìn)行了重構(gòu)并在許多方面進(jìn)行了改進(jìn)。
二 架構(gòu)
您需要根據(jù)業(yè)務(wù)需求選擇：
集群架構(gòu) 可輕松突破Redis自身單線程瓶頸，滿足大容量、高性能的業(yè)務(wù)需求。 主從架構(gòu) ，提供高性能的緩存服務(wù)和數(shù)據(jù)高可靠。 讀寫分離架構(gòu) 提供高可用、高性能、高靈活的讀寫分離服務(wù)，解決熱點(diǎn)數(shù)據(jù)集中及高并發(fā)讀取的業(yè)務(wù)需求，最大化地節(jié)約用戶運(yùn)維成本。
2.1 主從架構(gòu)-雙副本
采用主從（master-replica）模式搭建。主節(jié)點(diǎn)提供日常服務(wù)訪問，備節(jié)點(diǎn)提供HA高可用，當(dāng)主節(jié)點(diǎn)發(fā)生故障，系統(tǒng)會自動在30秒內(nèi)切換至備節(jié)點(diǎn)，保證業(yè)務(wù)平穩(wěn)運(yùn)行。
可靠性
服務(wù)可靠采用雙機(jī)主從（master-replica）架構(gòu)，主從節(jié)點(diǎn)位于不同物理機(jī)。主節(jié)點(diǎn)對外提供訪問，用戶可通過Redis命令行和通用客戶端進(jìn)行數(shù)據(jù)的增刪改查操作。當(dāng)主節(jié)點(diǎn)出現(xiàn)故障，HA系統(tǒng)會自動進(jìn)行主從切換，保證業(yè)務(wù)平穩(wěn)運(yùn)行。 數(shù)據(jù)可靠默認(rèn)開啟數(shù)據(jù)持久化功能，數(shù)據(jù)全部落盤。支持?jǐn)?shù)據(jù)備份功能，用戶可以針對備份集回滾實(shí)例或者克隆實(shí)例，有效地解決數(shù)據(jù)誤操作等問題。
使用場景
Redis作為持久化數(shù)據(jù)存儲使用的業(yè)務(wù)標(biāo)準(zhǔn)版提供持久化機(jī)制及備份恢復(fù)機(jī)制，極大地保證數(shù)據(jù)可靠性。 單個(gè)Redis性能壓力可控的業(yè)務(wù)由于Redis原生采用單線程機(jī)制，性能在10萬QPS以下的業(yè)務(wù)建議使用。如果需要更高的性能要求，請選用集群版本。 Redis命令相對簡單，排序、計(jì)算類命令較少的業(yè)務(wù)由于Redis的單線程機(jī)制，CPU會成為主要瓶頸。如排序、計(jì)算類較多的業(yè)務(wù)建議選用集群版配置。
2.2 主從架構(gòu)-單副本
可以在沒有數(shù)據(jù)可靠性要求的純緩存場景充分發(fā)揮性能優(yōu)勢。
使用場景
純緩存類業(yè)務(wù)場景
單副本版本只有一個(gè)數(shù)據(jù)庫節(jié)點(diǎn)，節(jié)點(diǎn)出現(xiàn)故障時(shí)，系統(tǒng)會重新拉起一個(gè)Redis進(jìn)程（沒有數(shù)據(jù)），當(dāng)節(jié)點(diǎn)故障業(yè)務(wù)自動切換完成后，應(yīng)用程序需要將數(shù)據(jù)重新預(yù)熱，以免對后端數(shù)據(jù)庫產(chǎn)生訪問壓力沖擊。單副本架構(gòu)不能提供數(shù)據(jù)可靠性，如果發(fā)生節(jié)點(diǎn)故障，您需要重新對業(yè)務(wù)進(jìn)行預(yù)熱，因此，在對數(shù)據(jù)可靠性要求較高的敏感性業(yè)務(wù)中，建議選用雙副本架構(gòu)。
單個(gè)Redis性能壓力可控
由于Redis原生采用單線程機(jī)制，CPU為單核能力，性能在8萬QPS的業(yè)務(wù)建議使用。如果需要更高的性能要求，請選用集群版配置。
Redis命令相對簡單，排序、計(jì)算類命令較少
由于Redis的單線程機(jī)制，CPU為主要瓶頸。如排序、計(jì)算類較多的業(yè)務(wù)建議選用集群版配置。
2.3 集群版-雙副本
可輕松突破Redis自身單線程瓶頸，滿足大容量、高性能的業(yè)務(wù)需求。雙副本集群版實(shí)例采用集群架構(gòu)，每個(gè)分片服務(wù)器采用主從（master-replica）雙副本模式。集群版支持代理和直連兩種連接模式 ，您可以根據(jù)本章節(jié)的說明，選擇適合業(yè)務(wù)需求的連接模式。
代理模式
集群架構(gòu)的本地盤實(shí)例默認(rèn)采用代理（proxy）模式 ，支持通過一個(gè)統(tǒng)一的連接地址（域名）訪問Redis集群，客戶端的請求通過代理服務(wù)器轉(zhuǎn)發(fā)到各數(shù)據(jù)分片，代理服務(wù)器、數(shù)據(jù)分片和配置服務(wù)器均不提供單獨(dú)的連接地址，降低了應(yīng)用開發(fā)難度和代碼復(fù)雜度。代理模式的服務(wù)架構(gòu)圖和組件說明如下。
image.png
image.png
直連模式
因所有請求都要通過代理服務(wù)器轉(zhuǎn)發(fā)，代理模式在降低業(yè)務(wù)開發(fā)難度的同時(shí)也會小幅度影響Redis服務(wù)的響應(yīng)速度。如果業(yè)務(wù)對響應(yīng)速度的要求非常高，您可以使用直連模式，繞過代理服務(wù)器直接連接后端數(shù)據(jù)分片，從而降低網(wǎng)絡(luò)開銷和服務(wù)響應(yīng)時(shí)間。直連模式的服務(wù)架構(gòu)和說明如下。
image.png
前提條件 使用Jedis、PhpRedis等支持Redis Cluster的客戶端。
使用不支持Redis Cluster的客戶端，可能因客戶端無法重定向請求到正確的分片而獲取不到需要的數(shù)據(jù)。 Jedis對于Redis Cluster的支持是基于JedisCluster這個(gè)類，詳細(xì)說明請參見Jedis文檔。 您可以在Redis官網(wǎng)的客戶端列表里查找更多支持Redis Cluster的客戶端。
使用自定義連接池的示例代碼 `import redis.clients.jedis.*;
import java.util.HashSet; import java.util.Set; public class main { private static final int DEFAULT_TIMEOUT = 2000; private static final int DEFAULT_REDIRECTIONS = 5; private static final JedisPoolConfig DEFAULT_CONFIG = new JedisPoolConfig();
public static void main(String args[]){
JedisPoolConfig config = new JedisPoolConfig();
// 最大空閑連接數(shù), 根據(jù)業(yè)務(wù)需要設(shè)置，不能超過實(shí)例規(guī)格規(guī)定的最大的連接數(shù)
config.setMaxIdle(200);
// 最大連接數(shù), 根據(jù)業(yè)務(wù)需要設(shè)置，不能超過實(shí)例規(guī)格規(guī)定的最大的連接數(shù)
config.setMaxTotal(300);
config.setTestOnBorrow(false);
config.setTestOnReturn(false);
// 開通直連訪問時(shí)申請到的直連地址
String host = "r-bp1xxxxxxxxxxxx.redis.rds.aliyuncs.com";
int port = 6379;
// 實(shí)例的密碼
String password = "xxxxx";
Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>();
jedisClusterNode.add(new HostAndPort(host, port));
JedisCluster jc = new JedisCluster(jedisClusterNode, DEFAULT_TIMEOUT, DEFAULT_TIMEOUT,
DEFAULT_REDIRECTIONS,password, "clientName", config);
}
}`
2.4 集群版-單副本
image.png
image.png
2.5 讀寫分離版
針對讀多寫少的業(yè)務(wù)場景，提供高可用、高性能、靈活的讀寫分離服務(wù)，滿足熱點(diǎn)數(shù)據(jù)集中及高并發(fā)讀取的業(yè)務(wù)需求，最大化地節(jié)約運(yùn)維成本。讀寫分離版主要由主備節(jié)點(diǎn)、只讀節(jié)點(diǎn)、Proxy（代理）節(jié)點(diǎn)和高可用系統(tǒng)組成。
image.png
image.png
特點(diǎn)
高可用
通過自研的高可用系統(tǒng)自動監(jiān)控所有數(shù)據(jù)節(jié)點(diǎn)的健康狀態(tài)，為整個(gè)實(shí)例的可用性保駕護(hù)航。主節(jié)點(diǎn)不可用時(shí)自動選擇新的主節(jié)點(diǎn)并重新搭建復(fù)制拓?fù)洹Ｄ硞€(gè)只讀節(jié)點(diǎn)異常時(shí)，高可用系統(tǒng)能夠自動探知并重新啟動新節(jié)點(diǎn)完成數(shù)據(jù)同步，下線異常節(jié)點(diǎn)。 Proxy節(jié)點(diǎn)實(shí)時(shí)感知每個(gè)只讀實(shí)例的服務(wù)狀態(tài)。在某個(gè)只讀實(shí)例異常期間，Proxy會自動降低該節(jié)點(diǎn)的服務(wù)權(quán)重，發(fā)現(xiàn)只讀節(jié)點(diǎn)連續(xù)失敗超過一定次數(shù)以后，會停止異常節(jié)點(diǎn)的服務(wù)權(quán)利，并具備繼續(xù)監(jiān)控后續(xù)重新啟動節(jié)點(diǎn)服務(wù)的能力。
高性能
讀寫分離版采取鏈?zhǔn)綇?fù)制架構(gòu)，可以通過擴(kuò)展只讀實(shí)例個(gè)數(shù)使整體實(shí)例性能呈線性增長 ，同時(shí)基于源碼層面對Redis復(fù)制流程的定制優(yōu)化，可以最大程度地提升線性復(fù)制的系統(tǒng)穩(wěn)定性，充分利用每一個(gè)只讀節(jié)點(diǎn)的物理資源。
使用場景
讀取請求QPS（Queries Per Second）壓力較大
標(biāo)準(zhǔn)版Redis無法支撐較大的QPS，如果業(yè)務(wù)類型是讀多寫少類型，需要采用多個(gè)只讀節(jié)點(diǎn)的部署方式來突破Redis單線程的性能瓶頸。Redis集群版提供1個(gè)、3個(gè)、5個(gè)只讀節(jié)點(diǎn)的配置，相比標(biāo)準(zhǔn)版可以將QPS提升近5倍。
對Redis協(xié)議兼容性要求較高的業(yè)務(wù) 讀寫分離版完全兼容Redis協(xié)議命令，可將自建Redis數(shù)據(jù)庫遷移至讀寫分離版，同時(shí)支持從Redis標(biāo)準(zhǔn)版（雙副本）一鍵平滑升級至讀寫分離版。
建議與使用須知
當(dāng)一個(gè)只讀節(jié)點(diǎn)發(fā)生故障時(shí)，請求會轉(zhuǎn)發(fā)到其他節(jié)點(diǎn)；如果所有只讀節(jié)點(diǎn)均不可用，請求會全部轉(zhuǎn)發(fā)到主節(jié)點(diǎn)。只讀節(jié)點(diǎn)異常可能導(dǎo)致主節(jié)點(diǎn)負(fù)載提高、響應(yīng)時(shí)間變長，因此在讀負(fù)載高的業(yè)務(wù)場景建議使用多個(gè)只讀節(jié)點(diǎn)。 某些場景會觸發(fā)只讀節(jié)點(diǎn)的全量同步，例如在主節(jié)點(diǎn)觸發(fā)高可用切換后。全量同步期間只讀節(jié)點(diǎn)不提供服務(wù)并返回-LOADING Redis is loading the dataset in memory\r\n信息。
1. Spring Boot 青睞的數(shù)據(jù)庫連接池HikariCP為什么是史上最快的？
2. System.currentTimeMillis的性能，真有如此不堪嗎？
最近面試BAT，整理一份面試資料《Java面試BATJ通關(guān)手冊》，覆蓋了Java核心技術(shù)、JVM、Java并發(fā)、SSM、微服務(wù)、數(shù)據(jù)庫、數(shù)據(jù)結(jié)構(gòu)等等。
獲取方式：點(diǎn)“在看”，關(guān)注公眾號并回復(fù) Java 領(lǐng)取，更多內(nèi)容陸續(xù)奉上。
文章有幫助的話，在看，轉(zhuǎn)發(fā)吧。
謝謝支持喲 (*^__^*)
