??目錄

1 緩存策略

2 緩存類(lèi)型

3 緩存淘汰策略

4 緩存常見(jiàn)問(wèn)題

5 總結(jié)

本文介紹了后臺(tái)開(kāi)發(fā)中使用的緩存技術(shù)，如緩存策略、緩存類(lèi)型，包括本地緩存和分布式緩存，還有緩存淘汰策略，以及緩存使用中的常見(jiàn)問(wèn)題，如一致性問(wèn)題、緩存雪崩、緩存穿透、緩存擊穿。

緩存（Cache）是一種存儲(chǔ)技術(shù)，可以存儲(chǔ)數(shù)據(jù)，以便快速獲取數(shù)據(jù)。緩存最重要的是兩個(gè)特性：存儲(chǔ)、快速獲取。緩存的本質(zhì)：「用空間換時(shí)間」，用快速存儲(chǔ)的介質(zhì)保存數(shù)據(jù)，以提升數(shù)據(jù)訪問(wèn)的速度。

在計(jì)算機(jī)的世界里，緩存被廣泛應(yīng)用于硬件（如 CPU 高速緩存、寄存器）和軟件中（如瀏覽器緩存、CDN、應(yīng)用程序中的緩存等）。

后臺(tái)中的緩存

后臺(tái)開(kāi)發(fā)中，緩存的使用場(chǎng)景一般有：

提升接口響應(yīng)速度：緩存相比 IO 請(qǐng)求、數(shù)據(jù)庫(kù)查詢(xún)速度要快得多，適當(dāng)使用緩存提升響應(yīng)速度
降低數(shù)據(jù)源服務(wù)的負(fù)載壓力：將需要高并發(fā)讀取的數(shù)據(jù)緩存起來(lái)，當(dāng)相同請(qǐng)求進(jìn)來(lái)時(shí)返回緩存數(shù)據(jù)，減輕數(shù)據(jù)源服務(wù)（如數(shù)據(jù)庫(kù)、上游系統(tǒng)）的負(fù)載壓力
減少計(jì)算資源的浪費(fèi)：將需要復(fù)雜且耗時(shí)計(jì)算的結(jié)果緩存起來(lái)，減少相同請(qǐng)求導(dǎo)致的重復(fù)計(jì)算資源浪費(fèi)

01

緩存策略

緩存策略通常分為兩種，通讀緩存和旁路緩存。

1.1 通讀（read-through）緩存

在使用通讀緩存時(shí)，應(yīng)用程序會(huì)嘗試從緩存中獲取數(shù)據(jù)。如果該數(shù)據(jù)已存在于緩存中，那么緩存會(huì)直接返回該數(shù)據(jù)。若緩存中并未包含所需數(shù)據(jù)，那么緩存會(huì)自行訪問(wèn)數(shù)據(jù)源來(lái)獲取數(shù)據(jù)，并將獲取的數(shù)據(jù)返回給應(yīng)用程序，同時(shí)將這份數(shù)據(jù)保存在緩存中。如此一來(lái)，當(dāng)應(yīng)用程序下次需要同樣的數(shù)據(jù)時(shí)，就能夠直接從 read-through 緩存中獲取，無(wú)需再次訪問(wèn)數(shù)據(jù)源。

通讀緩存的應(yīng)用有很多，比如 CDN：

CDN（Content Delivery Network）即內(nèi)容分發(fā)網(wǎng)絡(luò)，是一種分布式的網(wǎng)絡(luò)架構(gòu)。依賴(lài)于服務(wù)商提供的廣泛分布于各地的 CDN 服務(wù)器，通過(guò)把數(shù)據(jù)分發(fā)并緩存到各地的 CDN 服務(wù)器上，當(dāng)用戶請(qǐng)求數(shù)據(jù)時(shí)，CDN 會(huì)匹配離用戶距離最近的節(jié)點(diǎn)并返回緩存數(shù)據(jù)，以此來(lái)提高用戶訪問(wèn)資源的速度。CDN 一般用來(lái)加速靜態(tài)資源的傳輸，比如圖片、CSS、HTML 等內(nèi)容。而動(dòng)態(tài)的內(nèi)容，如搜索結(jié)果、單據(jù)信息等則不合適，這類(lèi)數(shù)據(jù)需要應(yīng)用服務(wù)器實(shí)時(shí)計(jì)算后才能返回。

騰訊云 CDN 具有海量資源儲(chǔ)備、全球智能調(diào)度、一鍵接入、豐富功能等產(chǎn)品優(yōu)勢(shì)，歡迎企業(yè)及用戶了解試用：https://cloud.tencent.com/product/cdn

配圖來(lái)源：seobility

1.2 旁路（cache-aside）緩存

與通讀緩存不同，旁路緩存不直接與數(shù)據(jù)源打交道。應(yīng)用程序嘗試從旁路緩存獲取數(shù)據(jù)，如果數(shù)據(jù)不存在，則返回空。應(yīng)用程序自行請(qǐng)求數(shù)據(jù)源獲取數(shù)據(jù)，并寫(xiě)入旁路緩存。這樣下次相同的請(qǐng)求到達(dá)時(shí)，應(yīng)用程序從旁路緩存中則會(huì)獲取到數(shù)據(jù)。

通讀緩存和旁路緩存這兩種策略，一般來(lái)說(shuō)都會(huì)靈活應(yīng)用、互相包含。比如通讀緩存中，對(duì)數(shù)據(jù)的查詢(xún)和寫(xiě)緩存，使用的就是旁路緩存策略。而該實(shí)現(xiàn)被整體封裝起來(lái)，對(duì)外表現(xiàn)的則是通讀緩存策略。

02

緩存類(lèi)型

在后臺(tái)服務(wù)中，緩存的類(lèi)型可以分為本地緩存和分布式緩存。

2.1 本地緩存（local cache）

本地緩存，與應(yīng)用程序的進(jìn)程有相同的生命周期，存放于應(yīng)用程序的堆空間（heap）中。

優(yōu)勢(shì)：

使用簡(jiǎn)單；無(wú)外部依賴(lài)；讀取速度快（無(wú)網(wǎng)絡(luò) IO 請(qǐng)求）；
缺點(diǎn)：

空間小：應(yīng)用程序的服務(wù)器資源有限，所以本地緩存的空間小；分布式一致性問(wèn)題：如果后臺(tái)服務(wù)是分布式架構(gòu)的，那么不同的服務(wù)實(shí)例之間的本地緩存可能會(huì)有差異；無(wú)法持久化：本地緩存會(huì)隨著進(jìn)程結(jié)束而被銷(xiāo)毀，無(wú)法持久化。

2.2 分布式緩存（remote cache）

分布式緩存，也可理解為遠(yuǎn)端緩存。使用外部的緩存服務(wù)，獨(dú)立部署，與應(yīng)用程序解藕。

優(yōu)勢(shì)：

空間充足：外部存儲(chǔ)一般空間都很充足；無(wú)分布式一致性問(wèn)題：不同的服務(wù)實(shí)例連接同一個(gè)緩存服務(wù)，不存在一致性問(wèn)題；主流的分布式緩存，如 redis，支持?jǐn)?shù)據(jù)持久化和恢復(fù)，當(dāng)緩存服務(wù)掛了可以恢復(fù)數(shù)據(jù)。
缺點(diǎn)：

引入外部依賴(lài)、需要部署和運(yùn)維單獨(dú)的緩存服務(wù)。

2.2.1 常見(jiàn)的緩存服務(wù)

Redis

支持多種數(shù)據(jù)結(jié)構(gòu)，如：list，set，zset，hash 等數(shù)據(jù)結(jié)構(gòu)。
支持?jǐn)?shù)據(jù)的持久化和恢復(fù)。
支持多種集群模式：主從復(fù)制、哨兵模式和 Cluster 模式，保證高可用、容災(zāi)恢復(fù)、易于擴(kuò)展。
能提供毫秒級(jí)別的響應(yīng)速度。
Redis 6.0 引入了多線程 IO，之前是單線程模型。

Memcache

主要支持簡(jiǎn)單的鍵值對(duì)存儲(chǔ)。
不支持持久化和恢復(fù)。
集群：可以通過(guò)客戶端分片實(shí)現(xiàn)分布式存儲(chǔ)。
多線程，非阻塞 IO 模式。
能提供毫秒級(jí)別的響應(yīng)速度。

選擇 Redis 還是 Memcached 取決于具體的應(yīng)用需求。如果需要一個(gè)輕量級(jí)、專(zhuān)注于緩存的解決方案，且不需要復(fù)雜的數(shù)據(jù)類(lèi)型和持久化，Memcached 可能是更合適的選擇。而如果應(yīng)用需要利用豐富的數(shù)據(jù)類(lèi)型、持久化以及構(gòu)建高可用的分布式系統(tǒng)，Redis 將是更強(qiáng)大、更靈活的選擇。

03

緩存淘汰策略

由于緩存的空間是有限的，如果緩慢的空間被使用完了，則需要淘汰舊的數(shù)據(jù)，騰出空間給新的數(shù)據(jù)使用。緩存淘汰常用的幾種策略有如下幾種。

3.1 FIFO（First In First Out）算法

FIFO 算法是最簡(jiǎn)單最好理解的，其策略是：先進(jìn)先出，如果一個(gè)數(shù)據(jù)的寫(xiě)入時(shí)間越早，說(shuō)明將來(lái)被訪問(wèn)的幾率越低。因此 FIFO 算法優(yōu)先淘汰最早寫(xiě)入的數(shù)據(jù)。

3.2 LRU（Least Recently Used）算法

LRU 算法，即最近最少使用算法。如果一個(gè)數(shù)據(jù)最近被訪問(wèn)了，那么將來(lái)被訪問(wèn)的幾率越高。反之，如果一個(gè)數(shù)據(jù)很久都沒(méi)有訪問(wèn)，那么將來(lái)被訪問(wèn)的幾率越低。其淘汰策略就是：優(yōu)先淘汰最久沒(méi)有被使用到的數(shù)據(jù)。LRU 通常使用雙向鏈表+哈希表來(lái)實(shí)現(xiàn)。

3.3 LFU（Least Frequently Used）算法

LFU 算法，即最少使用算法。如果一個(gè)數(shù)據(jù)被訪問(wèn)的次數(shù)越多，那么將來(lái)被訪問(wèn)的幾率越高。反之，如果一個(gè)數(shù)據(jù)被訪問(wèn)的次數(shù)越少，那么將來(lái)被訪問(wèn)的幾率越小。其淘汰策略就是：優(yōu)先淘汰最少被使用的數(shù)據(jù)。LFU 算法可以使用小頂堆+哈希表來(lái)實(shí)現(xiàn)。

大部分本地緩存的三方庫(kù)或緩存服務(wù)，都支持設(shè)置淘汰算法，無(wú)需自行實(shí)現(xiàn)。

04

緩存常見(jiàn)問(wèn)題

4.1 緩存與數(shù)據(jù)源的一致性

緩存的數(shù)據(jù)是來(lái)自數(shù)據(jù)源的，當(dāng)數(shù)據(jù)源被更新了，而緩存沒(méi)有被更新，后臺(tái)服務(wù)則會(huì)從緩存中取到臟數(shù)據(jù)，這就有數(shù)據(jù)臟讀的問(wèn)題。對(duì)于這個(gè)問(wèn)題，主要的策略有兩種。

4.1.1 過(guò)期失效

每個(gè)寫(xiě)入緩存中的數(shù)據(jù)，都設(shè)置一個(gè)合適的過(guò)期時(shí)間，在有效期內(nèi)都返回緩存的數(shù)據(jù)。當(dāng)緩存數(shù)據(jù)過(guò)期失效，則會(huì)回源到數(shù)據(jù)源，重新緩存最新的數(shù)據(jù)。這種情況會(huì)有數(shù)據(jù)臟讀的問(wèn)題，不過(guò)采用過(guò)期失效的數(shù)據(jù)，一般是更新不頻繁的數(shù)據(jù)，比如用戶信息、熱門(mén)信息等，存在一定的數(shù)據(jù)延遲是可以接受的。

4.1.2 主動(dòng)更新

當(dāng)數(shù)據(jù)源的數(shù)據(jù)更新了，程序主動(dòng)去更新緩存數(shù)據(jù)，保證緩存中的數(shù)據(jù)始終是最新的。這種策略，適合對(duì)數(shù)據(jù)的時(shí)效性要求很高的數(shù)據(jù)，比如庫(kù)存、余額等等。主動(dòng)更新的代價(jià)則是代碼的復(fù)雜度增加，所有涉及數(shù)據(jù)更新的操作，都需要更新其緩存數(shù)據(jù)。

無(wú)論是過(guò)期失效還是主動(dòng)更新，首先應(yīng)該分析當(dāng)前場(chǎng)景對(duì)數(shù)據(jù)的時(shí)效性要求是否很高？如不是，過(guò)期失效足矣。如果是，需要衡量主動(dòng)更新的代價(jià)能否接受，比如代碼復(fù)雜度增加。否則是否可以通過(guò)縮短失效時(shí)間而采取過(guò)期失效策略來(lái)折中處理。

4.2 緩存雪崩

緩存雪崩是指在同一時(shí)間點(diǎn)后臺(tái)服務(wù)中的緩存大量過(guò)期失效，當(dāng)服務(wù)的并發(fā)量很高時(shí)，大量的數(shù)據(jù)請(qǐng)求同時(shí)到達(dá)數(shù)據(jù)源服務(wù)（比如數(shù)據(jù)庫(kù)或其他服務(wù)），引起數(shù)據(jù)源服務(wù)的瞬時(shí)負(fù)載增大，甚至崩潰。

引起緩存雪崩的原因一般有兩種:

一是大量的緩存 key 在同一時(shí)間失效
二是緩存服務(wù)不可用，請(qǐng)求都被透?jìng)鞯綌?shù)據(jù)庫(kù)。

解決辦法：

設(shè)置合理的緩存失效時(shí)間：合理設(shè)置過(guò)期時(shí)間，分散緩存的失效時(shí)間，避免緩存在同一時(shí)間失效。
保證緩存服務(wù)的高可用：使用獨(dú)立的緩存服務(wù)，盡量使用緩存集群，保證緩存服務(wù)的高可用和容災(zāi)恢復(fù)。

4.3 緩存穿透

緩存穿透是指同一時(shí)間大量的空值請(qǐng)求到達(dá)后臺(tái)服務(wù)，空值請(qǐng)求是指查詢(xún)數(shù)據(jù)源后無(wú)數(shù)據(jù)的請(qǐng)求，由于數(shù)據(jù)源返回空數(shù)據(jù)，所以緩存層沒(méi)有將空值保存，導(dǎo)致空值請(qǐng)求必然會(huì)穿透緩存層，透?jìng)鞯綌?shù)據(jù)源。

引起緩存穿透的原因，一般有：

未對(duì)請(qǐng)求參數(shù)進(jìn)行合理的校驗(yàn)和攔截。
被精心構(gòu)造的惡意請(qǐng)求攻擊。

解決辦法:

設(shè)置合理的參數(shù)校驗(yàn)：通過(guò)設(shè)置合理的校驗(yàn)規(guī)則，比如 id 范圍、名稱(chēng)正則規(guī)則等，對(duì)不合理或空值請(qǐng)求的參數(shù)的進(jìn)行過(guò)濾和攔截。
緩存空值處理：即使數(shù)據(jù)源返回空值，也在緩存層將其保存起來(lái)。可能對(duì)其數(shù)值設(shè)置一些標(biāo)記，比如 value=-1 等等，方便服務(wù)識(shí)別為空值。同時(shí)，也可以為空值的緩存設(shè)置一個(gè)較短的失效時(shí)間。

4.4 緩存擊穿

緩存擊穿是指某個(gè)熱點(diǎn)數(shù)據(jù)的緩存失效了，然后同一時(shí)間有大量的請(qǐng)求訪問(wèn)該熱點(diǎn)數(shù)據(jù)，由于緩存失效，這些請(qǐng)求同時(shí)被透?jìng)鞯綌?shù)據(jù)源服務(wù)，導(dǎo)致數(shù)據(jù)源的負(fù)載增加，甚至崩潰。

引起緩存擊穿的原因，一般是：熱點(diǎn)數(shù)據(jù)的緩存失效時(shí)，高并發(fā)請(qǐng)求同時(shí)訪問(wèn)該數(shù)據(jù)。

解決辦法：

使用互斥鎖或者分布式鎖，對(duì)數(shù)據(jù)的回源操作進(jìn)行上鎖，保證同一時(shí)刻只有一個(gè)請(qǐng)求被透?jìng)鞯綌?shù)據(jù)源服務(wù)。
熱點(diǎn)數(shù)據(jù)的緩存永不過(guò)期，由數(shù)據(jù)源主動(dòng)更新緩存。
熱點(diǎn)數(shù)據(jù)預(yù)加載：在緩存數(shù)據(jù)將要過(guò)期時(shí)，由后臺(tái)服務(wù)主動(dòng)更新熱點(diǎn)數(shù)據(jù)緩存，防止緩存失效。

05

總結(jié)

本文詳細(xì)地介紹了后臺(tái)開(kāi)發(fā)中的緩存技術(shù)，希望能對(duì)你的日常工作有所幫助和啟發(fā)。熟練掌握各種緩存策略和機(jī)制，解決緩存問(wèn)題，對(duì)于程序員而言至關(guān)重要，可以在很大程度上提升后臺(tái)開(kāi)發(fā)的效率、穩(wěn)定性和用戶體驗(yàn)。

-End-

原創(chuàng)作者 | 唐國(guó)富