面試官：Redis 大 key 要如何處理？
作者：小林coding
八股文網(wǎng)站：xiaolincoding.com
大家好，我是小林。
今天來聊聊，關(guān)于 Redis 大 key 的四個問題。
什么是 Redis 大 key？ 大 key 會造成什么問題？ 如何找到大 key ？ 如何刪除大 key？
什么是 Redis 大 key？
大 key 并不是指 key 的值很大，而是 key 對應(yīng)的 value 很大。
一般而言，下面這兩種情況被稱為大 key：
String 類型的值大于 10 KB； Hash、List、Set、ZSet 類型的元素的個數(shù)超過 5000個；
大 key 會造成什么問題？
大 key 會帶來以下四種影響：
客戶端超時阻塞。由于 Redis 執(zhí)行命令是單線程處理，然后在操作大 key 時會比較耗時，那么就會阻塞 Redis，從客戶端這一視角看，就是很久很久都沒有響應(yīng)。 引發(fā)網(wǎng)絡(luò)阻塞。每次獲取大 key 產(chǎn)生的網(wǎng)絡(luò)流量較大，如果一個 key 的大小是 1 MB，每秒訪問量為 1000，那么每秒會產(chǎn)生 1000MB 的流量，這對于普通千兆網(wǎng)卡的服務(wù)器來說是災(zāi)難性的。 阻塞工作線程。如果使用 del 刪除大 key 時，會阻塞工作線程，這樣就沒辦法處理后續(xù)的命令。 內(nèi)存分布不均。集群模型在 slot 分片均勻情況下，會出現(xiàn)數(shù)據(jù)和查詢傾斜情況，部分有大 key 的 Redis 節(jié)點占用內(nèi)存多，QPS 也會比較大。
如何找到大 key ？
1、redis-cli --bigkeys 查找大key
可以通過 redis-cli --bigkeys 命令查找大 key：
redis-cli -h 127.0.0.1 -p6379 -a "password" -- bigkeys
使用的時候注意事項：
最好選擇在從節(jié)點上執(zhí)行該命令。因為主節(jié)點上執(zhí)行時，會阻塞主節(jié)點； 如果沒有從節(jié)點，那么可以選擇在 Redis 實例業(yè)務(wù)壓力的低峰階段進(jìn)行掃描查詢，以免影響到實例的正常運行；或者可以使用 -i 參數(shù)控制掃描間隔，避免長時間掃描降低 Redis 實例的性能。
該方式的不足之處：
這個方法只能返回每種類型中最大的那個 bigkey，無法得到大小排在前 N 位的 bigkey； 對于集合類型來說，這個方法只統(tǒng)計集合元素個數(shù)的多少，而不是實際占用的內(nèi)存量。但是，一個集合中的元素個數(shù)多，并不一定占用的內(nèi)存就多。因為，有可能每個元素占用的內(nèi)存很小，這樣的話，即使元素個數(shù)有很多，總內(nèi)存開銷也不大；
2、使用 SCAN 命令查找大 key
使用 SCAN 命令對數(shù)據(jù)庫掃描，然后用 TYPE 命令獲取返回的每一個 key 的類型。
對于 String 類型，可以直接使用 STRLEN 命令獲取字符串的長度，也就是占用的內(nèi)存空間字節(jié)數(shù)。
對于集合類型來說，有兩種方法可以獲得它占用的內(nèi)存大小：
如果能夠預(yù)先從業(yè)務(wù)層知道集合元素的平均大小，那么，可以使用下面的命令獲取集合元素的個數(shù)，然后乘以集合元素的平均大小，這樣就能獲得集合占用的內(nèi)存大小了。List 類型： LLEN命令；Hash 類型：HLEN命令；Set 類型：SCARD命令；Sorted Set 類型：ZCARD命令；如果不能提前知道寫入集合的元素大小，可以使用 MEMORY USAGE命令（需要 Redis 4.0 及以上版本），查詢一個鍵值對占用的內(nèi)存空間。
3、使用 RdbTools 工具查找大 key
使用 RdbTools 第三方開源工具，可以用來解析 Redis 快照（RDB）文件，找到其中的大 key。
比如，下面這條命令，將大于 10 kb 的 key 輸出到一個表格文件。
rdb dump.rdb -c memory --bytes 10240 -f redis.csv
如何刪除大 key？
刪除操作的本質(zhì)是要釋放鍵值對占用的內(nèi)存空間，不要小瞧內(nèi)存的釋放過程。
釋放內(nèi)存只是第一步，為了更加高效地管理內(nèi)存空間，在應(yīng)用程序釋放內(nèi)存時，操作系統(tǒng)需要把釋放掉的內(nèi)存塊插入一個空閑內(nèi)存塊的鏈表，以便后續(xù)進(jìn)行管理和再分配。這個過程本身需要一定時間，而且會阻塞當(dāng)前釋放內(nèi)存的應(yīng)用程序。
所以，如果一下子釋放了大量內(nèi)存，空閑內(nèi)存塊鏈表操作時間就會增加，相應(yīng)地就會造成 Redis 主線程的阻塞，如果主線程發(fā)生了阻塞，其他所有請求可能都會超時，超時越來越多，會造成 Redis 連接耗盡，產(chǎn)生各種異常。
因此，刪除大 key 這一個動作，我們要小心。具體要怎么做呢？這里給出兩種方法：
分批次刪除 異步刪除（Redis 4.0版本以上）
1、分批次刪除
對于刪除大 Hash，使用 hscan 命令，每次獲取 100 個字段，再用 hdel 命令，每次刪除 1 個字段。
Python代碼：
def del_large_hash():
r = redis.StrictRedis(host='redis-host1', port=6379)
large_hash_key ="xxx" #要刪除的大hash鍵名
cursor = '0'
while cursor != 0:
# 使用 hscan 命令，每次獲取 100 個字段
cursor, data = r.hscan(large_hash_key, cursor=cursor, count=100)
for item in data.items():
# 再用 hdel 命令，每次刪除1個字段
r.hdel(large_hash_key, item[0])
對于刪除大 List，通過 ltrim 命令，每次刪除少量元素。
Python代碼：
def del_large_list():
r = redis.StrictRedis(host='redis-host1', port=6379)
large_list_key = 'xxx' #要刪除的大list的鍵名
while r.llen(large_list_key)>0:
#每次只刪除最右100個元素
r.ltrim(large_list_key, 0, -101)
對于刪除大 Set，使用 sscan 命令，每次掃描集合中 100 個元素，再用 srem 命令每次刪除一個鍵。
Python代碼：
def del_large_set():
r = redis.StrictRedis(host='redis-host1', port=6379)
large_set_key = 'xxx' # 要刪除的大set的鍵名
cursor = '0'
while cursor != 0:
# 使用 sscan 命令，每次掃描集合中 100 個元素
cursor, data = r.sscan(large_set_key, cursor=cursor, count=100)
for item in data:
# 再用 srem 命令每次刪除一個鍵
r.srem(large_size_key, item)
對于刪除大 ZSet，使用 zremrangebyrank 命令，每次刪除 top 100個元素。
Python代碼：
def del_large_sortedset():
r = redis.StrictRedis(host='large_sortedset_key', port=6379)
large_sortedset_key='xxx'
while r.zcard(large_sortedset_key)>0:
# 使用 zremrangebyrank 命令，每次刪除 top 100個元素
r.zremrangebyrank(large_sortedset_key,0,99)
2、異步刪除
從 Redis 4.0 版本開始，可以采用異步刪除法，用 unlink 命令代替 del 來刪除。
這樣 Redis 會將這個 key 放入到一個異步線程中進(jìn)行刪除，這樣不會阻塞主線程。
推薦閱讀：