P0級重大事故：Redis 分布式鎖使用不當，超賣了100瓶飛天茅臺！
基于 Redis 使用分布式鎖在當今已經不是什么新鮮事了。本篇文章主要是基于我們實際項目中因為 Redis 分布式鎖造成的事故分析及解決方案。
圖片來自 Pexels
前言
我們項目中的搶購訂單采用的是分布式鎖來解決的。有一次，運營做了一個飛天茅臺的搶購活動，庫存 100 瓶，但是卻超賣了！
要知道，這個地球上飛天茅臺的稀缺性啊！！！事故定為 P0 級重大事故...只能坦然接受。整個項目組被扣績效了~~
事故發(fā)生后，CTO 指名點姓讓我?guī)ь^沖鋒來處理，好吧，沖~
事故現場
經過一番了解后，得知這個搶購活動接口以前從來沒有出現過這種情況，但是這次為什么會超賣呢？
原因在于：之前的搶購商品都不是什么稀缺性商品，而這次活動居然是飛天茅臺，通過埋點數據分析，各項數據基本都是成倍增長，活動熱烈程度可想而知！
public?SeckillActivityRequestVO?seckillHandle(SeckillActivityRequestVO?request)?{
SeckillActivityRequestVO?response;
????String?key?=?"key:"?+?request.getSeckillId;
????try?{
????????Boolean?lockFlag?=?redisTemplate.opsForValue().setIfAbsent(key,?"val",?10,?TimeUnit.SECONDS);
????????if?(lockFlag)?{
????????????//?HTTP請求用戶服務進行用戶相關的校驗
????????????//?用戶活動校驗
????????????//?庫存校驗
????????????Object?stock?=?redisTemplate.opsForHash().get(key+":info",?"stock");
????????????assert?stock?!=?null;
????????????if?(Integer.parseInt(stock.toString())?<=?0)?{
????????????????//?業(yè)務異常
????????????}?else?{
????????????????redisTemplate.opsForHash().increment(key+":info",?"stock",?-1);
????????????????//?生成訂單
????????????????//?發(fā)布訂單創(chuàng)建成功事件
????????????????//?構建響應VO
????????????}
????????}
????}?finally?{
????????//?釋放鎖
????????stringRedisTemplate.delete("key");
????????//?構建響應VO
????}
????return?response;
}
以上代碼，通過分布式鎖過期時間有效期 10s 來保障業(yè)務邏輯有足夠的執(zhí)行時間；采用 try-finally 語句塊保證鎖一定會及時釋放。
在公眾號互聯網架構師回復“2T”，獲取Java面試題和答案驚喜禮包。
事故原因
飛天茅臺搶購活動吸引了大量新用戶下載注冊我們的 APP，其中，不乏很多羊毛黨，采用專業(yè)的手段來注冊新用戶來薅羊毛和刷單。
當然我們的用戶系統提前做好了防備，接入阿里云人機驗證、三要素認證以及自研的風控系統等各種十八般武藝，擋住了大量的非法用戶。
此處不禁點個贊，但也正因如此，讓用戶服務一直處于較高的運行負載中。
搶購活動開始的一瞬間，大量的用戶校驗請求打到了用戶服務。
導致用戶服務網關出現了短暫的響應延遲，有些請求的響應時長超過了 10s，但由于 HTTP 請求的響應超時我們設置的是 30s。
這就導致接口一直阻塞在用戶校驗那里，10s 后，分布式鎖已經失效了，此時有新的請求進來是可以拿到鎖的，也就是說鎖被覆蓋了。
這些阻塞的接口執(zhí)行完之后，又會執(zhí)行釋放鎖的邏輯，這就把其他線程的鎖釋放了，導致新的請求也可以競爭到鎖~這真是一個極其惡劣的循環(huán)。
這個時候只能依賴庫存校驗，但是偏偏庫存校驗不是非原子性的，采用的是 get and compare 的方式，超賣的悲劇就這樣發(fā)生了~~~
事故分析
仔細分析下來，可以發(fā)現，這個搶購接口在高并發(fā)場景下，是有嚴重的安全隱患的，主要集中在三個地方：
①沒有其他系統風險容錯處理
由于用戶服務吃緊，網關響應延遲，但沒有任何應對方式，這是超賣的導火索。
②看似安全的分布式鎖其實一點都不安全
雖然采用了 set key value [EX seconds] [PX milliseconds] [NX|XX]的方式，但是如果線程 A 執(zhí)行的時間較長沒有來得及釋放，鎖就過期了，此時線程 B 是可以獲取到鎖的。
當線程 A 執(zhí)行完成之后，釋放鎖，實際上就把線程 B 的鎖釋放掉了。這個時候，線程 C 又是可以獲取到鎖的，而此時如果線程 B 執(zhí)行完釋放鎖實際上就是釋放的線程 C 設置的鎖。這是超賣的直接原因。
③非原子性的庫存校驗
非原子性的庫存校驗導致在并發(fā)場景下，庫存校驗的結果不準確。這是超賣的根本原因。
通過以上分析，問題的根本原因在于庫存校驗嚴重依賴了分布式鎖。因為在分布式鎖正常 set、del 的情況下，庫存校驗是沒有問題的。
解決方案
知道了原因之后，我們就可以對癥下藥了。
實現相對安全的分布式鎖
相對安全的定義：set、del 是一一映射的，不會出現把其他現成的鎖 del 的情況。
從實際情況的角度來看，即使能做到 set、del一一映射，也無法保障業(yè)務的絕對安全。
因為鎖的過期時間始終是有界的，除非不設置過期時間或者把過期時間設置的很長，但這樣做也會帶來其他問題。故沒有意義。
要想實現相對安全的分布式鎖，必須依賴 key 的 value 值。在釋放鎖的時候，通過 value 值的唯一性來保證不會勿刪。
public?void?safedUnLock(String?key,?String?val)?{
????String?luaScript?=?"local?in?=?ARGV[1]?local?curr=redis.call('get',?KEYS[1])?if?in==curr?then?redis.call('del',?KEYS[1])?end?return?'OK'"";
????RedisScript?redisScript?=?RedisScript.of(luaScript);
????redisTemplate.execute(redisScript,?Collections.singletonList(key),?Collections.singleton(val));
}
我們通過 LUA 腳本來實現安全地解鎖。
實現安全的庫存校驗
如果我們對于并發(fā)有比較深入的了解的話，會發(fā)現想 get and compare/ read and save 等操作，都是非原子性的。如果要實現原子性，我們也可以借助 LUA 腳本來實現。
在公眾號互聯網架構師回復“2T”，獲取驚喜禮包。
但就我們這個例子中，由于搶購活動一單只能下 1 瓶，因此可以不用基于 LUA 腳本實現而是基于 Redis 本身的原子性。
//?redis會返回操作之后的結果，這個過程是原子性的
Long?currStock?=?redisTemplate.opsForHash().increment("key",?"stock",?-1);
發(fā)現沒有，代碼中的庫存校驗完全是“畫蛇添足”。??
改進之后的代碼
經過以上的分析之后，我們決定新建一個 DistributedLocker 類專門用于處理分布式鎖：
public?SeckillActivityRequestVO?seckillHandle(SeckillActivityRequestVO?request)?{
SeckillActivityRequestVO?response;
????String?key?=?"key:"?+?request.getSeckillId();
????String?val?=?UUID.randomUUID().toString();
????try?{
????????Boolean?lockFlag?=?distributedLocker.lock(key,?val,?10,?TimeUnit.SECONDS);
????????if?(!lockFlag)?{
????????????//?業(yè)務異常
????????}
????????//?用戶活動校驗
????????//?庫存校驗，基于redis本身的原子性來保證
????????Long?currStock?=?stringRedisTemplate.opsForHash().increment(key?+?":info",?"stock",?-1);
????????if?(currStock?0)?{?//?說明庫存已經扣減完了。
????????????//?業(yè)務異常。
????????????log.error("[搶購下單]?無庫存");
????????}?else?{
????????????//?生成訂單
????????????//?發(fā)布訂單創(chuàng)建成功事件
????????????//?構建響應
????????}
????}?finally?{
????????distributedLocker.safedUnLock(key,?val);
????????//?構建響應
????}
????return?response;
}
深度思考
①分布式鎖有必要么
改進之后，其實可以發(fā)現，我們借助于 Redis 本身的原子性扣減庫存，也是可以保證不會超賣的。
對的。但是如果沒有這一層鎖的話，那么所有請求進來都會走一遍業(yè)務邏輯，由于依賴了其他系統，此時就會造成對其他系統的壓力增大。
這會增加的性能損耗和服務不穩(wěn)定性，得不償失。基于分布式鎖可以在一定程度上攔截一些流量。
②分布式鎖的選型
有人提出用 RedLock 來實現分布式鎖。RedLock 的可靠性更高，但其代價是犧牲一定的性能。
在本場景，這點可靠性的提升遠不如性能的提升帶來的性價比高。如果對于可靠性極高要求的場景，則可以采用 RedLock 來實現。
③再次思考分布式鎖有必要么
由于 Bug 需要緊急修復上線，因此我們將其優(yōu)化并在測試環(huán)境進行了壓測之后，就立馬熱部署上線了。
實際證明，這個優(yōu)化是成功的，性能方面略微提升了一些，并在分布式鎖失效的情況下，沒有出現超賣的情況。
然而，還有沒有優(yōu)化空間呢？有的！由于服務是集群部署，我們可以將庫存均攤到集群中的每個服務器上，通過廣播通知到集群的各個服務器。
網關層基于用戶 ID 做 hash 算法來決定請求到哪一臺服務器。這樣就可以基于應用緩存來實現庫存的扣減和判斷。
//?通過消息提前初始化好，借助ConcurrentHashMap實現高效線程安全
private?static?ConcurrentHashMap?SECKILL_FLAG_MAP?=?new?ConcurrentHashMap<>();
//?通過消息提前設置好。由于AtomicInteger本身具備原子性，因此這里可以直接使用HashMap
private?static?Map?SECKILL_STOCK_MAP?=?new?HashMap<>();
...
public?SeckillActivityRequestVO?seckillHandle(SeckillActivityRequestVO?request)?{
SeckillActivityRequestVO?response;
????Long?seckillId?=?request.getSeckillId();
????if(!SECKILL_FLAG_MAP.get(requestseckillId))?{
????????//?業(yè)務異常
????}
?????//?用戶活動校驗
?????//?庫存校驗
????if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet()?0)?{
????????SECKILL_FLAG_MAP.put(seckillId,?false);
????????//?業(yè)務異常
????}
????//?生成訂單
????//?發(fā)布訂單創(chuàng)建成功事件
????//?構建響應
????return?response;
}
通過以上的改造，我們就完全不需要依賴 Redis 了。性能和安全性兩方面都能進一步得到提升！
總結
稀缺商品超賣絕對是重大事故。如果超賣數量多的話，甚至會給平臺帶來非常嚴重的經營影響和社會影響。
經過本次事故，讓我意識到對于項目中的任何一行代碼都不能掉以輕心，否則在某些場景下，這些正常工作的代碼就會變成致命殺手！
來源 |?https://urlify.cn/MVBvmy