飛天茅臺(tái)超賣事故：Redis分布式鎖請(qǐng)慎用！

我們項(xiàng)目中的搶購(gòu)訂單采用的是分布式鎖來(lái)解決的。有一次，運(yùn)營(yíng)做了一個(gè)飛天茅臺(tái)的搶購(gòu)活動(dòng)，庫(kù)存 100 瓶，但是卻超賣了！

要知道，這個(gè)地球上飛天茅臺(tái)的稀缺性?。。?！事故定為 P0 級(jí)重大事故...只能坦然接受。整個(gè)項(xiàng)目組被扣績(jī)效了~~

事故發(fā)生后，CTO 指名點(diǎn)姓讓我?guī)ь^沖鋒來(lái)處理，好吧，沖~

經(jīng)過(guò)一番了解后，得知這個(gè)搶購(gòu)活動(dòng)接口以前從來(lái)沒(méi)有出現(xiàn)過(guò)這種情況，但是這次為什么會(huì)超賣呢？

原因在于：之前的搶購(gòu)商品都不是什么稀缺性商品，而這次活動(dòng)居然是飛天茅臺(tái)，通過(guò)埋點(diǎn)數(shù)據(jù)分析，各項(xiàng)數(shù)據(jù)基本都是成倍增長(zhǎng)，活動(dòng)熱烈程度可想而知！

public?SeckillActivityRequestVO?seckillHandle(SeckillActivityRequestVO?request)?{
SeckillActivityRequestVO?response;
????String?key?=?"key:"?+?request.getSeckillId;
????try?{
????????Boolean?lockFlag?=?redisTemplate.opsForValue().setIfAbsent(key,?"val",?10,?TimeUnit.SECONDS);
????????if?(lockFlag)?{
????????????//?HTTP請(qǐng)求用戶服務(wù)進(jìn)行用戶相關(guān)的校驗(yàn)
????????????//?用戶活動(dòng)校驗(yàn)

????????????//?庫(kù)存校驗(yàn)
????????????Object?stock?=?redisTemplate.opsForHash().get(key+":info",?"stock");
????????????assert?stock?!=?null;
????????????if?(Integer.parseInt(stock.toString())?<=?0)?{
????????????????//?業(yè)務(wù)異常
????????????}?else?{
????????????????redisTemplate.opsForHash().increment(key+":info",?"stock",?-1);
????????????????//?生成訂單
????????????????//?發(fā)布訂單創(chuàng)建成功事件
????????????????//?構(gòu)建響應(yīng)VO
????????????}
????????}
????}?finally?{
????????//?釋放鎖
????????stringRedisTemplate.delete("key");
????????//?構(gòu)建響應(yīng)VO
????}
????return?response;
}

以上代碼，通過(guò)分布式鎖過(guò)期時(shí)間有效期 10s 來(lái)保障業(yè)務(wù)邏輯有足夠的執(zhí)行時(shí)間；采用 try-finally 語(yǔ)句塊保證鎖一定會(huì)及時(shí)釋放。

業(yè)務(wù)代碼內(nèi)部也對(duì)庫(kù)存進(jìn)行了校驗(yàn)?？雌饋?lái)很安全??！別急，繼續(xù)分析。。。

飛天茅臺(tái)搶購(gòu)活動(dòng)吸引了大量新用戶下載注冊(cè)我們的 APP，其中，不乏很多羊毛黨，采用專業(yè)的手段來(lái)注冊(cè)新用戶來(lái)薅羊毛和刷單。

當(dāng)然我們的用戶系統(tǒng)提前做好了防備，接入阿里云人機(jī)驗(yàn)證、三要素認(rèn)證以及自研的風(fēng)控系統(tǒng)等各種十八般武藝，擋住了大量的非法用戶。

此處不禁點(diǎn)個(gè)贊，但也正因如此，讓用戶服務(wù)一直處于較高的運(yùn)行負(fù)載中。

搶購(gòu)活動(dòng)開(kāi)始的一瞬間，大量的用戶校驗(yàn)請(qǐng)求打到了用戶服務(wù)。

導(dǎo)致用戶服務(wù)網(wǎng)關(guān)出現(xiàn)了短暫的響應(yīng)延遲，有些請(qǐng)求的響應(yīng)時(shí)長(zhǎng)超過(guò)了 10s，但由于 HTTP 請(qǐng)求的響應(yīng)超時(shí)我們?cè)O(shè)置的是 30s。

這就導(dǎo)致接口一直阻塞在用戶校驗(yàn)?zāi)抢铮?0s 后，分布式鎖已經(jīng)失效了，此時(shí)有新的請(qǐng)求進(jìn)來(lái)是可以拿到鎖的，也就是說(shuō)鎖被覆蓋了。

這些阻塞的接口執(zhí)行完之后，又會(huì)執(zhí)行釋放鎖的邏輯，這就把其他線程的鎖釋放了，導(dǎo)致新的請(qǐng)求也可以競(jìng)爭(zhēng)到鎖~這真是一個(gè)極其惡劣的循環(huán)。

這個(gè)時(shí)候只能依賴庫(kù)存校驗(yàn)，但是偏偏庫(kù)存校驗(yàn)不是非原子性的，采用的是 get and compare 的方式，超賣的悲劇就這樣發(fā)生了~~~

仔細(xì)分析下來(lái)，可以發(fā)現(xiàn)，這個(gè)搶購(gòu)接口在高并發(fā)場(chǎng)景下，是有嚴(yán)重的安全隱患的，主要集中在三個(gè)地方：

①?zèng)]有其他系統(tǒng)風(fēng)險(xiǎn)容錯(cuò)處理

由于用戶服務(wù)吃緊，網(wǎng)關(guān)響應(yīng)延遲，但沒(méi)有任何應(yīng)對(duì)方式，這是超賣的導(dǎo)火索。

②看似安全的分布式鎖其實(shí)一點(diǎn)都不安全

雖然采用了 set key value [EX seconds] [PX milliseconds] [NX|XX]的方式，但是如果線程 A 執(zhí)行的時(shí)間較長(zhǎng)沒(méi)有來(lái)得及釋放，鎖就過(guò)期了，此時(shí)線程 B 是可以獲取到鎖的。

當(dāng)線程 A 執(zhí)行完成之后，釋放鎖，實(shí)際上就把線程 B 的鎖釋放掉了。這個(gè)時(shí)候，線程 C 又是可以獲取到鎖的，而此時(shí)如果線程 B 執(zhí)行完釋放鎖實(shí)際上就是釋放的線程 C 設(shè)置的鎖。這是超賣的直接原因。

③非原子性的庫(kù)存校驗(yàn)

非原子性的庫(kù)存校驗(yàn)導(dǎo)致在并發(fā)場(chǎng)景下，庫(kù)存校驗(yàn)的結(jié)果不準(zhǔn)確。這是超賣的根本原因。

通過(guò)以上分析，問(wèn)題的根本原因在于庫(kù)存校驗(yàn)嚴(yán)重依賴了分布式鎖。因?yàn)樵诜植际芥i正常 set、del 的情況下，庫(kù)存校驗(yàn)是沒(méi)有問(wèn)題的。

但是，當(dāng)分布式鎖不安全可靠的時(shí)候，庫(kù)存校驗(yàn)就沒(méi)有用了。

知道了原因之后，我們就可以對(duì)癥下藥了。

相對(duì)安全的定義：set、del 是一一映射的，不會(huì)出現(xiàn)把其他現(xiàn)成的鎖 del 的情況。

從實(shí)際情況的角度來(lái)看，即使能做到 set、del一一映射，也無(wú)法保障業(yè)務(wù)的絕對(duì)安全。

因?yàn)殒i的過(guò)期時(shí)間始終是有界的，除非不設(shè)置過(guò)期時(shí)間或者把過(guò)期時(shí)間設(shè)置的很長(zhǎng)，但這樣做也會(huì)帶來(lái)其他問(wèn)題。故沒(méi)有意義。

要想實(shí)現(xiàn)相對(duì)安全的分布式鎖，必須依賴 key 的 value 值。在釋放鎖的時(shí)候，通過(guò) value 值的唯一性來(lái)保證不會(huì)勿刪。

public?void?safedUnLock(String?key,?String?val)?{
????String?luaScript?=?"local?in?=?ARGV[1]?local?curr=redis.call('get',?KEYS[1])?if?in==curr?then?redis.call('del',?KEYS[1])?end?return?'OK'"";
????RedisScript?redisScript?=?RedisScript.of(luaScript);
????redisTemplate.execute(redisScript,?Collections.singletonList(key),?Collections.singleton(val));
}

我們通過(guò) LUA 腳本來(lái)實(shí)現(xiàn)安全地解鎖。

如果我們對(duì)于并發(fā)有比較深入的了解的話，會(huì)發(fā)現(xiàn)想 get and compare/ read and save 等操作，都是非原子性的。如果要實(shí)現(xiàn)原子性，我們也可以借助 LUA 腳本來(lái)實(shí)現(xiàn)。

但就我們這個(gè)例子中，由于搶購(gòu)活動(dòng)一單只能下 1 瓶，因此可以不用基于 LUA 腳本實(shí)現(xiàn)而是基于 Redis 本身的原子性。

//?redis會(huì)返回操作之后的結(jié)果，這個(gè)過(guò)程是原子性的
Long?currStock?=?redisTemplate.opsForHash().increment("key",?"stock",?-1);

發(fā)現(xiàn)沒(méi)有，代碼中的庫(kù)存校驗(yàn)完全是“畫(huà)蛇添足”。

public?SeckillActivityRequestVO?seckillHandle(SeckillActivityRequestVO?request)?{
SeckillActivityRequestVO?response;
????String?key?=?"key:"?+?request.getSeckillId();
????String?val?=?UUID.randomUUID().toString();
????try?{
????????Boolean?lockFlag?=?distributedLocker.lock(key,?val,?10,?TimeUnit.SECONDS);
????????if?(!lockFlag)?{
????????????//?業(yè)務(wù)異常
????????}

????????//?用戶活動(dòng)校驗(yàn)
????????//?庫(kù)存校驗(yàn)，基于redis本身的原子性來(lái)保證
????????Long?currStock?=?stringRedisTemplate.opsForHash().increment(key?+?":info",?"stock",?-1);
????????if?(currStock?0)?{?//?說(shuō)明庫(kù)存已經(jīng)扣減完了。
????????????//?業(yè)務(wù)異常。
????????????log.error("[搶購(gòu)下單]?無(wú)庫(kù)存");
????????}?else?{
????????????//?生成訂單
????????????//?發(fā)布訂單創(chuàng)建成功事件
????????????//?構(gòu)建響應(yīng)
????????}
????}?finally?{
????????distributedLocker.safedUnLock(key,?val);
????????//?構(gòu)建響應(yīng)
????}
????return?response;
}

①分布式鎖有必要么

改進(jìn)之后，其實(shí)可以發(fā)現(xiàn)，我們借助于 Redis 本身的原子性扣減庫(kù)存，也是可以保證不會(huì)超賣的。

對(duì)的。但是如果沒(méi)有這一層鎖的話，那么所有請(qǐng)求進(jìn)來(lái)都會(huì)走一遍業(yè)務(wù)邏輯，由于依賴了其他系統(tǒng)，此時(shí)就會(huì)造成對(duì)其他系統(tǒng)的壓力增大。

這會(huì)增加的性能損耗和服務(wù)不穩(wěn)定性，得不償失。基于分布式鎖可以在一定程度上攔截一些流量。

②分布式鎖的選型

有人提出用 RedLock 來(lái)實(shí)現(xiàn)分布式鎖。RedLock 的可靠性更高，但其代價(jià)是犧牲一定的性能。

在本場(chǎng)景，這點(diǎn)可靠性的提升遠(yuǎn)不如性能的提升帶來(lái)的性價(jià)比高。如果對(duì)于可靠性極高要求的場(chǎng)景，則可以采用 RedLock 來(lái)實(shí)現(xiàn)。

③再次思考分布式鎖有必要么

由于 Bug 需要緊急修復(fù)上線，因此我們將其優(yōu)化并在測(cè)試環(huán)境進(jìn)行了壓測(cè)之后，就立馬熱部署上線了。

實(shí)際證明，這個(gè)優(yōu)化是成功的，性能方面略微提升了一些，并在分布式鎖失效的情況下，沒(méi)有出現(xiàn)超賣的情況。

然而，還有沒(méi)有優(yōu)化空間呢？有的！由于服務(wù)是集群部署，我們可以將庫(kù)存均攤到集群中的每個(gè)服務(wù)器上，通過(guò)廣播通知到集群的各個(gè)服務(wù)器。

網(wǎng)關(guān)層基于用戶 ID 做 hash 算法來(lái)決定請(qǐng)求到哪一臺(tái)服務(wù)器。這樣就可以基于應(yīng)用緩存來(lái)實(shí)現(xiàn)庫(kù)存的扣減和判斷。

//?通過(guò)消息提前初始化好，借助ConcurrentHashMap實(shí)現(xiàn)高效線程安全
private?static?ConcurrentHashMap?SECKILL_FLAG_MAP?=?new?ConcurrentHashMap<>();
//?通過(guò)消息提前設(shè)置好。由于AtomicInteger本身具備原子性，因此這里可以直接使用HashMap
private?static?Map?SECKILL_STOCK_MAP?=?new?HashMap<>();

...

public?SeckillActivityRequestVO?seckillHandle(SeckillActivityRequestVO?request)?{
SeckillActivityRequestVO?response;

????Long?seckillId?=?request.getSeckillId();
????if(!SECKILL_FLAG_MAP.get(requestseckillId))?{
????????//?業(yè)務(wù)異常
????}
?????//?用戶活動(dòng)校驗(yàn)
?????//?庫(kù)存校驗(yàn)
????if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet()?0)?{
????????SECKILL_FLAG_MAP.put(seckillId,?false);
????????//?業(yè)務(wù)異常
????}
????//?生成訂單
????//?發(fā)布訂單創(chuàng)建成功事件
????//?構(gòu)建響應(yīng)
????return?response;
}

通過(guò)以上的改造，我們就完全不需要依賴 Redis 了。性能和安全性兩方面都能進(jìn)一步得到提升！

當(dāng)然，此方案沒(méi)有考慮到機(jī)器的動(dòng)態(tài)擴(kuò)容、縮容等復(fù)雜場(chǎng)景，如果還要考慮這些話，則不如直接考慮分布式鎖的解決方案。

稀缺商品超賣絕對(duì)是重大事故。如果超賣數(shù)量多的話，甚至?xí)o平臺(tái)帶來(lái)非常嚴(yán)重的經(jīng)營(yíng)影響和社會(huì)影響。

經(jīng)過(guò)本次事故，讓我意識(shí)到對(duì)于項(xiàng)目中的任何一行代碼都不能掉以輕心，否則在某些場(chǎng)景下，這些正常工作的代碼就會(huì)變成致命殺手！

對(duì)于一個(gè)開(kāi)發(fā)者而言，則設(shè)計(jì)開(kāi)發(fā)方案時(shí)，一定要將方案考慮周全。怎樣才能將方案考慮周全？唯有持續(xù)不斷地學(xué)習(xí)！