<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          Redis 分布式鎖使用不當(dāng),釀成一個(gè)重大事故,超賣了100瓶飛天茅臺(tái)?。?!

          共 5844字,需瀏覽 12分鐘

           ·

          2022-02-27 00:22

          上一篇:4 種主流的 API 架構(gòu)風(fēng)格對(duì)比

          來源:juejin.cn/post/6854573212831842311

          基于Redis使用分布式鎖在當(dāng)今已經(jīng)不是什么新鮮事了。

          本篇文章主要是基于我們實(shí)際項(xiàng)目中因?yàn)閞edis分布式鎖造成的事故分析及解決方案。我們項(xiàng)目中的搶購(gòu)訂單采用的是分布式鎖來解決的,有一次,運(yùn)營(yíng)做了一個(gè)飛天茅臺(tái)的搶購(gòu)活動(dòng),庫(kù)存100瓶,但是卻超賣了100瓶!要知道,這個(gè)地球上飛天茅臺(tái)的稀缺性?。。?!

          事故定為P0級(jí)重大事故...只能坦然接受。整個(gè)項(xiàng)目組被扣績(jī)效了~~

          事故發(fā)生后,CTO指名點(diǎn)姓讓我?guī)ь^沖鋒來處理。好吧,沖~


          事故現(xiàn)場(chǎng)


          經(jīng)過一番了解后,得知這個(gè)搶購(gòu)活動(dòng)接口以前從來沒有出現(xiàn)過這種情況,但是這次為什么會(huì)超賣呢?

          原因在于:之前的搶購(gòu)商品都不是什么稀缺性商品,而這次活動(dòng)居然是飛天茅臺(tái),通過埋點(diǎn)數(shù)據(jù)分析,各項(xiàng)數(shù)據(jù)基本都是成倍增長(zhǎng),活動(dòng)熱烈程度可想而知!話不多說,直接上核心代碼,機(jī)密部分做了偽代碼處理。。。


          public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {SeckillActivityRequestVO response;    String key = "key:" + request.getSeckillId;    try {        Boolean lockFlag = redisTemplate.opsForValue().setIfAbsent(key, "val", 10, TimeUnit.SECONDS);        if (lockFlag) {            // HTTP請(qǐng)求用戶服務(wù)進(jìn)行用戶相關(guān)的校驗(yàn)            // 用戶活動(dòng)校驗(yàn)
          // 庫(kù)存校驗(yàn) Object stock = redisTemplate.opsForHash().get(key+":info", "stock"); assert stock != null; if (Integer.parseInt(stock.toString()) <= 0) { // 業(yè)務(wù)異常 } else { redisTemplate.opsForHash().increment(key+":info", "stock", -1); // 生成訂單 // 發(fā)布訂單創(chuàng)建成功事件 // 構(gòu)建響應(yīng)VO } } } finally { // 釋放鎖 stringRedisTemplate.delete("key"); // 構(gòu)建響應(yīng)VO } return response;}


          以上代碼,通過分布式鎖過期時(shí)間有效期10s來保障業(yè)務(wù)邏輯有足夠的執(zhí)行時(shí)間;采用try-finally語(yǔ)句塊保證鎖一定會(huì)及時(shí)釋放。業(yè)務(wù)代碼內(nèi)部也對(duì)庫(kù)存進(jìn)行了校驗(yàn)。看起來很安全啊~ 別急,繼續(xù)分析。。。


          事故原因


          飛天茅臺(tái)搶購(gòu)活動(dòng)吸引了大量新用戶下載注冊(cè)我們的APP,其中,不乏很多羊毛黨,采用專業(yè)的手段來注冊(cè)新用戶來薅羊毛和刷單。當(dāng)然我們的用戶系統(tǒng)提前做好了防備,接入阿里云人機(jī)驗(yàn)證、三要素認(rèn)證以及自研的風(fēng)控系統(tǒng)等各種十八般武藝,擋住了大量的非法用戶。此處不禁點(diǎn)個(gè)贊~ 但也正因如此,讓用戶服務(wù)一直處于較高的運(yùn)行負(fù)載中。

          搶購(gòu)活動(dòng)開始的一瞬間,大量的用戶校驗(yàn)請(qǐng)求打到了用戶服務(wù)。導(dǎo)致用戶服務(wù)網(wǎng)關(guān)出現(xiàn)了短暫的響應(yīng)延遲,有些請(qǐng)求的響應(yīng)時(shí)長(zhǎng)超過了10s,但由于HTTP請(qǐng)求的響應(yīng)超時(shí)我們?cè)O(shè)置的是30s,這就導(dǎo)致接口一直阻塞在用戶校驗(yàn)?zāi)抢铮?0s后,分布式鎖已經(jīng)失效了,此時(shí)有新的請(qǐng)求進(jìn)來是可以拿到鎖的,也就是說鎖被覆蓋了。這些阻塞的接口執(zhí)行完之后,又會(huì)執(zhí)行釋放鎖的邏輯,這就把其他線程的鎖釋放了,導(dǎo)致新的請(qǐng)求也可以競(jìng)爭(zhēng)到鎖~這真是一個(gè)極其惡劣的循環(huán)。這個(gè)時(shí)候只能依賴庫(kù)存校驗(yàn),但是偏偏庫(kù)存校驗(yàn)不是非原子性的,采用的是get and compare 的方式,超賣的悲劇就這樣發(fā)生了~~~


          事故分析


          仔細(xì)分析下來,可以發(fā)現(xiàn),這個(gè)搶購(gòu)接口在高并發(fā)場(chǎng)景下,是有嚴(yán)重的安全隱患的,主要集中在三個(gè)地方:


          沒有其他系統(tǒng)風(fēng)險(xiǎn)容錯(cuò)處理


          由于用戶服務(wù)吃緊,網(wǎng)關(guān)響應(yīng)延遲,但沒有任何應(yīng)對(duì)方式,這是超賣的導(dǎo)火索。


          看似安全的分布式鎖其實(shí)一點(diǎn)都不安全


          雖然采用了set key value [EX seconds] [PX milliseconds] [NX|XX]的方式,但是如果線程A執(zhí)行的時(shí)間較長(zhǎng)沒有來得及釋放,鎖就過期了,此時(shí)線程B是可以獲取到鎖的。當(dāng)線程A執(zhí)行完成之后,釋放鎖,實(shí)際上就把線程B的鎖釋放掉了。這個(gè)時(shí)候,線程C又是可以獲取到鎖的,而此時(shí)如果線程B執(zhí)行完釋放鎖實(shí)際上就是釋放的線程C設(shè)置的鎖。這是超賣的直接原因。


          非原子性的庫(kù)存校驗(yàn)


          非原子性的庫(kù)存校驗(yàn)導(dǎo)致在并發(fā)場(chǎng)景下,庫(kù)存校驗(yàn)的結(jié)果不準(zhǔn)確。這是超賣的根本原因。

          通過以上分析,問題的根本原因在于庫(kù)存校驗(yàn)嚴(yán)重依賴了分布式鎖。因?yàn)樵诜植际芥i正常set、del的情況下,庫(kù)存校驗(yàn)是沒有問題的。但是,當(dāng)分布式鎖不安全可靠的時(shí)候,庫(kù)存校驗(yàn)就沒有用了。


          解決方案


          知道了原因之后,我們就可以對(duì)癥下藥了。


          實(shí)現(xiàn)相對(duì)安全的分布式鎖


          相對(duì)安全的定義:set、del是一一映射的,不會(huì)出現(xiàn)把其他現(xiàn)成的鎖del的情況。從實(shí)際情況的角度來看,即使能做到set、del一一映射,也無法保障業(yè)務(wù)的絕對(duì)安全。因?yàn)殒i的過期時(shí)間始終是有界的,除非不設(shè)置過期時(shí)間或者把過期時(shí)間設(shè)置的很長(zhǎng),但這樣做也會(huì)帶來其他問題。故沒有意義。要想實(shí)現(xiàn)相對(duì)安全的分布式鎖,必須依賴key的value值。在釋放鎖的時(shí)候,通過value值的唯一性來保證不會(huì)勿刪。我們基于LUA腳本實(shí)現(xiàn)原子性的get and compare,如下:


          public void safedUnLock(String key, String val) {    String luaScript = "local in = ARGV[1] local curr=redis.call('get', KEYS[1]) if in==curr then redis.call('del', KEYS[1]) end return 'OK'"";    RedisScript<String> redisScript = RedisScript.of(luaScript);    redisTemplate.execute(redisScript, Collections.singletonList(key), Collections.singleton(val));}



          我們通過LUA腳本來實(shí)現(xiàn)安全地解鎖。


          實(shí)現(xiàn)安全的庫(kù)存校驗(yàn)


          如果我們對(duì)于并發(fā)有比較深入的了解的話,會(huì)發(fā)現(xiàn)想 get and compare/ read and save 等操作,都是非原子性的。如果要實(shí)現(xiàn)原子性,我們也可以借助LUA腳本來實(shí)現(xiàn)。但就我們這個(gè)例子中,由于搶購(gòu)活動(dòng)一單只能下1瓶,因此可以不用基于LUA腳本實(shí)現(xiàn)而是基于redis本身的原子性。原因在于:


          // redis會(huì)返回操作之后的結(jié)果,這個(gè)過程是原子性的Long currStock = redisTemplate.opsForHash().increment("key", "stock", -1);


          發(fā)現(xiàn)沒有,代碼中的庫(kù)存校驗(yàn)完全是“畫蛇添足”。


          改進(jìn)之后的代碼


          經(jīng)過以上的分析之后,我們決定新建一個(gè)DistributedLocker類專門用于處理分布式鎖。另外,搜索公眾號(hào)互聯(lián)網(wǎng)架構(gòu)師后臺(tái)回復(fù)“2T”,獲取一份驚喜禮包。


          public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {SeckillActivityRequestVO response;    String key = "key:" + request.getSeckillId();    String val = UUID.randomUUID().toString();    try {        Boolean lockFlag = distributedLocker.lock(key, val, 10, TimeUnit.SECONDS);        if (!lockFlag) {            // 業(yè)務(wù)異常        }

          // 用戶活動(dòng)校驗(yàn) // 庫(kù)存校驗(yàn),基于redis本身的原子性來保證 Long currStock = stringRedisTemplate.opsForHash().increment(key + ":info", "stock", -1); if (currStock < 0) { // 說明庫(kù)存已經(jīng)扣減完了。 // 業(yè)務(wù)異常。 log.error("[搶購(gòu)下單] 無庫(kù)存"); } else { // 生成訂單 // 發(fā)布訂單創(chuàng)建成功事件 // 構(gòu)建響應(yīng) } } finally { distributedLocker.safedUnLock(key, val); // 構(gòu)建響應(yīng) } return response;}


          深度思考


          分布式鎖有必要么


          改進(jìn)之后,其實(shí)可以發(fā)現(xiàn),我們借助于redis本身的原子性扣減庫(kù)存,也是可以保證不會(huì)超賣的。對(duì)的。但是如果沒有這一層鎖的話,那么所有請(qǐng)求進(jìn)來都會(huì)走一遍業(yè)務(wù)邏輯,由于依賴了其他系統(tǒng),此時(shí)就會(huì)造成對(duì)其他系統(tǒng)的壓力增大。這會(huì)增加的性能損耗和服務(wù)不穩(wěn)定性,得不償失?;诜植际芥i可以在一定程度上攔截一些流量。


          分布式鎖的選型


          有人提出用RedLock來實(shí)現(xiàn)分布式鎖。RedLock的可靠性更高,但其代價(jià)是犧牲一定的性能。在本場(chǎng)景,這點(diǎn)可靠性的提升遠(yuǎn)不如性能的提升帶來的性價(jià)比高。如果對(duì)于可靠性極高要求的場(chǎng)景,則可以采用RedLock來實(shí)現(xiàn)。


          再次思考分布式鎖有必要么


          由于bug需要緊急修復(fù)上線,因此我們將其優(yōu)化并在測(cè)試環(huán)境進(jìn)行了壓測(cè)之后,就立馬熱部署上線了。實(shí)際證明,這個(gè)優(yōu)化是成功的,性能方面略微提升了一些,并在分布式鎖失效的情況下,沒有出現(xiàn)超賣的情況。然而,還有沒有優(yōu)化空間呢?有的!由于服務(wù)是集群部署,我們可以將庫(kù)存均攤到集群中的每個(gè)服務(wù)器上,通過廣播通知到集群的各個(gè)服務(wù)器。網(wǎng)關(guān)層基于用戶ID做hash算法來決定請(qǐng)求到哪一臺(tái)服務(wù)器。這樣就可以基于應(yīng)用緩存來實(shí)現(xiàn)庫(kù)存的扣減和判斷。性能又進(jìn)一步提升了!


          // 通過消息提前初始化好,借助ConcurrentHashMap實(shí)現(xiàn)高效線程安全private static ConcurrentHashMap<Long, Boolean> SECKILL_FLAG_MAP = new ConcurrentHashMap<>();// 通過消息提前設(shè)置好。由于AtomicInteger本身具備原子性,因此這里可以直接使用HashMapprivate static Map<Long, AtomicInteger> SECKILL_STOCK_MAP = new HashMap<>();

          ...

          public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {SeckillActivityRequestVO response;
          Long seckillId = request.getSeckillId(); if(!SECKILL_FLAG_MAP.get(requestseckillId)) { // 業(yè)務(wù)異常 } // 用戶活動(dòng)校驗(yàn) // 庫(kù)存校驗(yàn) if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet() < 0) { SECKILL_FLAG_MAP.put(seckillId, false); // 業(yè)務(wù)異常 } // 生成訂單 // 發(fā)布訂單創(chuàng)建成功事件 // 構(gòu)建響應(yīng) return response;}


          通過以上的改造,我們就完全不需要依賴redis了。性能和安全性兩方面都能進(jìn)一步得到提升!當(dāng)然,此方案沒有考慮到機(jī)器的動(dòng)態(tài)擴(kuò)容、縮容等復(fù)雜場(chǎng)景,如果還要考慮這些話,則不如直接考慮分布式鎖的解決方案。


          總結(jié)


          稀缺商品超賣絕對(duì)是重大事故。如果超賣數(shù)量多的話,甚至?xí)o平臺(tái)帶來非常嚴(yán)重的經(jīng)營(yíng)影響和社會(huì)影響。經(jīng)過本次事故,讓我意識(shí)到對(duì)于項(xiàng)目中的任何一行代碼都不能掉以輕心,否則在某些場(chǎng)景下,這些正常工作的代碼就會(huì)變成致命殺手!對(duì)于一個(gè)開發(fā)者而言,則設(shè)計(jì)開發(fā)方案時(shí),一定要將方案考慮周全。怎樣才能將方案考慮周全?唯有持續(xù)不斷地學(xué)習(xí)!


          1、2T架構(gòu)師學(xué)習(xí)資料干貨分享

          2、985副教授工資曝光

          3、心態(tài)崩了!稅前2萬4,到手1萬4,年終獎(jiǎng)扣稅方式1月1日起施行~

          4、雷軍做程序員時(shí)寫的博客,很強(qiáng)大!

          5、人臉識(shí)別的時(shí)候,一定要穿上衣服??!

          6、清華大學(xué):2021 元宇宙研究報(bào)告!

          7、績(jī)效被打3.25B,員工將支付寶告上了法院,判了

          瀏覽 25
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  搞逼网站| www.欧美成人 | 日韩黄片在线播放 | 人人操人人av | 黄色小电影在线免费观看 |