<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          唉,因為一個疏忽超賣了 100 瓶飛天茅臺!

          共 1037字,需瀏覽 3分鐘

           ·

          2021-01-04 12:01

          點擊上方藍色字體,選擇“置頂或者星標”?


          優(yōu)質文章第一時間送達!


          基于Redis使用分布式鎖在當今已經(jīng)不是什么新鮮事了。
          本篇文章主要是基于我們實際項目中因為redis分布式鎖造成的事故分析及解決方案。我們項目中的搶購訂單采用的是分布式鎖來解決的,有一次,運營做了一個飛天茅臺的搶購活動,庫存100瓶,但是卻超賣了100瓶!要知道,這個地球上飛天茅臺的稀缺性?。。。?/span>
          事故定為P0級重大事故...只能坦然接受。整個項目組被扣績效了~~事故發(fā)生后,CTO指名點姓讓我?guī)ь^沖鋒來處理。
          好吧,沖~

          事故現(xiàn)場

          經(jīng)過一番了解后,得知這個搶購活動接口以前從來沒有出現(xiàn)過這種情況,但是這次為什么會超賣呢?
          原因在于:之前的搶購商品都不是什么稀缺性商品,而這次活動居然是飛天茅臺,通過埋點數(shù)據(jù)分析,各項數(shù)據(jù)基本都是成倍增長,活動熱烈程度可想而知!話不多說,直接上核心代碼,機密部分做了偽代碼處理。。。
          public?SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
          SeckillActivityRequestVO response;
          ????String?key = "key:"?+ request.getSeckillId;
          ????try?{
          ????????Boolean?lockFlag = redisTemplate.opsForValue().setIfAbsent(key, "val", 10, TimeUnit.SECONDS);
          ????????if?(lockFlag) {
          ????????????// HTTP請求用戶服務進行用戶相關的校驗
          ????????????// 用戶活動校驗
          ????????????
          ????????????// 庫存校驗
          ????????????Object?stock = redisTemplate.opsForHash().get(key+":info", "stock");
          ????????????assert stock != null;
          ????????????if?(Integer.parseInt(stock.toString()) <= 0) {
          ????????????????// 業(yè)務異常
          ????????????} else?{
          ????????????????redisTemplate.opsForHash().increment(key+":info", "stock", -1);
          ????????????????// 生成訂單
          ????????????????// 發(fā)布訂單創(chuàng)建成功事件
          ????????????????// 構建響應VO
          ????????????}
          ????????}
          ????} finally?{
          ????????// 釋放鎖
          ????????stringRedisTemplate.delete("key");
          ????????// 構建響應VO
          ????}
          ????return?response;
          }
          以上代碼,通過分布式鎖過期時間有效期10s來保障業(yè)務邏輯有足夠的執(zhí)行時間;采用try-finally語句塊保證鎖一定會及時釋放。業(yè)務代碼內(nèi)部也對庫存進行了校驗??雌饋砗馨踩 別急,繼續(xù)分析。。。

          事故原因

          飛天茅臺搶購活動吸引了大量新用戶下載注冊我們的APP,其中,不乏很多羊毛黨,采用專業(yè)的手段來注冊新用戶來薅羊毛和刷單。當然我們的用戶系統(tǒng)提前做好了防備,接入阿里云人機驗證、三要素認證以及自研的風控系統(tǒng)等各種十八般武藝,擋住了大量的非法用戶。此處不禁點個贊~?但也正因如此,讓用戶服務一直處于較高的運行負載中。
          搶購活動開始的一瞬間,大量的用戶校驗請求打到了用戶服務。導致用戶服務網(wǎng)關出現(xiàn)了短暫的響應延遲,有些請求的響應時長超過了10s,但由于HTTP請求的響應超時我們設置的是30s,這就導致接口一直阻塞在用戶校驗那里,10s后,分布式鎖已經(jīng)失效了,此時有新的請求進來是可以拿到鎖的,也就是說鎖被覆蓋了。這些阻塞的接口執(zhí)行完之后,又會執(zhí)行釋放鎖的邏輯,這就把其他線程的鎖釋放了,導致新的請求也可以競爭到鎖~這真是一個極其惡劣的循環(huán)。這個時候只能依賴庫存校驗,但是偏偏庫存校驗不是非原子性的,采用的是get and compare 的方式,超賣的悲劇就這樣發(fā)生了~~~

          事故分析

          仔細分析下來,可以發(fā)現(xiàn),這個搶購接口在高并發(fā)場景下,是有嚴重的安全隱患的,主要集中在三個地方:
          • 沒有其他系統(tǒng)風險容錯處理
          由于用戶服務吃緊,網(wǎng)關響應延遲,但沒有任何應對方式,這是超賣的導火索。
          • 看似安全的分布式鎖其實一點都不安全
          雖然采用了set key value [EX seconds] [PX milliseconds] [NX|XX]的方式,但是如果線程A執(zhí)行的時間較長沒有來得及釋放,鎖就過期了,此時線程B是可以獲取到鎖的。當線程A執(zhí)行完成之后,釋放鎖,實際上就把線程B的鎖釋放掉了。這個時候,線程C又是可以獲取到鎖的,而此時如果線程B執(zhí)行完釋放鎖實際上就是釋放的線程C設置的鎖。這是超賣的直接原因。
          • 非原子性的庫存校驗
          非原子性的庫存校驗導致在并發(fā)場景下,庫存校驗的結果不準確。這是超賣的根本原因。
          通過以上分析,問題的根本原因在于庫存校驗嚴重依賴了分布式鎖。因為在分布式鎖正常set、del的情況下,庫存校驗是沒有問題的。但是,當分布式鎖不安全可靠的時候,庫存校驗就沒有用了。

          解決方案

          知道了原因之后,我們就可以對癥下藥了。

          實現(xiàn)相對安全的分布式鎖

          相對安全的定義:set、del是一一映射的,不會出現(xiàn)把其他現(xiàn)成的鎖del的情況。從實際情況的角度來看,即使能做到set、del一一映射,也無法保障業(yè)務的絕對安全。因為鎖的過期時間始終是有界的,除非不設置過期時間或者把過期時間設置的很長,但這樣做也會帶來其他問題。故沒有意義。要想實現(xiàn)相對安全的分布式鎖,必須依賴key的value值。在釋放鎖的時候,通過value值的唯一性來保證不會勿刪。我們基于LUA腳本實現(xiàn)原子性的get and compare,如下:
          public?void safedUnLock(String key, String val) {
          ????String?luaScript = "local in = ARGV[1] local curr=redis.call('get', KEYS[1]) if in==curr then redis.call('del', KEYS[1]) end return 'OK'"";
          ????RedisScript redisScript = RedisScript.of(luaScript);
          ????redisTemplate.execute(redisScript, Collections.singletonList(key), Collections.singleton(val));
          }

          我們通過LUA腳本來實現(xiàn)安全地解鎖。

          實現(xiàn)安全的庫存校驗

          如果我們對于并發(fā)有比較深入的了解的話,會發(fā)現(xiàn)想 get and compare/ read and save 等操作,都是非原子性的。如果要實現(xiàn)原子性,我們也可以借助LUA腳本來實現(xiàn)。但就我們這個例子中,由于搶購活動一單只能下1瓶,因此可以不用基于LUA腳本實現(xiàn)而是基于redis本身的原子性。原因在于:
          // redis會返回操作之后的結果,這個過程是原子性的
          Long currStock = redisTemplate.opsForHash().increment("key", "stock", -1);

          發(fā)現(xiàn)沒有,代碼中的庫存校驗完全是“畫蛇添足”。

          改進之后的代碼

          經(jīng)過以上的分析之后,我們決定新建一個DistributedLocker類專門用于處理分布式鎖。
          public?SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
          SeckillActivityRequestVO response;
          ????String?key = "key:"?+ request.getSeckillId();
          ????String?val = UUID.randomUUID().toString();
          ????try?{
          ????????Boolean?lockFlag = distributedLocker.lock(key, val, 10, TimeUnit.SECONDS);
          ????????if?(!lockFlag) {
          ????????????// 業(yè)務異常
          ????????}

          ????????// 用戶活動校驗
          ????????// 庫存校驗,基于redis本身的原子性來保證
          ????????Long currStock = stringRedisTemplate.opsForHash().increment(key + ":info", "stock", -1);
          ????????if?(currStock < 0) { // 說明庫存已經(jīng)扣減完了。
          ????????????// 業(yè)務異常。
          ????????????log.error("[搶購下單] 無庫存");
          ????????} else?{
          ????????????// 生成訂單
          ????????????// 發(fā)布訂單創(chuàng)建成功事件
          ????????????// 構建響應
          ????????}
          ????} finally?{
          ????????distributedLocker.safedUnLock(key, val);
          ????????// 構建響應
          ????}
          ????return?response;
          }

          深度思考

          分布式鎖有必要么

          改進之后,其實可以發(fā)現(xiàn),我們借助于redis本身的原子性扣減庫存,也是可以保證不會超賣的。對的。但是如果沒有這一層鎖的話,那么所有請求進來都會走一遍業(yè)務邏輯,由于依賴了其他系統(tǒng),此時就會造成對其他系統(tǒng)的壓力增大。這會增加的性能損耗和服務不穩(wěn)定性,得不償失?;诜植际芥i可以在一定程度上攔截一些流量。

          分布式鎖的選型

          有人提出用RedLock來實現(xiàn)分布式鎖。RedLock的可靠性更高,但其代價是犧牲一定的性能。在本場景,這點可靠性的提升遠不如性能的提升帶來的性價比高。如果對于可靠性極高要求的場景,則可以采用RedLock來實現(xiàn)。

          再次思考分布式鎖有必要么

          由于bug需要緊急修復上線,因此我們將其優(yōu)化并在測試環(huán)境進行了壓測之后,就立馬熱部署上線了。實際證明,這個優(yōu)化是成功的,性能方面略微提升了一些,并在分布式鎖失效的情況下,沒有出現(xiàn)超賣的情況。然而,還有沒有優(yōu)化空間呢?有的!由于服務是集群部署,我們可以將庫存均攤到集群中的每個服務器上,通過廣播通知到集群的各個服務器。網(wǎng)關層基于用戶ID做hash算法來決定請求到哪一臺服務器。這樣就可以基于應用緩存來實現(xiàn)庫存的扣減和判斷。性能又進一步提升了!
          // 通過消息提前初始化好,借助ConcurrentHashMap實現(xiàn)高效線程安全
          private?static?ConcurrentHashMap SECKILL_FLAG_MAP = new?ConcurrentHashMap<>();
          // 通過消息提前設置好。由于AtomicInteger本身具備原子性,因此這里可以直接使用HashMap
          private?static?Map SECKILL_STOCK_MAP = new?HashMap<>();

          ...

          public?SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
          SeckillActivityRequestVO response;

          ????Long seckillId = request.getSeckillId();
          ????if(!SECKILL_FLAG_MAP.get(requestseckillId)) {
          ????????// 業(yè)務異常
          ????}
          ?????// 用戶活動校驗
          ?????// 庫存校驗
          ????if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet() < 0) {
          ????????SECKILL_FLAG_MAP.put(seckillId, false);
          ????????// 業(yè)務異常
          ????}
          ????// 生成訂單
          ????// 發(fā)布訂單創(chuàng)建成功事件
          ????// 構建響應
          ????return?response;
          }

          通過以上的改造,我們就完全不需要依賴redis了。性能和安全性兩方面都能進一步得到提升!當然,此方案沒有考慮到機器的動態(tài)擴容、縮容等復雜場景,如果還要考慮這些話,則不如直接考慮分布式鎖的解決方案。

          總結

          稀缺商品超賣絕對是重大事故。如果超賣數(shù)量多的話,甚至會給平臺帶來非常嚴重的經(jīng)營影響和社會影響。經(jīng)過本次事故,讓我意識到對于項目中的任何一行代碼都不能掉以輕心,否則在某些場景下,這些正常工作的代碼就會變成致命殺手!對于一個開發(fā)者而言,則設計開發(fā)方案時,一定要將方案考慮周全。怎樣才能將方案考慮周全?唯有持續(xù)不斷地學習!
          來源 |?https://juejin.cn/post/6854573212831842311


          更多推薦內(nèi)容

          ↓↓↓

          2020,隨心向前,重新出發(fā)

          Spring Boot 解決跨域問題的 3 種方案!

          作為字節(jié)跳動面試官,有些話我不得不說!

          如果你喜歡本文

          請長按二維碼,關注公眾號

          轉發(fā)朋友圈,是對我最大的支持喲

          以上,便是今天的分享,希望大家喜歡,覺得內(nèi)容不錯的,歡迎「分享」「」或者點擊「在看」支持,謝謝各位。

          瀏覽 46
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  国产999高清无码精品导航 | 亚洲中文字幕色 | 91在线成人传媒 | 国内精品视频在线播放 | 国产精品 欧美精品 |