永遠(yuǎn)不要使用Redis過期監(jiān)聽實(shí)現(xiàn)定時任務(wù)!
文章來源:https://c1n.cn/5n6fT
前言
Redis 過期監(jiān)聽
RabbitMQ 死信
時間輪
結(jié)論
前言
https://juejin.cn/post/6987233263660040206
在電商、支付等領(lǐng)域,往往會有這樣的場景,用戶下單后放棄支付了,那這筆訂單會在指定的時間段后進(jìn)行關(guān)閉操作。
細(xì)心的你一定發(fā)現(xiàn)了像某寶、某東都有這樣的邏輯,而且時間很準(zhǔn)確,誤差在 1s 內(nèi),那他們是怎么實(shí)現(xiàn)的呢?
一般實(shí)現(xiàn)的方法有幾種:
使用 RocketMQ、RabbitMQ、Pulsar 等消息隊(duì)列的延時投遞功能
使用 Redisson 提供的 DelayedQueue
有一些方案雖然廣為流傳但存在著致命缺陷,不要用來實(shí)現(xiàn)延時任務(wù):
使用 Redis 的過期監(jiān)聽
使用 RabbitMQ 的死信隊(duì)列
使用非持久化的時間輪
Redis 過期監(jiān)聽
在 Redis 官方手冊的 keyspace-notifications: timing-of-expired-events 中明確指出:
Basically expired events are generated when the Redis server deletes the key and not when the time to live theoretically reaches the value of zero
Redis 自動過期的實(shí)現(xiàn)方式是:定時任務(wù)離線掃描并刪除部分過期鍵;在訪問鍵時惰性檢查是否過期并刪除過期鍵。
Redis 從未保證會在設(shè)定的過期時間立即刪除并發(fā)送過期通知。實(shí)際上,過期通知晚于設(shè)定的過期時間數(shù)分鐘的情況也比較常見。
此外鍵空間通知采用的是發(fā)送即忘(fire and forget)策略,并不像消息隊(duì)列一樣保證送達(dá)。當(dāng)訂閱事件的客戶端會丟失所有在斷線期間所有分發(fā)給它的事件。
這是一種比定時掃描數(shù)據(jù)庫更 “LOW” 的解決方案,請不要使用。
https://juejin.cn/post/6844904158227595271
RabbitMQ 死信
死信(Dead Letter)是 RabbitMQ 提供的一種機(jī)制。
當(dāng)一條消息滿足下列條件之一那么它會成為死信:
消息被否定確認(rèn)(如 channel.basicNack)并且此時 requeue 屬性被設(shè)置為 false。
消息在隊(duì)列的存活時間超過設(shè)置的 TTL 時間
消息隊(duì)列的消息數(shù)量已經(jīng)超過最大隊(duì)列長度
若配置了死信隊(duì)列,死信會被 RabbitMQ 投到死信隊(duì)列中。
在 RabbitMQ 中創(chuàng)建死信隊(duì)列的操作流程大概是:
創(chuàng)建一個交換機(jī)作為死信交換機(jī)
在業(yè)務(wù)隊(duì)列中配置 x-dead-letter-exchange 和 x-dead-letter-routing-key,將第一步的交換機(jī)設(shè)為業(yè)務(wù)隊(duì)列的死信交換機(jī)
在死信交換機(jī)上創(chuàng)建隊(duì)列,并監(jiān)聽此隊(duì)列
死信隊(duì)列的設(shè)計目的是為了存儲沒有被正常消費(fèi)的消息,便于排查和重新投遞。死信隊(duì)列同樣也沒有對投遞時間做出保證,在第一條消息成為死信之前,后面的消息即使過期也不會投遞為死信。
為了解決這個問題,Rabbit 官方推出了延遲投遞插件 rabbitmq-delayed-message-exchange ,推薦使用官方插件來做延時消息。
這里說點(diǎn)題外話,使用 Redis 過期監(jiān)聽或者 RabbitMQ 死信隊(duì)列做延時任務(wù)都是以設(shè)計者預(yù)想之外的方式使用中間件,這種出其不意必自斃的行為通常會存在某些隱患,比如缺乏一致性和可靠性保證,吞吐量較低、資源泄漏等。
比較出名的一個事例是很多人使用 Redis 的 List 作為消息隊(duì)列,以致于最后作者看不下去寫了 Disque 并最后演變?yōu)?Redis Stream。工作中還是盡量不要濫用中間件,用專業(yè)的組件做專業(yè)的事。
時間輪
時間輪是一種很優(yōu)秀的定時任務(wù)的數(shù)據(jù)結(jié)構(gòu),然而絕大多數(shù)時間輪實(shí)現(xiàn)是純內(nèi)存沒有持久化的。
運(yùn)行時間輪的進(jìn)程崩潰之后其中所有的任務(wù)都會灰飛煙滅,所以奉勸各位勇士謹(jǐn)慎使用。
| Redisson DelayQueue
Redisson DelayQueue 是一種基于 Redis Zset 結(jié)構(gòu)的延時隊(duì)列實(shí)現(xiàn)。DelayQueue 中有一個名為 timeoutSetName 的有序集合,其中元素的 score 為投遞時間戳。
DelayQueue 會定時使用 zrangebyscore 掃描已到投遞時間的消息,然后把它們移動到就緒消息列表中。
DelayQueue 保證 Redis 不崩潰的情況下不會丟失消息,在沒有更好的解決方案時不妨一試。
在數(shù)據(jù)庫索引設(shè)計良好的情況下,定時掃描數(shù)據(jù)庫中未完成的訂單產(chǎn)生的開銷并沒有想象中那么大。
在使用 Redisson DelayQueue 等定時任務(wù)中間件時可以同時使用掃描數(shù)據(jù)庫的方法作為補(bǔ)償機(jī)制,避免中間件故障造成任務(wù)丟失。
結(jié)論
總結(jié)了幾點(diǎn)如下:
首先推薦使用 RocketMQ、Pulsar 等擁有定時投遞功能的消息隊(duì)列。
在不方便獲得專業(yè)消息隊(duì)列時可以考慮使用 Redisson DelayQueue 等基于 Redis 的延時隊(duì)列方案,但要為 Redis 崩潰等情況設(shè)計補(bǔ)償保護(hù)機(jī)制。
在無法使用 Redisson DelayQueue 等方案時可以考慮使用時間輪。由于時間輪重啟遠(yuǎn)比 Redis 重啟要頻繁,定時掃庫等保護(hù)機(jī)制更為重要。
永遠(yuǎn)不要使用 Redis 過期監(jiān)聽實(shí)現(xiàn)定時任務(wù)。
完
我的新書《深入理解Java核心技術(shù)》已經(jīng)上市了,上市后一直蟬聯(lián)京東暢銷榜中,目前正在6折優(yōu)惠中,想要入手的朋友千萬不要錯過哦~長按二維碼即可購買~
長按掃碼享受6折優(yōu)惠
往期推薦

寫一本暢銷書是怎樣的一種體驗(yàn)

阿里 Seata 新版本終于解決了 TCC 模式的冪等、懸掛和空回滾問題

求你了,別在高并發(fā)場景中使用悲觀鎖了!
有道無術(shù),術(shù)可成;有術(shù)無道,止于術(shù)
歡迎大家關(guān)注Java之道公眾號
好文章,我在看??
