springboot + rabbitmq發(fā)送郵件(保證消息100%投遞成功并被消費(fèi))
wangzaiplus
https://www.jianshu.com/p/dca01aad6bc8
一、先扔一張圖

說(shuō)明:
本文涵蓋了關(guān)于RabbitMQ很多方面的知識(shí)點(diǎn), 如:
消息發(fā)送確認(rèn)機(jī)制
消費(fèi)確認(rèn)機(jī)制
消息的重新投遞
消費(fèi)冪等性, 等等
這些都是圍繞上面那張整體流程圖展開(kāi)的, 所以有必要先貼出來(lái), 見(jiàn)圖知意
二、實(shí)現(xiàn)思路
簡(jiǎn)略介紹 163 郵箱授權(quán)碼的獲取
編寫(xiě)發(fā)送郵件工具類
編寫(xiě) RabbitMQ 配置文件
生產(chǎn)者發(fā)起調(diào)用
消費(fèi)者發(fā)送郵件
定時(shí)任務(wù)定時(shí)拉取投遞失敗的消息, 重新投遞
各種異常情況的測(cè)試驗(yàn)證
拓展: 使用動(dòng)態(tài)代理實(shí)現(xiàn)消費(fèi)端冪等性驗(yàn)證和消息確認(rèn) (ack)
三、項(xiàng)目介紹
springboot版本2.1.5.RELEASE, 舊版本可能有些配置屬性不能使用, 需要以代碼形式進(jìn)行配置RabbitMQ版本3.7.15MailUtil: 發(fā)送郵件工具類RabbitConfig: rabbitmq 相關(guān)配置TestServiceImpl: 生產(chǎn)者, 發(fā)送消息MailConsumer: 消費(fèi)者, 消費(fèi)消息, 發(fā)送郵件ResendMsg: 定時(shí)任務(wù), 重新投遞發(fā)送失敗的消息
四、代碼實(shí)現(xiàn)
163 郵箱授權(quán)碼的獲取, 如圖:

該授權(quán)碼就是配置文件spring.mail.password需要的密碼
pom
org.springframework.boot
spring-boot-starter-amqp
org.springframework.boot
spring-boot-starter-mail
rabbitmq、郵箱配置
spring.rabbitmq.host=localhost
spring.rabbitmq.port=5672
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
spring.rabbitmq.publisher-confirms=true
spring.rabbitmq.publisher-returns=true
spring.rabbitmq.listener.simple.acknowledge-mode=manual
spring.rabbitmq.listener.simple.prefetch=100
spring.mail.host=smtp.163.com
spring.mail.username=18621142249@163.com
spring.mail.password=123456wangzai
spring.mail.from=18621142249@163.com
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
說(shuō)明:?
password即授權(quán)碼,?username和from要一致
表結(jié)構(gòu)
CREATE TABLE `msg_log` (
`msg_id` varchar(255) NOT NULL DEFAULT '' COMMENT '消息唯一標(biāo)識(shí)',
`msg` text COMMENT '消息體, json格式化',
`exchange` varchar(255) NOT NULL DEFAULT '' COMMENT '交換機(jī)',
`routing_key` varchar(255) NOT NULL DEFAULT '' COMMENT '路由鍵',
`status` int(11) NOT NULL DEFAULT '0' COMMENT '狀態(tài): 0投遞中 1投遞成功 2投遞失敗 3已消費(fèi)',
`try_count` int(11) NOT NULL DEFAULT '0' COMMENT '重試次數(shù)',
`next_try_time` datetime DEFAULT NULL COMMENT '下一次重試時(shí)間',
`create_time` datetime DEFAULT NULL COMMENT '創(chuàng)建時(shí)間',
`update_time` datetime DEFAULT NULL COMMENT '更新時(shí)間',
PRIMARY KEY (`msg_id`),
UNIQUE KEY `unq_msg_id` (`msg_id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='消息投遞日志';
說(shuō)明:?
exchange routing_key字段是在定時(shí)任務(wù)重新投遞消息時(shí)需要用到的
MailUtil
@Component
@Slf4j
public class MailUtil {
@Value("${spring.mail.from}")
private String from;
@Autowired
private JavaMailSender mailSender;
public boolean send(Mail mail) {
String to = mail.getTo();
String title = mail.getTitle();
String content = mail.getContent();
SimpleMailMessage message = new SimpleMailMessage();
message.setFrom(from);
message.setTo(to);
message.setSubject(title);
message.setText(content);
try {
mailSender.send(message);
log.info("郵件發(fā)送成功");
return true;
} catch (MailException e) {
log.error("郵件發(fā)送失敗, to: {}, title: {}", to, title, e);
return false;
}
}
}
RabbitConfig
@Configuration
@Slf4j
public class RabbitConfig {
@Autowired
private CachingConnectionFactory connectionFactory;
@Autowired
private MsgLogService msgLogService;
@Bean
public RabbitTemplate rabbitTemplate() {
RabbitTemplate rabbitTemplate = new RabbitTemplate(connectionFactory);
rabbitTemplate.setMessageConverter(converter());
rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> {
if (ack) {
log.info("消息成功發(fā)送到Exchange");
String msgId = correlationData.getId();
msgLogService.updateStatus(msgId, Constant.MsgLogStatus.DELIVER_SUCCESS);
} else {
log.info("消息發(fā)送到Exchange失敗, {}, cause: {}", correlationData, cause);
}
});
rabbitTemplate.setMandatory(true);
rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {
log.info("消息從Exchange路由到Queue失敗: exchange: {}, route: {}, replyCode: {}, replyText: {}, message: {}", exchange, routingKey, replyCode, replyText, message);
});
return rabbitTemplate;
}
@Bean
public Jackson2JsonMessageConverter converter() {
return new Jackson2JsonMessageConverter();
}
public static final String MAIL_QUEUE_NAME = "mail.queue";
public static final String MAIL_EXCHANGE_NAME = "mail.exchange";
public static final String MAIL_ROUTING_KEY_NAME = "mail.routing.key";
@Bean
public Queue mailQueue() {
return new Queue(MAIL_QUEUE_NAME, true);
}
@Bean
public DirectExchange mailExchange() {
return new DirectExchange(MAIL_EXCHANGE_NAME, true, false);
}
@Bean
public Binding mailBinding() {
return BindingBuilder.bind(mailQueue()).to(mailExchange()).with(MAIL_ROUTING_KEY_NAME);
}
}
TestServiceImpl生產(chǎn)消息
@Service
public class TestServiceImpl implements TestService {
@Autowired
private MsgLogMapper msgLogMapper;
@Autowired
private RabbitTemplate rabbitTemplate;
@Override
public ServerResponse send(Mail mail) {
String msgId = RandomUtil.UUID32();
mail.setMsgId(msgId);
MsgLog msgLog = new MsgLog(msgId, mail, RabbitConfig.MAIL_EXCHANGE_NAME, RabbitConfig.MAIL_ROUTING_KEY_NAME);
msgLogMapper.insert(msgLog);
CorrelationData correlationData = new CorrelationData(msgId);
rabbitTemplate.convertAndSend(RabbitConfig.MAIL_EXCHANGE_NAME, RabbitConfig.MAIL_ROUTING_KEY_NAME, MessageHelper.objToMsg(mail), correlationData);
return ServerResponse.success(ResponseCode.MAIL_SEND_SUCCESS.getMsg());
}
}
MailConsumer消費(fèi)消息, 發(fā)送郵件
@Component
@Slf4j
public class MailConsumer {
@Autowired
private MsgLogService msgLogService;
@Autowired
private MailUtil mailUtil;
@RabbitListener(queues = RabbitConfig.MAIL_QUEUE_NAME)
public void consume(Message message, Channel channel) throws IOException {
Mail mail = MessageHelper.msgToObj(message, Mail.class);
log.info("收到消息: {}", mail.toString());
String msgId = mail.getMsgId();
MsgLog msgLog = msgLogService.selectByMsgId(msgId);
if (null == msgLog || msgLog.getStatus().equals(Constant.MsgLogStatus.CONSUMED_SUCCESS)) {
log.info("重復(fù)消費(fèi), msgId: {}", msgId);
return;
}
MessageProperties properties = message.getMessageProperties();
long tag = properties.getDeliveryTag();
boolean success = mailUtil.send(mail);
if (success) {
msgLogService.updateStatus(msgId, Constant.MsgLogStatus.CONSUMED_SUCCESS);
channel.basicAck(tag, false);
} else {
channel.basicNack(tag, false, true);
}
}
}
說(shuō)明: 其實(shí)就完成了 3 件事: 1. 保證消費(fèi)冪等性, 2. 發(fā)送郵件, 3. 更新消息狀態(tài), 手動(dòng) ack
ResendMsg定時(shí)任務(wù)重新投遞發(fā)送失敗的消息
@Component
@Slf4j
public class ResendMsg {
@Autowired
private MsgLogService msgLogService;
@Autowired
private RabbitTemplate rabbitTemplate;
private static final int MAX_TRY_COUNT = 3;
@Scheduled(cron = "0/30 * * * * ?")
public void resend() {
log.info("開(kāi)始執(zhí)行定時(shí)任務(wù)(重新投遞消息)");
List msgLogs = msgLogService.selectTimeoutMsg();
msgLogs.forEach(msgLog -> {
String msgId = msgLog.getMsgId();
if (msgLog.getTryCount() >= MAX_TRY_COUNT) {
msgLogService.updateStatus(msgId, Constant.MsgLogStatus.DELIVER_FAIL);
log.info("超過(guò)最大重試次數(shù), 消息投遞失敗, msgId: {}", msgId);
} else {
msgLogService.updateTryCount(msgId, msgLog.getNextTryTime());
CorrelationData correlationData = new CorrelationData(msgId);
rabbitTemplate.convertAndSend(msgLog.getExchange(), msgLog.getRoutingKey(), MessageHelper.objToMsg(msgLog.getMsg()), correlationData);
log.info("第 " + (msgLog.getTryCount() + 1) + " 次重新投遞消息");
}
});
log.info("定時(shí)任務(wù)執(zhí)行結(jié)束(重新投遞消息)");
}
}
說(shuō)明: 每一條消息都和
exchange routingKey綁定, 所有消息重投共用這一個(gè)定時(shí)任務(wù)即可
五、基本測(cè)試
OK, 目前為止, 代碼準(zhǔn)備就緒, 現(xiàn)在進(jìn)行正常流程的測(cè)試
發(fā)送請(qǐng)求:

后臺(tái)日志:

數(shù)據(jù)庫(kù)消息記錄:

狀態(tài)為 3, 表明已消費(fèi), 消息重試次數(shù)為 0, 表明一次投遞就成功了
查看郵箱

發(fā)送成功
六、各種異常情況測(cè)試
步驟一羅列了很多關(guān)于 RabbitMQ 的知識(shí)點(diǎn), 很重要, 很核心, 而本文也涉及到了這些知識(shí)點(diǎn)的實(shí)現(xiàn), 接下來(lái)就通過(guò)異常測(cè)試進(jìn)行驗(yàn)證 (這些驗(yàn)證都是圍繞本文開(kāi)頭扔的那張流程圖展開(kāi)的, 很重要, 所以, 再貼一遍)

驗(yàn)證消息發(fā)送到 Exchange 失敗情況下的回調(diào), 對(duì)應(yīng)上圖
P -> X
如何驗(yàn)證? 可以隨便指定一個(gè)不存在的交換機(jī)名稱, 請(qǐng)求接口, 看是否會(huì)觸發(fā)回調(diào)

發(fā)送失敗, 原因:?reply-code=404, reply-text=NOT_FOUND - no exchange 'mail.exchangeabcd' in vhost '/', 該回調(diào)能夠保證消息正確發(fā)送到 Exchange, 測(cè)試完成
驗(yàn)證消息從 Exchange 路由到 Queue 失敗情況下的回調(diào), 對(duì)應(yīng)上圖
X -> Q
同理, 修改一下路由鍵為不存在的即可, 路由失敗, 觸發(fā)回調(diào)

發(fā)送失敗, 原因:?route: mail.routing.keyabcd, replyCode: 312, replyText: NO_ROUTE
驗(yàn)證在手動(dòng) ack 模式下, 消費(fèi)端必須進(jìn)行手動(dòng)確認(rèn) (ack), 否則消息會(huì)一直保存在隊(duì)列中, 直到被消費(fèi), 對(duì)應(yīng)上圖
Q -> C
將消費(fèi)端代碼channel.basicAck(tag, false);// 消費(fèi)確認(rèn)注釋掉, 查看控制臺(tái)和 rabbitmq 管控臺(tái)


可以看到, 雖然消息確實(shí)被消費(fèi)了, 但是由于是手動(dòng)確認(rèn)模式, 而最后又沒(méi)手動(dòng)確認(rèn), 所以, 消息仍被 rabbitmq 保存, 所以, 手動(dòng) ack 能夠保證消息一定被消費(fèi), 但一定要記得basicAck
驗(yàn)證消費(fèi)端冪等性
接著上一步, 去掉注釋, 重啟服務(wù)器, 由于有一條未被 ack 的消息, 所以重啟后監(jiān)聽(tīng)到消息, 進(jìn)行消費(fèi), 但是由于消費(fèi)前會(huì)判斷該消息的狀態(tài)是否未被消費(fèi), 發(fā)現(xiàn)status=3, 即已消費(fèi), 所以, 直接return, 這樣就保證了消費(fèi)端的冪等性, 即使由于網(wǎng)絡(luò)等原因投遞成功而未觸發(fā)回調(diào), 從而多次投遞, 也不會(huì)重復(fù)消費(fèi)進(jìn)而發(fā)生業(yè)務(wù)異常

驗(yàn)證消費(fèi)端發(fā)生異常消息也不會(huì)丟失
很顯然, 消費(fèi)端代碼可能發(fā)生異常, 如果不做處理, 業(yè)務(wù)沒(méi)正確執(zhí)行, 消息卻不見(jiàn)了, 給我們感覺(jué)就是消息丟失了, 由于我們消費(fèi)端代碼做了異常捕獲, 業(yè)務(wù)異常時(shí), 會(huì)觸發(fā):?channel.basicNack(tag, false, true);, 這樣會(huì)告訴 rabbitmq 該消息消費(fèi)失敗, 需要重新入隊(duì), 可以重新投遞到其他正常的消費(fèi)端進(jìn)行消費(fèi), 從而保證消息不被丟失
測(cè)試: send 方法直接返回 false 即可 (這里跟拋出異常一個(gè)意思)

可以看到, 由于channel.basicNack(tag, false, true), 未被 ack 的消息 (unacked) 會(huì)重新入隊(duì)并被消費(fèi), 這樣就保證了消息不會(huì)走丟
驗(yàn)證定時(shí)任務(wù)的消息重投
實(shí)際應(yīng)用場(chǎng)景中, 可能由于網(wǎng)絡(luò)原因, 或者消息未被持久化 MQ 就宕機(jī)了, 使得投遞確認(rèn)的回調(diào)方法ConfirmCallback沒(méi)有被執(zhí)行, 從而導(dǎo)致數(shù)據(jù)庫(kù)該消息狀態(tài)一直是投遞中的狀態(tài), 此時(shí)就需要進(jìn)行消息重投, 即使也許消息已經(jīng)被消費(fèi)了
定時(shí)任務(wù)只是保證消息 100% 投遞成功, 而多次投遞的消費(fèi)冪等性需要消費(fèi)端自己保證
我們可以將回調(diào)和消費(fèi)成功后更新消息狀態(tài)的代碼注釋掉, 開(kāi)啟定時(shí)任務(wù), 查看是否重投


可以看到, 消息會(huì)重投 3 次, 超過(guò) 3 次放棄, 將消息狀態(tài)置為投遞失敗狀態(tài), 出現(xiàn)這種非正常情況, 就需要人工介入排查原因
七、拓展: 使用動(dòng)態(tài)代理實(shí)現(xiàn)消費(fèi)端冪等性驗(yàn)證和消費(fèi)確認(rèn) (ack)
不知道大家發(fā)現(xiàn)沒(méi)有, 在MailConsumer中, 真正的業(yè)務(wù)邏輯其實(shí)只是發(fā)送郵件mailUtil.send(mail)而已, 但我們又不得不在調(diào)用send方法之前校驗(yàn)消費(fèi)冪等性, 發(fā)送后, 還要更新消息狀態(tài)為 "已消費(fèi)" 狀態(tài), 并手動(dòng) ack, 實(shí)際項(xiàng)目中, 可能還有很多生產(chǎn)者 - 消費(fèi)者的應(yīng)用場(chǎng)景, 如記錄日志, 發(fā)送短信等等, 都需要 rabbitmq, 如果每次都寫(xiě)這些重復(fù)的公用代碼, 沒(méi)必要, 也難以維護(hù), 所以, 我們可以將公共代碼抽離出來(lái), 讓核心業(yè)務(wù)邏輯只關(guān)心自己的實(shí)現(xiàn), 而不用做其他操作, 其實(shí)就是 AOP
為達(dá)到這個(gè)目的, 有很多方法, 可以用 spring aop, 可以用攔截器, 可以用靜態(tài)代理, 也可以用動(dòng)態(tài)代理, 在這里, 我用的是動(dòng)態(tài)代理
目錄結(jié)構(gòu)如下:

核心代碼就是代理的實(shí)現(xiàn), 這里就不把所有代碼貼出來(lái)了, 只是提供一個(gè)思路, 我們要盡可能地把代碼寫(xiě)的更簡(jiǎn)潔更優(yōu)雅
八、總結(jié)
發(fā)送郵件其實(shí)很簡(jiǎn)單, 但深究起來(lái)其實(shí)有很多需要注意和完善的點(diǎn), 一個(gè)看似很小的知識(shí)點(diǎn), 也可以引申出很多問(wèn)題, 甚至涉及到方方面面, 這些都需要自己踩坑, 當(dāng)然我這代碼肯定還有很多不完善和需要優(yōu)化的點(diǎn), 希望小伙伴多多提意見(jiàn)和建議
我的代碼都是經(jīng)過(guò)自測(cè)驗(yàn)證過(guò)的, 圖也都是一點(diǎn)一點(diǎn)自己畫(huà)的或認(rèn)真截的, 希望小伙伴能學(xué)到一點(diǎn)東西, 路過(guò)的點(diǎn)個(gè)贊或點(diǎn)個(gè)關(guān)注唄, 謝謝
項(xiàng)目?Github, 歡迎fork
https://github.com/wangzaiplus/springboot/tree/wxw
--end--
掃描下方二維碼 添加好友,備注【交流】 可私聊交流,也可進(jìn)資源豐富學(xué)習(xí)群
