優(yōu)雅地處理重復(fù)請(qǐng)求(并發(fā)請(qǐng)求)
回復(fù)架構(gòu)師獲取資源
大家好,我是你們的朋友架構(gòu)君,一個(gè)會(huì)寫代碼吟詩(shī)的架構(gòu)師。
'javajgs.com';
利用唯一請(qǐng)求編號(hào)去重
業(yè)務(wù)參數(shù)去重
計(jì)算請(qǐng)求參數(shù)的摘要作為參數(shù)標(biāo)識(shí)
繼續(xù)優(yōu)化,考慮剔除部分時(shí)間因子
請(qǐng)求去重工具類,Java實(shí)現(xiàn)
總結(jié)
對(duì)于一些用戶請(qǐng)求,在某些情況下是可能重復(fù)發(fā)送的,如果是查詢類操作并無(wú)大礙,但其中有些是涉及寫入操作的,一旦重復(fù)了,可能會(huì)導(dǎo)致很嚴(yán)重的后果,例如交易的接口如果重復(fù)請(qǐng)求可能會(huì)重復(fù)下單。
重復(fù)的場(chǎng)景有可能是:
黑客攔截了請(qǐng)求,重放
前端/客戶端因?yàn)槟承┰蛘?qǐng)求重復(fù)發(fā)送了,或者用戶在很短的時(shí)間內(nèi)重復(fù)點(diǎn)擊了
網(wǎng)關(guān)重發(fā)
….
利用唯一請(qǐng)求編號(hào)去重
可能會(huì)想到的是,只要請(qǐng)求有唯一的請(qǐng)求編號(hào),那么就能借用Redis做這個(gè)去重——只要這個(gè)唯一請(qǐng)求編號(hào)在redis存在,證明處理過(guò),那么就認(rèn)為是重復(fù)的
????String?KEY?=?"REQ12343456788";//請(qǐng)求唯一編號(hào)
????long?expireTime?=??1000;//?1000毫秒過(guò)期,1000ms內(nèi)的重復(fù)請(qǐng)求會(huì)認(rèn)為重復(fù)
????long?expireAt?=?System.currentTimeMillis()?+?expireTime;
????String?val?=?"expireAt@"?+?expireAt;
????//redis?key還存在的話要就認(rèn)為請(qǐng)求是重復(fù)的
????Boolean?firstSet?=?stringRedisTemplate.execute((RedisCallback)?connection?->?connection.set(KEY.getBytes(),?val.getBytes(),?Expiration.milliseconds(expireTime),?RedisStringCommands.SetOption.SET_IF_ABSENT));
????final?boolean?isConsiderDup;
????if?(firstSet?!=?null?&&?firstSet)?{//?第一次訪問(wèn)
????????isConsiderDup?=?false;
????}?else?{//?redis值已存在,認(rèn)為是重復(fù)了
????????isConsiderDup?=?true;
????}
業(yè)務(wù)參數(shù)去重
上面的方案能解決具備唯一請(qǐng)求編號(hào)的場(chǎng)景,例如每次寫請(qǐng)求之前都是服務(wù)端返回一個(gè)唯一編號(hào)給客戶端,客戶端帶著這個(gè)請(qǐng)求號(hào)做請(qǐng)求,服務(wù)端即可完成去重?cái)r截。
String?KEY?=?"dedup:U="+userId?+?"M="?+?method?+?"P="?+?reqParam;那么當(dāng)同一個(gè)用戶訪問(wèn)同一個(gè)接口,帶著同樣的reqParam過(guò)來(lái),我們就能定位到他是重復(fù)的了。
| 計(jì)算請(qǐng)求參數(shù)的摘要作為參數(shù)標(biāo)識(shí)
String?KEY?=?"dedup:U="+userId?+?"M="?+?method?+?"P="?+?reqParamMD5;這樣,請(qǐng)求的唯一標(biāo)識(shí)就打上了!
| 繼續(xù)優(yōu)化,考慮剔除部分時(shí)間因子
原因是這些請(qǐng)求參數(shù)的字段里面,是帶時(shí)間字段的,這個(gè)字段標(biāo)記用戶請(qǐng)求的時(shí)間,服務(wù)端可以借此丟棄掉一些老的請(qǐng)求(例如5秒前)。如下面的例子,請(qǐng)求的其他參數(shù)是一樣的,除了請(qǐng)求時(shí)間相差了一秒:
????//兩個(gè)請(qǐng)求一樣,但是請(qǐng)求時(shí)間差一秒
????String?req?=?"{\n"?+
????????????"\"requestTime\"?:\"20190101120001\",\n"?+
????????????"\"requestValue\"?:\"1000\",\n"?+
????????????"\"requestKey\"?:\"key\"\n"?+
????????????"}";
????String?req2?=?"{\n"?+
????????????"\"requestTime\"?:\"20190101120002\",\n"?+
????????????"\"requestValue\"?:\"1000\",\n"?+
????????????"\"requestKey\"?:\"key\"\n"?+
????????????"}";
請(qǐng)求去重工具類,Java實(shí)現(xiàn)
public?class?ReqDedupHelper?{
????/**
?????*
?????*?@param?reqJSON?請(qǐng)求的參數(shù),這里通常是JSON
?????*?@param?excludeKeys?請(qǐng)求參數(shù)里面要去除哪些字段再求摘要
?????*?@return?去除參數(shù)的MD5摘要
?????*/
????public?String?dedupParamMD5(final?String?reqJSON,?String...?excludeKeys)?{
????????String?decreptParam?=?reqJSON;
????????TreeMap?paramTreeMap?=?JSON.parseObject(decreptParam,?TreeMap.class);
????????if?(excludeKeys!=null)?{
????????????List?dedupExcludeKeys?=?Arrays.asList(excludeKeys);
????????????if?(!dedupExcludeKeys.isEmpty())?{
????????????????for?(String?dedupExcludeKey?:?dedupExcludeKeys)?{
????????????????????paramTreeMap.remove(dedupExcludeKey);
????????????????}
????????????}
????????}
????????String?paramTreeMapJSON?=?JSON.toJSONString(paramTreeMap);
????????String?md5deDupParam?=?jdkMD5(paramTreeMapJSON);
????????log.debug("md5deDupParam?=?{},?excludeKeys?=?{}?{}",?md5deDupParam,?Arrays.deepToString(excludeKeys),?paramTreeMapJSON);
????????return?md5deDupParam;
????}
????private?static?String?jdkMD5(String?src)?{
????????String?res?=?null;
????????try?{
????????????MessageDigest?messageDigest?=?MessageDigest.getInstance("MD5");
????????????byte[]?mdBytes?=?messageDigest.digest(src.getBytes());
????????????res?=?DatatypeConverter.printHexBinary(mdBytes);
????????}?catch?(Exception?e)?{
????????????log.error("",e);
????????}
????????return?res;
????}
}
下面是一些測(cè)試日志:
public?static?void?main(String[]?args)?{
????//兩個(gè)請(qǐng)求一樣,但是請(qǐng)求時(shí)間差一秒
????String?req?=?"{\n"?+
????????????"\"requestTime\"?:\"20190101120001\",\n"?+
????????????"\"requestValue\"?:\"1000\",\n"?+
????????????"\"requestKey\"?:\"key\"\n"?+
????????????"}";
????String?req2?=?"{\n"?+
????????????"\"requestTime\"?:\"20190101120002\",\n"?+
????????????"\"requestValue\"?:\"1000\",\n"?+
????????????"\"requestKey\"?:\"key\"\n"?+
????????????"}";
????//全參數(shù)比對(duì),所以兩個(gè)參數(shù)MD5不同
????String?dedupMD5?=?new?ReqDedupHelper().dedupParamMD5(req);
????String?dedupMD52?=?new?ReqDedupHelper().dedupParamMD5(req2);
????System.out.println("req1MD5?=?"+?dedupMD5+"?,?req2MD5="+dedupMD52);
????//去除時(shí)間參數(shù)比對(duì),MD5相同
????String?dedupMD53?=?new?ReqDedupHelper().dedupParamMD5(req,"requestTime");
????String?dedupMD54?=?new?ReqDedupHelper().dedupParamMD5(req2,"requestTime");
????System.out.println("req1MD5?=?"+?dedupMD53+"?,?req2MD5="+dedupMD54);
}
req1MD5?=?9E054D36439EBDD0604C5E65EB5C8267?,?req2MD5=A2D20BAC78551C4CA09BEF97FE468A3F
req1MD5?=?C2A36FED15128E9E878583CAAAFEFDE9?,?req2MD5=C2A36FED15128E9E878583CAAAFEFDE9日志說(shuō)明:
一開始兩個(gè)參數(shù)由于requestTime是不同的,所以求去重參數(shù)摘要的時(shí)候可以發(fā)現(xiàn)兩個(gè)值是不一樣的 第二次調(diào)用的時(shí)候,去除了requestTime再求摘要(第二個(gè)參數(shù)中傳入了”requestTime”),則發(fā)現(xiàn)兩個(gè)摘要是一樣的,符合預(yù)期。
總結(jié)
String?userId=?"12345678";//用戶
String?method?=?"pay";//接口名
String?dedupMD5?=?new?ReqDedupHelper().dedupParamMD5(req,"requestTime");//計(jì)算請(qǐng)求參數(shù)摘要,其中剔除里面請(qǐng)求時(shí)間的干擾
String?KEY?=?"dedup:U="?+?userId?+?"M="?+?method?+?"P="?+?dedupMD5;
long?expireTime?=??1000;//?1000毫秒過(guò)期,1000ms內(nèi)的重復(fù)請(qǐng)求會(huì)認(rèn)為重復(fù)
long?expireAt?=?System.currentTimeMillis()?+?expireTime;
String?val?=?"expireAt@"?+?expireAt;
//?NOTE:直接SETNX不支持帶過(guò)期時(shí)間,所以設(shè)置+過(guò)期不是原子操作,極端情況下可能設(shè)置了就不過(guò)期了,后面相同請(qǐng)求可能會(huì)誤以為需要去重,所以這里使用底層API,保證SETNX+過(guò)期時(shí)間是原子操作
Boolean?firstSet?=?stringRedisTemplate.execute((RedisCallback)?connection?->?connection.set(KEY.getBytes(),?val.getBytes(),?Expiration.milliseconds(expireTime),
????????RedisStringCommands.SetOption.SET_IF_ABSENT));
final?boolean?isConsiderDup;
if?(firstSet?!=?null?&&?firstSet)?{
????isConsiderDup?=?false;
}?else?{
????isConsiderDup?=?true;
} 文章來(lái)源:https://sourl.cn/9ukjTx
這些年小編給你分享過(guò)的干貨
2.優(yōu)質(zhì)ERP系統(tǒng)帶進(jìn)銷存財(cái)務(wù)生產(chǎn)功能(附源碼)
3.優(yōu)質(zhì)SpringBoot帶工作流管理項(xiàng)目(附源碼)
4.最好用的OA系統(tǒng),拿來(lái)即用(附源碼)
5.SBoot+Vue外賣系統(tǒng)前后端都有(附源碼)
6.SBoot+Vue可視化大屏拖拽項(xiàng)目(附源碼)

轉(zhuǎn)發(fā)在看就是最大的支持??
