高并發(fā)下接口冪等性解決方案

往期熱門文章：
1、給代碼寫注釋時(shí)有哪些講究？
2、我用Redis實(shí)現(xiàn)了一個(gè)輕量級(jí)的搜索引擎！
3、加強(qiáng)版Redis，又一款國(guó)產(chǎn)高性能KV存儲(chǔ)數(shù)據(jù)庫(kù)開源了！
4、如何使用 Arthas 定位 Spring Boot 接口超時(shí)
5、那些總是寫“爛代碼”的同學(xué)，強(qiáng)烈推薦你用這款I(lǐng)DEA插件！

一、背景

我們實(shí)際系統(tǒng)中有很多操作，是不管做多少次，都應(yīng)該產(chǎn)生一樣的效果或返回一樣的結(jié)果。例如1. 前端重復(fù)提交選中的數(shù)據(jù)，應(yīng)該后臺(tái)只產(chǎn)生對(duì)應(yīng)這個(gè)數(shù)據(jù)的一個(gè)反應(yīng)結(jié)果；2. 我們發(fā)起一筆付款請(qǐng)求，應(yīng)該只扣用戶賬戶一次錢，當(dāng)遇到網(wǎng)絡(luò)重發(fā)或系統(tǒng)bug重發(fā)，也應(yīng)該只扣一次錢；3. 發(fā)送消息，也應(yīng)該只發(fā)一次，同樣的短信發(fā)給用戶，用戶會(huì)哭的；4. 創(chuàng)建業(yè)務(wù)訂單，一次業(yè)務(wù)請(qǐng)求只能創(chuàng)建一個(gè)，創(chuàng)建多個(gè)就會(huì)出大問題等等很多重要的情況都需要冪等的特性來支持。

二、冪等性概念

冪等（idempotent、idempotence）是一個(gè)數(shù)學(xué)與計(jì)算機(jī)學(xué)概念，常見于抽象代數(shù)中。在編程中.一個(gè)冪等操作的特點(diǎn)是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同。冪等函數(shù)，或冪等方法，是指可以使用相同參數(shù)重復(fù)執(zhí)行，并能獲得相同結(jié)果的函數(shù)。這些函數(shù)不會(huì)影響系統(tǒng)狀態(tài)，也不用擔(dān)心重復(fù)執(zhí)行會(huì)對(duì)系統(tǒng)造成改變。例如，“getUsername()和setTrue()”函數(shù)就是一個(gè)冪等函數(shù). 更復(fù)雜的操作冪等保證是利用唯一交易號(hào)(流水號(hào))實(shí)現(xiàn). 我的理解：冪等就是一個(gè)操作，不論執(zhí)行多少次，產(chǎn)生的效果和返回的結(jié)果都是一樣的

三、技術(shù)方案

1. 查詢操作：查詢一次和查詢多次，在數(shù)據(jù)不變的情況下，查詢結(jié)果是一樣的。select是天然的冪等操作；
2. 刪除操作：刪除操作也是冪等的，刪除一次和多次刪除都是把數(shù)據(jù)刪除。(注意可能返回結(jié)果不一樣，刪除的數(shù)據(jù)不存在，返回0，刪除的數(shù)據(jù)多條，返回結(jié)果多個(gè)) ；
3. 唯一索引，防止新增臟數(shù)據(jù)。比如：支付寶的資金賬戶，支付寶也有用戶賬戶，每個(gè)用戶只能有一個(gè)資金賬戶，怎么防止給用戶創(chuàng)建資金賬戶多個(gè)，那么給資金賬戶表中的用戶ID加唯一索引，所以一個(gè)用戶新增成功一個(gè)資金賬戶記錄。要點(diǎn)：唯一索引或唯一組合索引來防止新增數(shù)據(jù)存在臟數(shù)據(jù)（當(dāng)表存在唯一索引，并發(fā)時(shí)新增報(bào)錯(cuò)時(shí)，再查詢一次就可以了，數(shù)據(jù)應(yīng)該已經(jīng)存在了，返回結(jié)果即可）；
4. token機(jī)制，防止頁(yè)面重復(fù)提交。業(yè)務(wù)要求：頁(yè)面的數(shù)據(jù)只能被點(diǎn)擊提交一次；發(fā)生原因：由于重復(fù)點(diǎn)擊或者網(wǎng)絡(luò)重發(fā)，或者nginx重發(fā)等情況會(huì)導(dǎo)致數(shù)據(jù)被重復(fù)提交；解決辦法：集群環(huán)境采用token加redis(redis單線程的，處理需要排隊(duì))；單JVM環(huán)境：采用token加redis或token加jvm內(nèi)存。處理流程：1. 數(shù)據(jù)提交前要向服務(wù)的申請(qǐng)token，token放到redis或jvm內(nèi)存，token有效時(shí)間；2. 提交后后臺(tái)校驗(yàn)token，同時(shí)刪除token，生成新的token返回。token特點(diǎn)：要申請(qǐng)，一次有效性，可以限流。注意：redis要用刪除操作來判斷token，刪除成功代表token校驗(yàn)通過，如果用select+delete來校驗(yàn)token，存在并發(fā)問題，不建議使用；
5. 悲觀鎖——獲取數(shù)據(jù)的時(shí)候加鎖獲取。select * from table_xxx where id='xxx' for update; 注意：id字段一定是主鍵或者唯一索引，不然是鎖表，會(huì)死人的悲觀鎖使用時(shí)一般伴隨事務(wù)一起使用，數(shù)據(jù)鎖定時(shí)間可能會(huì)很長(zhǎng)，根據(jù)實(shí)際情況選用；
6. 樂觀鎖——樂觀鎖只是在更新數(shù)據(jù)那一刻鎖表，其他時(shí)間不鎖表，所以相對(duì)于悲觀鎖，效率更高。樂觀鎖的實(shí)現(xiàn)方式多種多樣可以通過version或者其他狀態(tài)條件：1. 通過版本號(hào)實(shí)現(xiàn)update table_xxx set name=#name#,version=version+1 where version=#version#如下圖(來自網(wǎng)上)；2. 通過條件限制 update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0要求：quality-#subQuality# >= ，這個(gè)情景適合不用版本號(hào)，只更新是做數(shù)據(jù)安全校驗(yàn)，適合庫(kù)存模型，扣份額和回滾份額，性能更高；

注意：樂觀鎖的更新操作，最好用主鍵或者唯一索引來更新,這樣是行鎖，否則更新時(shí)會(huì)鎖表，上面兩個(gè)sql改成下面的兩個(gè)更好

update table_xxx set name=#name#,version=version+1 where id=#id# and version=#version#；

update table_xxx set avai_amount=avai_amount-#subAmount# where id=#id# and avai_amount-#subAmount# >= 0；

7.分布式鎖——還是拿插入數(shù)據(jù)的例子，如果是分布是系統(tǒng)，構(gòu)建全局唯一索引比較困難，例如唯一性的字段沒法確定，這時(shí)候可以引入分布式鎖，通過第三方的系統(tǒng)(redis或zookeeper)，在業(yè)務(wù)系統(tǒng)插入數(shù)據(jù)或者更新數(shù)據(jù)，獲取分布式鎖，然后做操作，之后釋放鎖，這樣其實(shí)是把多線程并發(fā)的鎖的思路，引入多多個(gè)系統(tǒng)，也就是分布式系統(tǒng)中得解決思路。要點(diǎn)：某個(gè)長(zhǎng)流程處理過程要求不能并發(fā)執(zhí)行，可以在流程執(zhí)行之前根據(jù)某個(gè)標(biāo)志(用戶ID+后綴等)獲取分布式鎖，其他流程執(zhí)行時(shí)獲取鎖就會(huì)失敗，也就是同一時(shí)間該流程只能有一個(gè)能執(zhí)行成功，執(zhí)行完成后，釋放分布式鎖(分布式鎖要第三方系統(tǒng)提供)；

8. select + insert——并發(fā)不高的后臺(tái)系統(tǒng)，或者一些任務(wù)JOB，為了支持冪等，支持重復(fù)執(zhí)行，簡(jiǎn)單的處理方法是，先查詢下一些關(guān)鍵數(shù)據(jù)，判斷是否已經(jīng)執(zhí)行過，在進(jìn)行業(yè)務(wù)處理，就可以了。注意：核心高并發(fā)流程不要用這種方法；

9. 狀態(tài)機(jī)冪等——在設(shè)計(jì)單據(jù)相關(guān)的業(yè)務(wù)，或者是任務(wù)相關(guān)的業(yè)務(wù)，肯定會(huì)涉及到狀態(tài)機(jī)(狀態(tài)變更圖)，就是業(yè)務(wù)單據(jù)上面有個(gè)狀態(tài)，狀態(tài)在不同的情況下會(huì)發(fā)生變更，一般情況下存在有限狀態(tài)機(jī)，這時(shí)候，如果狀態(tài)機(jī)已經(jīng)處于下一個(gè)狀態(tài)，這時(shí)候來了一個(gè)上一個(gè)狀態(tài)的變更，理論上是不能夠變更的，這樣的話，保證了有限狀態(tài)機(jī)的冪等。注意：訂單等單據(jù)類業(yè)務(wù)，存在很長(zhǎng)的狀態(tài)流轉(zhuǎn)，一定要深刻理解狀態(tài)機(jī)，對(duì)業(yè)務(wù)系統(tǒng)設(shè)計(jì)能力提高有很大幫助

10. 對(duì)外提供接口的api如何保證冪等。如銀聯(lián)提供的付款接口：需要接入商戶提交付款請(qǐng)求時(shí)附帶：source來源，seq序列號(hào)

source+seq在數(shù)據(jù)庫(kù)里面做唯一索引，防止多次付款(并發(fā)時(shí)，只能處理一個(gè)請(qǐng)求) 。重點(diǎn)：對(duì)外提供接口為了支持冪等調(diào)用，接口有兩個(gè)字段必須傳，一個(gè)是來源source，一個(gè)是來源方序列號(hào)seq，這個(gè)兩個(gè)字段在提供方系統(tǒng)里面做聯(lián)合唯一索引，這樣當(dāng)?shù)谌秸{(diào)用時(shí)，先在本方系統(tǒng)里面查詢一下，是否已經(jīng)處理過，返回相應(yīng)處理結(jié)果；沒有處理過，進(jìn)行相應(yīng)處理，返回結(jié)果。注意，為了冪等友好，一定要先查詢一下，是否處理過該筆業(yè)務(wù)，不查詢直接插入業(yè)務(wù)系統(tǒng)，會(huì)報(bào)錯(cuò)，但實(shí)際已經(jīng)處理了。

四、總結(jié)

冪等與你是不是分布式高并發(fā)還有JavaEE都沒有關(guān)系。關(guān)鍵是你的操作是不是冪等的。一個(gè)冪等的操作典型如：把編號(hào)為5的記錄的A字段設(shè)置為0這種操作不管執(zhí)行多少次都是冪等的。一個(gè)非冪等的操作典型如：把編號(hào)為5的記錄的A字段增加1這種操作顯然就不是冪等的。要做到冪等性，從接口設(shè)計(jì)上來說不設(shè)計(jì)任何非冪等的操作即可。譬如說需求是：當(dāng)用戶點(diǎn)擊贊同時(shí)，將答案的贊同數(shù)量+1。改為：當(dāng)用戶點(diǎn)擊贊同時(shí)，確保答案贊同表中存在一條記錄，用戶、答案。贊同數(shù)量由答案贊同表統(tǒng)計(jì)出來?？傊畠绲刃詰?yīng)該是合格程序員的一個(gè)基因，在設(shè)計(jì)系統(tǒng)時(shí)，是首要考慮的問題，尤其是在像支付寶，銀行，互聯(lián)網(wǎng)金融公司等涉及的都是錢的系統(tǒng)，既要高效，數(shù)據(jù)也要準(zhǔn)確，所以不能出現(xiàn)多扣款，多打款等問題，這樣會(huì)很難處理，用戶體驗(yàn)也不好。

最近熱文閱讀：
1、給代碼寫注釋時(shí)有哪些講究？
2、我用Redis實(shí)現(xiàn)了一個(gè)輕量級(jí)的搜索引擎！
3、加強(qiáng)版Redis，又一款國(guó)產(chǎn)高性能KV存儲(chǔ)數(shù)據(jù)庫(kù)開源了！
4、如何使用 Arthas 定位 Spring Boot 接口超時(shí)
5、石錘！Github 買 star 行為
6、那些總是寫“爛代碼”的同學(xué)，強(qiáng)烈推薦你用這款I(lǐng)DEA插件！
7、IDEA 15款神級(jí)良心插件強(qiáng)烈推薦收藏
8、臥槽！新來的妹紙rm -rf把公司整個(gè)數(shù)據(jù)庫(kù)刪沒了，整個(gè)項(xiàng)目組慌了~
9、用了3年CAT，這次我想選擇SkyWalking，老板反手就是一個(gè)贊！
10、為什么MySQL不推薦使用uuid或者雪花id作為主鍵？
關(guān)注公眾號(hào)，你想要的Java都在這里