面試官:億級流量架構(gòu)分布式事務(wù)如何實現(xiàn)?我懵了。。
作者:等不到的口琴
來源:www.cnblogs.com/Courage129/p/14433462.html
相關(guān)閱讀:深圳一普通中學(xué)老師工資單曝光,秒殺程序員,網(wǎng)友:敢問是哪個學(xué)校畢業(yè)的?
面試官:億級流量架構(gòu)分布式事務(wù)如何實現(xiàn)?我懵了。。
什么是分布式事務(wù)
原子性(Atomic)
在化學(xué)中,分子構(gòu)成的物質(zhì),分子是保持化學(xué)特性的最小單位,如 H2O,CO2H2O,CO2 等,由原子構(gòu)成的物質(zhì),原子保持物質(zhì)特性,像 FeFe 啥的,意思就是不可分割,再分成質(zhì)子中子啥的就不是我們認(rèn)為的物質(zhì)了,這兒的原子性也是這個道理,就是事務(wù)不可以再拆分,例如上面的事務(wù),看著可以是由兩個過程組成的事務(wù),但是你拆開就不是我們認(rèn)為該有的過程,所以,事務(wù)不可再分,具有原子性。搜索公眾號互聯(lián)網(wǎng)架構(gòu)師回復(fù)“2T”,送你一份驚喜禮包。
一致性(Consistency)
隔離性(Isolation)
事務(wù)1 = (A賬號扣除500,B賬號增加500)
事務(wù)2 = (B賬號扣除1000,C賬號增加1000)
持久性(Durability)
一致性的討論
強一致性
弱一致性
最終一致性
分庫分表
垂直拆分

第三個表包含學(xué)習(xí)信息(專業(yè)、G點)。
垂直拆分優(yōu)缺點
垂直切分的優(yōu)點:
水平拆分

除了上面按照用戶ID區(qū)間拆分,也可以做Hash運算拆分,這兒就不詳細(xì)展開了。另外,分庫分表系列面試題和答案全部整理好了,微信搜索互聯(lián)網(wǎng)架構(gòu)師,在后臺發(fā)送:2T,可以在線閱讀。
水平拆分優(yōu)缺點
水平拆分優(yōu)點在于:
單表大小可控 天然便于水平擴(kuò)展,后期如果想對整個分片集群擴(kuò)容時,只需要添加節(jié)點即可,無需對其他分片的數(shù)據(jù)進(jìn)行遷移 使用分片字段進(jìn)行范圍查找時,連續(xù)分片可快速定位分片進(jìn)行快速查詢,有效避免跨分片查詢的問題。
熱點數(shù)據(jù)成為性能瓶頸。連續(xù)分片可能存在數(shù)據(jù)熱點,例如按時間字段分片,有些分片存儲最近時間段內(nèi)的數(shù)據(jù),可能會被頻繁的讀寫,而有些分片存儲的歷史數(shù)據(jù),則很少被查詢
分庫分表帶來的問題
跨分片事務(wù)也是分布式事務(wù),沒有簡單的方案,一般可使用"XA協(xié)議"和"兩階段提交"處理。
分布式事務(wù)能最大限度保證了數(shù)據(jù)庫操作的原子性。但在提交事務(wù)時需要協(xié)調(diào)多個節(jié)點,推后了提交事務(wù)的時間點,延長了事務(wù)的執(zhí)行時間。導(dǎo)致事務(wù)在訪問共享資源時發(fā)生沖突或死鎖的概率增高。隨著數(shù)據(jù)庫節(jié)點的增多,這種趨勢會越來越嚴(yán)重,從而成為系統(tǒng)在數(shù)據(jù)庫層面上水平擴(kuò)展的枷鎖。
最終一致性
分布式事務(wù)解決思路
講這個之前需要先簡單回顧C(jī)AP原則和Base理論,因為分布式事務(wù)不同于 ACID 的剛性事務(wù),在分布式場景下基于 BASE 理論,提出了柔性事務(wù)的概念。要想通過柔性事務(wù)來達(dá)到最終的一致性,就需要依賴于一些特性,這些特性在具體的方案中不一定都要滿足,因為不同的方案要求不一樣;但是都不滿足的話,是不可能做柔性事務(wù)的。
CAP原則
相當(dāng)于是對之前三選二說法進(jìn)行修正,CAP中P(分區(qū)容錯性)是必須具備的,在滿足P的前提下,很難同時滿足A(可用性)和C(一致性),但是在之后,又有一篇文章: Harvest, yield, and scalable tolerant systems ,這篇論文是基于上面那篇“CAP 12年后”的論文寫的,它主要提出了 Harvest 和 Yield 概念,并把上面那篇論文中所討論的東西講得更為仔細(xì)了一些。簡單來說就是滿足P之后,C和A在放寬約束后可以得到兼顧,并不是非此即彼的關(guān)系,說遠(yuǎn)了。搜索公眾號互聯(lián)網(wǎng)架構(gòu)師回復(fù)“2T”,送你一份驚喜禮包。
為什么P是必須的?
為什么CAP原則中分區(qū)容錯性是必須的呢,首先要理解什么是分區(qū)容錯性,分區(qū),這兒說的是網(wǎng)絡(luò),網(wǎng)絡(luò)集群設(shè)計到很多的服務(wù)器,某一瞬間網(wǎng)絡(luò)不穩(wěn)定,那么相當(dāng)于將網(wǎng)絡(luò)分成了不同的區(qū),假設(shè)分成了兩個區(qū),這時候如果有一筆交易:
對分區(qū)一發(fā)出消息:A給B轉(zhuǎn)賬100元,對分區(qū)二發(fā)出消息:A給B轉(zhuǎn)賬200元
那么對于兩個分區(qū)而言,有兩種情況:
a)無可用性,即這兩筆交易至少會有一筆交易不會被接受;
b)無一致性,一半看到的是 A給B轉(zhuǎn)賬100元而另一半則看到 A給B轉(zhuǎn)賬200元。
所以,分區(qū)容忍性必須要滿足,解決策略是一個數(shù)據(jù)項復(fù)制到多個節(jié)點上,那么出現(xiàn)分區(qū)之后,這一數(shù)據(jù)項就可能分布到各個區(qū)里。容忍性就提高了。
Base理論
BASE理論是Basically Available(基本可用),Soft State(軟狀態(tài))和Eventually Consistent(最終一致性)三個短語的縮寫。
基本可用
假設(shè)系統(tǒng),出現(xiàn)了不可預(yù)知的故障,但還是能用,相比較正常的系統(tǒng)而言:
響應(yīng)時間上的損失 :正常情況下的搜索引擎0.5秒即返回給用戶結(jié)果,而基本可用的搜索引擎可以在2秒作用返回結(jié)果。
功能上的損失 :在一個電商網(wǎng)站上,正常情況下,用戶可以順利完成每一筆訂單。但是到了大促期間,為了保護(hù)購物系統(tǒng)的穩(wěn)定性,部分消費者可能會被引導(dǎo)到一個降級頁面。
軟狀態(tài)
最終一致性
Base其核心思想是:
既然無法做到強一致性(Strong consistency),但每個應(yīng)用都可以根據(jù)自身的業(yè)務(wù)特點,采用適當(dāng)?shù)姆绞絹硎瓜到y(tǒng)達(dá)到最終一致性(Eventual consistency)。有了Base理論就可以開始講述分布式事務(wù)的處理思路了。
二階段提交協(xié)議
第一階段:投票
該階段的主要目的在于打探數(shù)據(jù)庫集群中的各個參與者是否能夠正常的執(zhí)行事務(wù),具體步驟如下:
協(xié)調(diào)者向所有的參與者發(fā)送事務(wù)執(zhí)行請求,并等待參與者反饋事務(wù)執(zhí)行結(jié)果; 事務(wù)參與者收到請求之后,執(zhí)行事務(wù)但不提交,并記錄事務(wù)日志; 參與者將自己事務(wù)執(zhí)行情況反饋給協(xié)調(diào)者,同時阻塞等待協(xié)調(diào)者的后續(xù)指令。
第二階段:事務(wù)提交
在經(jīng)過第一階段協(xié)調(diào)者的詢盤之后,各個參與者會回復(fù)自己事務(wù)的執(zhí)行情況,這時候存在 3 種可能性:
所有的參與者都回復(fù)能夠正常執(zhí)行事務(wù)。 一個或多個參與者回復(fù)事務(wù)執(zhí)行失敗。 協(xié)調(diào)者等待超時。
協(xié)調(diào)者向各個參與者發(fā)送 commit 通知,請求提交事務(wù); 參與者收到事務(wù)提交通知之后執(zhí)行 commit 操作,然后釋放占有的資源; 參與者向協(xié)調(diào)者返回事務(wù) commit 結(jié)果信息。
對于第 2 和第 3 種情況,協(xié)調(diào)者均認(rèn)為參與者無法成功執(zhí)行事務(wù),為了整個集群數(shù)據(jù)的一致性,所以要向各個參與者發(fā)送事務(wù)回滾通知,具體步驟如下:
協(xié)調(diào)者向各個參與者發(fā)送事務(wù) rollback 通知,請求回滾事務(wù); 參與者收到事務(wù)回滾通知之后執(zhí)行 rollback 操作,然后釋放占有的資源; 參與者向協(xié)調(diào)者返回事務(wù) rollback 結(jié)果信息。
兩階段提交協(xié)議解決的是分布式數(shù)據(jù)庫數(shù)據(jù)強一致性問題,實際應(yīng)用中更多的是用來解決事務(wù)操作的原子性,下圖描繪了協(xié)調(diào)者與參與者的狀態(tài)轉(zhuǎn)換。

站在協(xié)調(diào)者的角度,在發(fā)起投票之后就進(jìn)入了 WAIT 等待狀態(tài),等待所有參與者回復(fù)各自事務(wù)執(zhí)行狀態(tài),并在收到所有參與者的回復(fù)后決策下一步是發(fā)送 commit提交 或 rollback回滾信息。
兩階段提交協(xié)議原理簡單、易于實現(xiàn),但是缺點也是顯而易見的,包含如下:
單點問題
協(xié)調(diào)者在整個兩階段提交過程中扮演著舉足輕重的作用,一旦協(xié)調(diào)者所在服務(wù)器宕機(jī),就會影響整個數(shù)據(jù)庫集群的正常運行。比如在第二階段中,如果協(xié)調(diào)者因為故障不能正常發(fā)送事務(wù)提交或回滾通知,那么參與者們將一直處于阻塞狀態(tài),整個數(shù)據(jù)庫集群將無法提供服務(wù)。
同步阻塞
兩階段提交執(zhí)行過程中,所有的參與者都需要聽從協(xié)調(diào)者的統(tǒng)一調(diào)度,期間處于阻塞狀態(tài)而不能從事其他操作,這樣效率極其低下。
數(shù)據(jù)不一致性
針對上述問題可以引入 超時機(jī)制 和 互詢機(jī)制在很大程度上予以解決。
超時機(jī)制
對于協(xié)調(diào)者來說如果在指定時間內(nèi)沒有收到所有參與者的應(yīng)答,則可以自動退出 WAIT 狀態(tài),并向所有參與者發(fā)送 rollback 通知。對于參與者來說如果位于 READY 狀態(tài),但是在指定時間內(nèi)沒有收到協(xié)調(diào)者的第二階段通知,則不能武斷地執(zhí)行 rollback 操作,因為協(xié)調(diào)者可能發(fā)送的是 commit 通知,這個時候執(zhí)行 rollback 就會導(dǎo)致數(shù)據(jù)不一致。
互詢機(jī)制
三階段提交協(xié)議

第一階段:預(yù)詢盤
該階段協(xié)調(diào)者會去詢問各個參與者是否能夠正常執(zhí)行事務(wù),參與者根據(jù)自身情況回復(fù)一個預(yù)估值,相對于真正的執(zhí)行事務(wù),這個過程是輕量的,具體步驟如下:
協(xié)調(diào)者向各個參與者發(fā)送事務(wù)詢問通知,詢問是否可以執(zhí)行事務(wù)操作,并等待回復(fù); 各個參與者依據(jù)自身狀況回復(fù)一個預(yù)估值,如果預(yù)估自己能夠正常執(zhí)行事務(wù)就返回確定信息,并進(jìn)入預(yù)備狀態(tài),否則返回否定信息。
第二階段:預(yù)提交
本階段協(xié)調(diào)者會根據(jù)第一階段的詢盤結(jié)果采取相應(yīng)操作,詢盤結(jié)果主要有 3 種:
所有的參與者都返回確定信息。 一個或多個參與者返回否定信息。 協(xié)調(diào)者等待超時。
針對第 1 種情況,協(xié)調(diào)者會向所有參與者發(fā)送事務(wù)執(zhí)行請求,具體步驟如下:
協(xié)調(diào)者向所有的事務(wù)參與者發(fā)送事務(wù)執(zhí)行通知; 參與者收到通知后執(zhí)行事務(wù)但不提交; 參與者將事務(wù)執(zhí)行情況返回給客戶端。
協(xié)調(diào)者向所有事務(wù)參與者發(fā)送 abort 通知; 參與者收到通知后中斷事務(wù)。

第三階段:事務(wù)提交
如果第二階段事務(wù)未中斷,那么本階段協(xié)調(diào)者將會依據(jù)事務(wù)執(zhí)行返回的結(jié)果來決定提交或回滾事務(wù),分為 3 種情況:
所有的參與者都能正常執(zhí)行事務(wù)。 一個或多個參與者執(zhí)行事務(wù)失敗。 協(xié)調(diào)者等待超時。
針對第 1 種情況,協(xié)調(diào)者向各個參與者發(fā)起事務(wù)提交請求,具體步驟如下:
協(xié)調(diào)者向所有參與者發(fā)送事務(wù) commit 通知; 所有參與者在收到通知之后執(zhí)行 commit 操作,并釋放占有的資源; 參與者向協(xié)調(diào)者反饋事務(wù)提交結(jié)果。

協(xié)調(diào)者向所有參與者發(fā)送事務(wù) rollback 通知; 所有參與者在收到通知之后執(zhí)行 rollback 操作,并釋放占有的資源; 參與者向協(xié)調(diào)者反饋事務(wù)回滾結(jié)果。
在本階段如果因為協(xié)調(diào)者或網(wǎng)絡(luò)問題,導(dǎo)致參與者遲遲不能收到來自協(xié)調(diào)者的 commit 或 rollback 請求,那么參與者將不會如兩階段提交中那樣陷入阻塞,而是等待超時后繼續(xù) commit,相對于兩階段提交雖然降低了同步阻塞,但仍然無法完全避免數(shù)據(jù)的不一致。兩階段提交協(xié)議中所存在的長時間阻塞狀態(tài)發(fā)生的幾率還是非常低的,所以雖然三階段提交協(xié)議相對于兩階段提交協(xié)議對于數(shù)據(jù)強一致性更有保障,但是因為效率問題,兩階段提交協(xié)議在實際系統(tǒng)中反而更加受寵。
TCC模式
Try:負(fù)責(zé)預(yù)留資源(比如新建一條狀態(tài)=PENDING的訂單);
做業(yè)務(wù)檢查,簡單來說就是不能預(yù)留已經(jīng)被占用的資源;
隔離預(yù)留資源。
Confirm:負(fù)責(zé)落地所預(yù)留的資源
真正的執(zhí)行業(yè)務(wù)使用try階段預(yù)留的資源,冪等。
TCC增加了業(yè)務(wù)檢查和撤銷事務(wù)的功能。同時,TCC將2PC數(shù)據(jù)庫層面的動作提升到了服務(wù)層面,不同的是TCC的所有動作都是一個本地事務(wù),每個本地事務(wù)都在動作完成后commit到數(shù)據(jù)庫:
Try相當(dāng)于2PC的Commit request phase,外加了業(yè)務(wù)檢查邏輯 Confirm相當(dāng)于2PC的Commit phase的commit動作 Cancel相當(dāng)于2PC的Commit phase的rollback動作
流程步驟:
發(fā)起方 發(fā)送Try到所有 參與方 每個 參與方 執(zhí)行Try,預(yù)留資源 發(fā)起方 收到所有 參與方 的Try結(jié)果 發(fā)起方 發(fā)送Confirm/Cancel到所有 參與方 每個 參與方 執(zhí)行Confirm/Cancel 發(fā)起方 收到所有 參與方 的Confirm/Cancel結(jié)果
流程和兩階段提交非常類似。
