? ? ?? ? ? ?

?

搜一下“宕機(jī)”，就能看到很多系統(tǒng)問(wèn)題導(dǎo)致的服務(wù)不可用新聞，當(dāng)然，這其中包括多種原因，例如系統(tǒng)惡化，流量超出預(yù)期，外部DDoS攻擊，數(shù)據(jù)庫(kù)問(wèn)題，架構(gòu)設(shè)計(jì)問(wèn)題等等。

?

所以，就有了“面向失敗而設(shè)計(jì)的架構(gòu)”，有點(diǎn)類似于《史記·淮陰侯列傳》：“‘陷之死地而后生，置之亡地而后存。’……其勢(shì)非置之死地，使人人自為戰(zhàn)”的意味。其初衷是以“失敗”為對(duì)象，設(shè)想可能存在各種失敗原因的設(shè)計(jì)思想，在系統(tǒng)設(shè)計(jì)階段就考慮到各種失敗場(chǎng)景，把失敗當(dāng)成是設(shè)計(jì)的一部分，未雨綢繆，利用積極的心態(tài)提前規(guī)劃好從失敗中恢復(fù)的策略。

?

在架構(gòu)設(shè)計(jì)方面，通過(guò)面向失敗的設(shè)計(jì)，貫穿整個(gè)軟件生命周期來(lái)防范已知的確定性風(fēng)險(xiǎn)及未知的不確定性風(fēng)險(xiǎn)。阿里巴巴在2012年開(kāi)始積累這方面的經(jīng)驗(yàn)，有成熟的方案來(lái)支持每年的雙11，從容應(yīng)對(duì)各種挑戰(zhàn)。整個(gè)方案包括“容災(zāi)設(shè)計(jì)、架構(gòu)設(shè)計(jì)、預(yù)案、自動(dòng)化運(yùn)維、智能監(jiān)控等”。以下是阿里技術(shù)團(tuán)隊(duì)總結(jié)出來(lái)的幾個(gè)階段各個(gè)原則。

?

架構(gòu)設(shè)計(jì)階段

?

簡(jiǎn)單化設(shè)計(jì)原則： 系統(tǒng)架構(gòu)簡(jiǎn)單清晰，具備水平擴(kuò)展能力 。與之相反的就是過(guò)度設(shè)計(jì)，如何更好的平衡必要復(fù)雜度與意外復(fù)雜度是關(guān)鍵。“不是在不能添加更多的時(shí)候，而是沒(méi)有什么可以去掉的時(shí)候，才能達(dá)到完美”。

?

監(jiān)控設(shè)計(jì)原則：監(jiān)控系統(tǒng)架構(gòu)及監(jiān)控規(guī)則應(yīng)該是簡(jiǎn)單的，易于理解的。監(jiān)控項(xiàng)覆蓋度高，需要控制好有效報(bào)警數(shù)，監(jiān)控圍繞四大黃金指標(biāo)：延遲，流量，錯(cuò)誤，飽和度展開(kāi)。

?

管控設(shè)計(jì)原則：需避免權(quán)限過(guò)大，系統(tǒng)應(yīng)具備逃生能力，灰度能力。線上很多p1級(jí)故障發(fā)生，都是因?yàn)闄?quán)限過(guò)大或者不具備灰度能力導(dǎo)致的。管控系統(tǒng)作為服務(wù)提供方，理應(yīng)當(dāng)對(duì)自身行為帶來(lái)的危害負(fù)責(zé)，需要具備自保護(hù)能力。

?

開(kāi)發(fā)發(fā)布階段

?

敏捷設(shè)計(jì)原則：敏捷開(kāi)發(fā)，小規(guī)模，多批次迭代。敏捷開(kāi)發(fā)對(duì)面向失敗設(shè)計(jì)來(lái)說(shuō)可以有效預(yù)防，降低故障發(fā)生，同時(shí)能夠快速定位及恢復(fù)故障。

?

變更設(shè)計(jì)原則：可灰度，可監(jiān)控，可回滾。無(wú)論系統(tǒng)發(fā)布還是配置項(xiàng)的改動(dòng)，都需要遵從變更三板斧。線上60%故障是由于變更發(fā)布導(dǎo)致的，漸進(jìn)式發(fā)布，快速準(zhǔn)確檢測(cè)到問(wèn)題，同時(shí)快速回滾是非常必要的。

?

運(yùn)行運(yùn)維階段

?

容量設(shè)計(jì)原則：基于穩(wěn)態(tài)容量及尖刺容量規(guī)劃，適當(dāng)冗余，具備快速?gòu)椥詳U(kuò)容能力。通過(guò)自然需求增長(zhǎng)模型來(lái)預(yù)測(cè)穩(wěn)態(tài)容量，通過(guò)適當(dāng)冗余，流控，快速?gòu)椥詳U(kuò)容能力保障非自然需求增長(zhǎng)。同時(shí)做好周期性壓力測(cè)試。

?

依賴設(shè)計(jì)原則：最小化依賴，避免循環(huán)依賴，通過(guò)異步化，服務(wù)降級(jí)，限流，隔離等手段控制由于依賴帶來(lái)的影響面。上下游依賴需要建立基于接口，服務(wù)，應(yīng)用等級(jí)別的SLO，了解更多上下游信息，做好防護(hù)手段。

?

自動(dòng)化設(shè)計(jì)原則：對(duì)重復(fù)，人肉的操作盡可能通過(guò)自動(dòng)化來(lái)保障操作一致性，提升效率。

?

快恢設(shè)計(jì)原則：標(biāo)準(zhǔn)化的故障恢復(fù)流程， 從故障被監(jiān)控發(fā)現(xiàn)開(kāi)始，人員上線響應(yīng)，故障定位 ，恢復(fù)等一系列流程是人與系統(tǒng)共同參與的活動(dòng)。從人的角度需要具備oncall能力，快速上線能力，快速登錄系統(tǒng)定位處理問(wèn)題能力，系統(tǒng)需要具備快速報(bào)警，回滾，隔離，容災(zāi)等能力。

?

在2020年12月20-21日QCon全球軟件開(kāi)發(fā)大會(huì)（上海站），來(lái)自阿里的高級(jí)技術(shù)專家隱寒，多年從事高可用領(lǐng)域相關(guān)的工作，將會(huì)分享“面向失敗的架構(gòu)設(shè)計(jì)核心思想和實(shí)踐”話題，介紹如何時(shí)刻關(guān)注系統(tǒng)的可用性，提前預(yù)防甚至解除風(fēng)險(xiǎn)，做到系統(tǒng)的持續(xù)可用。本專題下還有其他大廠的技術(shù)分享，感興趣的可以關(guān)注下：

? ? ? ? ? ? ?

?

除此之外，還有微服務(wù)、智能金融、高可用、云原生等熱門技術(shù)專題的落地實(shí)踐分享，精彩不容錯(cuò)過(guò)！

?

目前大會(huì)門票9折搶購(gòu)中，限時(shí)立減680元！優(yōu)惠截至12月04日。了解大會(huì)議程和演講嘉賓可以掃描下圖二維碼或點(diǎn)擊【閱讀原文】查看！大會(huì)咨詢：17310043226（同微信）

?

?

免費(fèi)活動(dòng)

?

? 點(diǎn)擊查看大會(huì)日程