【周末瞎想】從阿里云故障想到,穩(wěn)定性問題本質(zhì)是什么
每周總得有點(diǎn)思考。
阿里云史詩級(jí)故障已經(jīng)過去差不多兩周了。
使用阿里云產(chǎn)品的公司也難以幸免，有所波及。最近聽說了一些公司內(nèi)部的故障復(fù)盤，感觸頗多。
想到一個(gè)問題，穩(wěn)定性問題的本質(zhì)到底是什么？
1、它是一個(gè)技術(shù)問題，但又好像不是
從網(wǎng)上的各種“空穴來風(fēng)”到阿里云給出的故障復(fù)盤報(bào)告，大家基本上對(duì)這個(gè)故障原因有了一些大致的了解。
是一個(gè)鑒權(quán)服務(wù)的白名單變更，沒有做好容錯(cuò)處理，導(dǎo)致了災(zāi)難發(fā)生。
阿里云也給出了相關(guān)改進(jìn)技術(shù)措施的說明。
所以，這是一個(gè)技術(shù)問題。
有的公司受到阿里云故障的波及，可能變成了一場真實(shí)的故障演練，暴露出其他額外的問題，比如容災(zāi)失效、降級(jí)失效等等。
從一個(gè)故障，能定義出幾個(gè)額外的故障，并且列出若干改進(jìn)措施。
變成了一系列技術(shù)問題。
但是，這一系列改進(jìn)措施未來能夠避免故障發(fā)生嗎？甚至有人能保證不出現(xiàn)類似故障的發(fā)生嗎？
沒人敢說可以。
所以，穩(wěn)定性問題好像又不是一個(gè)技術(shù)問題。
至少，不是一個(gè)用技術(shù)能夠完全解決的問題。
2、穩(wěn)定性問題的本質(zhì)是什么？
“發(fā)展能解決一切問題，不發(fā)展一切都是問題?！?/p>
其實(shí)，穩(wěn)定性問題的本質(zhì)也是“發(fā)展”的問題。
當(dāng)業(yè)務(wù)高速發(fā)展的時(shí)候，誰有空關(guān)心穩(wěn)定性？
業(yè)務(wù)真正高速發(fā)展的時(shí)候，大家忙著開新項(xiàng)目提高營收，“敏捷至上”，哪有什么穩(wěn)定性問題。
甚至不需要什么設(shè)計(jì)文檔，直接CRUD一把梭上線。出了問題直接在線Debug，在線改代碼。
只要能提高營收，這些都不是問題。
公司賺大錢，員工升職加薪。
穩(wěn)定性問題？無傷大雅。
當(dāng)業(yè)務(wù)發(fā)展停滯了，開始“降本增效”了，高度重視穩(wěn)定性。
降本怎么做？最直接有效的方式就是砍服務(wù)器資源，砍人員計(jì)劃。一個(gè)人多干兩到三個(gè)人的活。
業(yè)務(wù)發(fā)展停滯，不代表產(chǎn)品需求停滯。
業(yè)務(wù)發(fā)展停滯，不代表線上運(yùn)行的服務(wù)、組件停滯。
業(yè)務(wù)發(fā)展停滯，不代表歷史Bug、技術(shù)債停滯。
所以，活不一定會(huì)變少，只能是一個(gè)人多干兩到三個(gè)人的活?；蛘呙榔涿唬磧?yōu)先級(jí)處理，進(jìn)一步提高人效。
這種情況下，必然導(dǎo)致故障頻發(fā)。
這個(gè)時(shí)候，故障往往又能帶來直接的“降本”，比如低績效甚至直接走人。
這種環(huán)境下，故障會(huì)進(jìn)一步被“放在顯微鏡下觀察“，每個(gè)人要從中找到別人的鍋。流程問題？系統(tǒng)問題？可觀測性缺失？有什么漏洞都盡量甩出去。
畢竟甩鍋給別人，扣的是別人的績效，走的是別人的人，是不是根本原因或者有效的改進(jìn)措施又有什么關(guān)系呢。
3、如何解決
公司高速發(fā)展，穩(wěn)定性問題不攻自破。
如果不能高速發(fā)展，應(yīng)該如何解決穩(wěn)定性問題？
控制合理的人員配比。
如果真的要通過縮減人員降低成本，也應(yīng)該控制合理有效的業(yè)務(wù)需求，保證人員的配比是合理的。
不要試圖改變客觀規(guī)律，或者自欺欺人。
否則只會(huì)陷入惡性循環(huán)。
建設(shè)合理的機(jī)制與風(fēng)氣。
不管業(yè)務(wù)是否高速發(fā)展，其實(shí)對(duì)待穩(wěn)定性問題的態(tài)度應(yīng)該是一致的。
除非是明確違反流程規(guī)范引起的故障，其他問題不應(yīng)該跟直接獎(jiǎng)懲掛鉤。
每次故障復(fù)盤，應(yīng)該真正反思的是，能不能從架構(gòu)設(shè)計(jì)、流程、機(jī)制、工具角度找到真正原因，去避免下次同類型的錯(cuò)誤。
通過獎(jiǎng)懲來高壓控制，只會(huì)帶來甩鍋風(fēng)氣，掩蓋真正有效的改進(jìn)措施。
對(duì)穩(wěn)定性保持長期合理的投入。
避免運(yùn)動(dòng)式治理穩(wěn)定性，只在故障發(fā)生后的一周或者一個(gè)月有重視。
隨著系統(tǒng)不斷迭代，整體穩(wěn)定性水平一定會(huì)處于一種“熵增狀態(tài)”，逐步惡化。
所以，穩(wěn)定性任務(wù)，應(yīng)該持續(xù)貫穿在全年，按照合理的比重，與業(yè)務(wù)功能迭代任務(wù)一起評(píng)估考量，才能確保長期處于相對(duì)高的穩(wěn)定性水平。
往期熱門筆記合集推薦：
原創(chuàng)：阿丸筆記（微信公眾號(hào)：aone_note），歡迎 分享 ，轉(zhuǎn)載請(qǐng)保留出處。
沒有留言功能的悲傷，掃描下方二維碼「加我」聊些有的沒的吧～
覺得不錯(cuò)，就點(diǎn)個(gè) 再看 吧??