24 億級(jí)用戶超級(jí) APP 背后的全技術(shù)大揭秘
進(jìn)入十億級(jí)用戶“APP 俱樂部”，可以說是很多做 APP 的公司夢寐以求的目標(biāo)。
2017 年，剛剛成立 2 年的茄子科技（海外 SHAREit Group）交出了一份亮眼的出海成績單，旗下 APP SHAREit（國內(nèi)茄子快傳）全球用戶總數(shù)達(dá)到了 10 億+，躋身十億級(jí)用戶“APP 俱樂部”。
之后，SHAREit 仍保持著驚人的增長速度。2018 年，SHAREit 全球用戶超 15 億，2019 年，SHAREit 全球用戶超 18 億，月活超過 5 億。截止目前，茄子科技包括 SHAREit 在內(nèi)的多款 APP 產(chǎn)品全球累計(jì)安裝用戶量近 24 億。
伴隨著 SHAREit 在全球成為“爆款”產(chǎn)品，茄子科技也成為國內(nèi)出海潮中的眾多互聯(lián)網(wǎng)公司中先一步闖出一番天地的佼佼者。出海之旅愈發(fā)深入，抵達(dá)終點(diǎn)的路徑也就愈發(fā)清晰，這是一場關(guān)于產(chǎn)品、技術(shù)、運(yùn)營的綜合考驗(yàn)。
對(duì)于出海企業(yè)來說，如果把移動(dòng)互聯(lián)網(wǎng)產(chǎn)品看作一根支起全球的“撬棍”，那么這根撬棍能發(fā)揮出多大的力量，離不開背后堅(jiān)實(shí)的技術(shù)支撐。
近日，InfoQ 專訪了茄子科技多位技術(shù) Leader，試圖從技術(shù)的維度探究下，幾十億量級(jí)的超級(jí) APP 是怎樣“煉”成的，以及在技術(shù)的護(hù)航下，這家公司是如何支撐業(yè)務(wù)一路迅猛擴(kuò)張到 24 億用戶規(guī)模的。
24 億級(jí)用戶產(chǎn)品，需要什么樣的技術(shù)架構(gòu)搭建？
基于 24 億級(jí)這樣龐大的用戶規(guī)模，應(yīng)該怎樣做基礎(chǔ)架構(gòu)搭建？
成立 6 年來，茄子科技用戶規(guī)模從 0-1 的過程，實(shí)際上也是該公司的基礎(chǔ)架構(gòu)從 0-1、從 1-10 的建設(shè)歷程。
茄子科技基礎(chǔ)架構(gòu)負(fù)責(zé)人在接受 InfoQ 采訪時(shí)表示，無論從用戶角度，還是從服務(wù)端建設(shè)角度看，公司整個(gè)基礎(chǔ)架構(gòu)從一開始簡單的、小規(guī)模的系統(tǒng)，逐步演進(jìn)到了全面的分布式系統(tǒng)。
整個(gè)架構(gòu)演進(jìn)分為 2 個(gè)階段：
●初級(jí)階段：
早期產(chǎn)品功能簡單，數(shù)據(jù)量少，算法相對(duì)簡單，業(yè)務(wù)迭代速度快，大約一周迭代一個(gè)版本，但面臨后端人力不足的挑戰(zhàn)。整個(gè)后端業(yè)務(wù) 100% 在公有云上，團(tuán)隊(duì)充分利用公有云的 SaaS 和 PaaS 服務(wù)來支持業(yè)務(wù)迭代。
●快速發(fā)展階段：
到這一階段，在某些業(yè)務(wù)場景下，公有云 SaaS 和 PaaS 服務(wù)已經(jīng)無法滿足需求。
一是成本的需求。當(dāng)業(yè)務(wù)規(guī)模小時(shí)，采用公有云的 SaaS 和 PaaS 服務(wù)的成本較低，但一旦業(yè)務(wù)規(guī)模擴(kuò)大，數(shù)據(jù)規(guī)模和服務(wù)壓力成數(shù)量級(jí)增長后，成本會(huì)線性上漲。二是與功能 / 性能相關(guān)的需求。公有云的 SaaS 服務(wù)提供的多是標(biāo)準(zhǔn)化、通用的能力，其會(huì)為解決多租戶問題設(shè)限制。隨著公司業(yè)務(wù)發(fā)展，已觸發(fā)了諸多限制進(jìn)而導(dǎo)致影響業(yè)務(wù)增長。
因此，茄子科技開始逐步減少對(duì)云廠商的深度依賴，在采用其基礎(chǔ)設(shè)施層面的 IaaS 服務(wù)的同時(shí)，與自研服務(wù)相結(jié)合，完成對(duì)業(yè)務(wù)的支持。
后來，在公司由工具型產(chǎn)品向內(nèi)容產(chǎn)品轉(zhuǎn)型的過程中，數(shù)據(jù)量日益激增，推薦算法不斷增加，進(jìn)一步提高了對(duì)數(shù)據(jù)存儲(chǔ)及算力的要求，于是，茄子科技結(jié)合開源軟件引入了大量自研架構(gòu)服務(wù)。
目前，茄子科技的架構(gòu)分為兩方面：
一是 IasS 層面依托公有云提供基礎(chǔ)資源，整體采用混合云的多云架構(gòu)，以最大化獲取云計(jì)算資源，充分應(yīng)用每個(gè)云廠商的優(yōu)勢，提升議價(jià)能力。
二是根據(jù)自有業(yè)務(wù)場景采用開源 + 自研架構(gòu)。在技術(shù)組件選擇方面，現(xiàn)階段主要以開源方案為主，并在此基礎(chǔ)上針對(duì)業(yè)務(wù)場景做深度擴(kuò)展和定制，如在開源軟件基礎(chǔ)上定制自有的 KV 存儲(chǔ)系統(tǒng)。
茄子科技一開始只采用“一朵云”，后來綜合權(quán)衡容災(zāi)、成本等因素，轉(zhuǎn)向多云架構(gòu)。
但這一轉(zhuǎn)變并不容易。
在這個(gè)過程中，要做部分用戶和業(yè)務(wù)遷移。但以前在“一朵”公有云上時(shí)，與公有云的各種服務(wù)做了技術(shù)上的深度綁定，這導(dǎo)致無法直接平行遷移。需要對(duì)基礎(chǔ)架構(gòu)和基礎(chǔ)服務(wù)升級(jí)改造后，再進(jìn)行服務(wù)遷移。
服務(wù)遷移相對(duì)容易，麻煩的是做整個(gè)架構(gòu)升級(jí)，因?yàn)樗笕舅袠I(yè)務(wù)線都要?jiǎng)悠饋恚@極為考驗(yàn)整體架構(gòu)的擴(kuò)展能力。在遷移過程中，還要保證零事故、無縫遷移保證高可用，讓用戶不受任何干擾。
而且，產(chǎn)品 / 業(yè)務(wù)迭代發(fā)展不等人，研發(fā)人力沒有冗余，留給整個(gè)遷移的時(shí)間窗口非常短，僅僅只有不到六個(gè)月時(shí)間。
時(shí)間緊張，基礎(chǔ)研發(fā)團(tuán)隊(duì)通過倒排工期，快速推進(jìn)，制定了“四步走”計(jì)劃：
一、和云廠商共同制定整體架構(gòu)方案；
二、內(nèi)部云平臺(tái)團(tuán)隊(duì)與基礎(chǔ)架構(gòu)團(tuán)隊(duì)聯(lián)合制定自研方案，商討自研架構(gòu)方案如何適配到業(yè)務(wù)側(cè)；
三、與業(yè)務(wù)研發(fā)部門一起制定零事故實(shí)現(xiàn)平行遷移和架構(gòu)升級(jí)方案；
四、拉通所有團(tuán)隊(duì)高效協(xié)作。
一步一步邁進(jìn)，克服了所有挑戰(zhàn)后，最終，基礎(chǔ)研發(fā)團(tuán)隊(duì)在規(guī)定時(shí)間內(nèi)完成了遷移，在這個(gè)過程中，也成功做到了零宕機(jī)事故，對(duì)用戶零干擾。
上述負(fù)責(zé)人表示，現(xiàn)在乃至于未來一段時(shí)間，茄子科技還會(huì)采用混合公有云方案來支撐業(yè)務(wù)，應(yīng)用架構(gòu)朝著云原生架構(gòu)方向走，“云原生，要生在云上，長在云上，要用云的各種便利性，例如，應(yīng)充分利用公有云靈活的彈性擴(kuò)縮容能力及多云融合跨區(qū)域的容災(zāi)能力，來實(shí)現(xiàn)高可用性、高性能、高可擴(kuò)展的架構(gòu)”。
關(guān)于技術(shù)選型背后的邏輯，茄子科技側(cè)重綜合平衡項(xiàng)目、團(tuán)隊(duì)、技術(shù)三個(gè)方面。
●項(xiàng)目：明確項(xiàng)目的性質(zhì)、規(guī)模、重要程度、時(shí)間要求。項(xiàng)目需求會(huì)影響甚至限制技術(shù)的選型，如果項(xiàng)目是實(shí)驗(yàn)性項(xiàng)目且開發(fā)時(shí)間短，此時(shí)要重點(diǎn)考慮快速開發(fā)能力，框架選型考慮選用生態(tài)成熟的技術(shù)。如果項(xiàng)目重要且開發(fā)周期長，這時(shí)對(duì)并發(fā)性、實(shí)時(shí)性、可用性，數(shù)據(jù)一致性及安全性均有高要求，組件選型上尤其要慎重。
●團(tuán)隊(duì)：考慮技術(shù)團(tuán)隊(duì)成員背景，針對(duì)較基礎(chǔ)的技術(shù)選型，如語言、框架、數(shù)據(jù)庫、中間件等，通常選擇適合團(tuán)隊(duì)的、相對(duì)熟悉的技術(shù)。如果想選擇其他技術(shù)，要評(píng)估團(tuán)隊(duì)是否 hold 住。
●技術(shù)：從應(yīng)用性、可維護(hù)性、可擴(kuò)展性、性能等方面考慮技術(shù)特性，重點(diǎn)考察技術(shù)的成熟度、社區(qū)活躍度、架構(gòu)匹配度等，側(cè)重評(píng)估技術(shù)是否適合業(yè)務(wù)場景。
隨著用戶量劇增，平臺(tái)復(fù)雜度會(huì)大大提升。如何解決復(fù)雜性的問題，上述負(fù)責(zé)人認(rèn)為，首先從架構(gòu)層面要做好分層解耦，業(yè)務(wù)系統(tǒng)層、中間件層、基礎(chǔ)服務(wù)層、云平臺(tái)層等權(quán)責(zé)明晰。分層后，需劃定好邊界，以避免各層互相推諉。另外，還離不開將單體服務(wù)微服務(wù)化、配置化，在微服務(wù)化拆分過程中要持續(xù)加強(qiáng)建設(shè)服務(wù)治理的生態(tài)體系。
面向 200 多個(gè)國家，如何做好個(gè)性化分發(fā)和推薦？
出海環(huán)境下，移動(dòng)互聯(lián)網(wǎng) APP 用戶群體遍布全球，這對(duì)做好個(gè)性化分發(fā)和推薦，滿足不同用戶深層次的個(gè)性化需求帶來了極大的挑戰(zhàn)。
茄子快傳的產(chǎn)品矩陣目前覆蓋全球 200 多個(gè)國家和地區(qū)，尤以新興市場 — 東南亞、南亞、中東、非洲、俄語地區(qū)為主。針對(duì)這么多國家，怎樣做算法推薦？
茄子科技大數(shù)據(jù)和 AI 負(fù)責(zé)人向 InfoQ 表示，針對(duì)不同國家，APP 采用相同的框架，但在內(nèi)容推薦過程中，算法端存在差異，受眾群體變了，策略也要有相應(yīng)調(diào)整。
在針對(duì)某一國家的用戶進(jìn)行內(nèi)容推薦前，團(tuán)隊(duì)首先會(huì)從負(fù)責(zé)該國一線業(yè)務(wù)的人員處了解相關(guān)信息，如國家文化習(xí)俗，受眾特點(diǎn)、喜好等，再基于這些信息制定算法策略的 Baseline。
推薦算法的重心在于迭代。一方面會(huì)基于業(yè)務(wù)團(tuán)隊(duì)反饋或者 Badcase 來調(diào)整，具象化共識(shí)。另一方面進(jìn)行線上 AB 實(shí)驗(yàn)，基于數(shù)據(jù)方法論來檢驗(yàn)效果和調(diào)優(yōu)。
“茄子科技不光跟其他公司一樣面臨不同內(nèi)容、類型的推薦，我們的推薦系統(tǒng)面向的受眾覆蓋眾多國家和地域，不似國內(nèi)地域間差異不明顯。不同國家的差異有時(shí)候往往是巨大的，不同國家的用戶風(fēng)格、習(xí)慣、偏好都存在較大差異。因此，我們的大數(shù)據(jù)投喂算法已覆蓋了多產(chǎn)品的多類內(nèi)容，涵蓋業(yè)務(wù)種類多樣。在做好算法體系的擴(kuò)展性的同時(shí)，我們針對(duì)不同國家、不同場景也會(huì)做額外的深度探察”，上述負(fù)責(zé)人表示。
現(xiàn)在個(gè)性化推薦已經(jīng)不是社交產(chǎn)品發(fā)展的趨勢了，而成為了標(biāo)配。但一個(gè)不能忽視的問題是，現(xiàn)階段個(gè)性化推薦還沒有那么智能。有時(shí)候，算法推薦的可能并不是用戶想要的，算法往往推薦給用戶大量相似內(nèi)容，這反而會(huì)給用戶帶來困擾?！巴队脩羲谩焙汀巴诰蛴脩舻纳疃饶繕?biāo)和需求”之間的矛盾仍未完全調(diào)和。
對(duì)于這個(gè)問題，上述負(fù)責(zé)人認(rèn)為，“投用戶所好”是淺度目標(biāo)，而“發(fā)掘用戶深度需求”是深度目標(biāo)，深度目標(biāo)更難實(shí)現(xiàn)，難在其無法量化，不好刻畫。
他認(rèn)為，這一矛盾的核心在于算法優(yōu)化目標(biāo)。解決這類問題的前提是構(gòu)建評(píng)價(jià)指標(biāo)，進(jìn)行推薦效果評(píng)估時(shí)，除評(píng)價(jià)單一目標(biāo)優(yōu)化效果等目標(biāo)外，還會(huì)從多目標(biāo)的角度作評(píng)估，如關(guān)注多樣性、新穎性、驚喜度等。
當(dāng)用戶偏好和深度目標(biāo)發(fā)生沖突時(shí)，首先會(huì)基于場景分析業(yè)務(wù)目標(biāo)，建立正向收益的同時(shí)，提出負(fù)向折損的忍耐度。在執(zhí)行中的判斷，會(huì)根據(jù)某些場景的獨(dú)立性、影響周期等做指標(biāo)置換。但當(dāng)深度目標(biāo)不確定時(shí)，沖突比較難化解，對(duì)此，團(tuán)隊(duì)在做置換的基礎(chǔ)上會(huì)基于價(jià)值取向，做更多服務(wù)于用戶長期增長的工作。
具體推薦過程中，團(tuán)隊(duì)還會(huì)收集用戶端的反饋，來驗(yàn)證推薦效果，推薦效果的 Feedback 和調(diào)優(yōu)是推薦最重要一個(gè)環(huán)節(jié)，團(tuán)隊(duì)從方方面面全方位收集各種反饋，以此來做整體調(diào)優(yōu)。
據(jù)了解，茄子科技整個(gè)數(shù)據(jù)鏈路包括兩部分，一部分是偏技術(shù)方向的演變，另一方面是支撐多樣業(yè)務(wù)的演變?；谶@兩類場景，采用兩類思路，第一類偏漸進(jìn)，另外一類偏創(chuàng)新的思路。
其中，漸進(jìn)思路往往映射通用解決方案，因?yàn)榇髷?shù)據(jù)從采集、處理、分析、架構(gòu)，都有相對(duì)成熟的通用技術(shù)方案。茄子科技采用業(yè)界通用的流、批計(jì)算引擎，同時(shí)為了可靠性，并基于業(yè)務(wù)多變的訴求做漸進(jìn)升級(jí)和二次開發(fā)，比如，茄子科技業(yè)務(wù)的特殊性使得在多云多區(qū)域上面臨不小挑戰(zhàn)，因此也會(huì)有針對(duì)性的做平臺(tái)層的封裝。
目前茄子科技還正在推進(jìn)湖倉一體架構(gòu)的逐步演變，將數(shù)據(jù)湖、數(shù)據(jù)倉庫等不同概念相融合。
SHAREit 前端工程化建設(shè)：從石器時(shí)代到信息時(shí)代
前端工程化，通俗的理解是，盡可能快速地實(shí)現(xiàn)可信賴的產(chǎn)品。其中兩個(gè)關(guān)鍵詞，“快速” ，講求開發(fā)速度、構(gòu)建速度、測試速度、問題定位速度；“可信賴”，包括代碼的質(zhì)量、產(chǎn)品的性能、安全、及重現(xiàn)和定位問題能力。
茄子科技前端負(fù)責(zé)人介紹，SHAREit 的前端工程化建設(shè)經(jīng)歷了三個(gè)階段：石器時(shí)代，工業(yè)時(shí)代，信息時(shí)代。
●石器時(shí)代：
在石器時(shí)代，典型特征是單工程的 MVC 架構(gòu)，公司發(fā)展初期人比較少，反而效率更高，問題也比較少。但隨著公司發(fā)展越來越快，SHAREit 從單業(yè)務(wù)發(fā)展到多業(yè)務(wù)的平臺(tái)型產(chǎn)品時(shí)，單工程架構(gòu)在人員節(jié)奏方面出現(xiàn)了較多問題，如代碼耦合導(dǎo)致一些問題浮現(xiàn)出來。這時(shí)，便開始工程組件化重構(gòu)，進(jìn)入到工業(yè)化時(shí)代。
●工業(yè)時(shí)代
工業(yè)化時(shí)代，典型的特征是組件化。茄子科技使用的是多工程、多倉庫的方案，每個(gè)組件或 SDK 都有自己獨(dú)立的倉庫，都可以獨(dú)立于主工程進(jìn)行單獨(dú)的編譯和運(yùn)行。這方面分為三大層：APP 的殼、業(yè)務(wù)層、基礎(chǔ)層，基礎(chǔ)層再往下還有更多、更細(xì)粒度的劃分。前端團(tuán)隊(duì)自上而下通過 AAR 的方式進(jìn)行依賴。組件化采用“分而治之”的思想，很好地解決了多團(tuán)隊(duì)協(xié)同作戰(zhàn)的問題。
●信息時(shí)代
隨著公司孵化更多產(chǎn)品，每個(gè)產(chǎn)品在不同國家定制不同功能，規(guī)模越來越大了，用以前的組件化形式很難高效地支撐現(xiàn)有的業(yè)務(wù)，于是，茄子科技引入了 Google Bundle 技術(shù)，進(jìn)入到信息化時(shí)代。其實(shí)針對(duì)這一問題，國內(nèi)多采用插件化的方案，但由于海外不能做插件化技術(shù)，茄子科技只能運(yùn)用谷歌自有特性。
在信息化時(shí)代，典型的特征是 Bundle 組件化。Bundle 模塊具有反向依賴的特征。通過增加 Bundle 殼及自動(dòng)化檢測工具的形式，讓 App Bundle 的特性和以前已有的組件化融合，讓開發(fā)者保持已有的開發(fā)模式。通過 App Bundle，可以做到針對(duì)每個(gè)國家用一個(gè) APP 按需定制不同功能，如內(nèi)容、直播、游戲等。
為提升效率和質(zhì)量，茄子科技還搭建了客戶端 CI/CD 平臺(tái)，流程主要有編碼規(guī)范檢測、大文件 / 圖片檢測、靜態(tài)代碼掃描，關(guān)鍵文件觸發(fā) Review、代碼 Review、安全風(fēng)險(xiǎn)檢測，預(yù)編譯、包體積監(jiān)控，編譯速度監(jiān)控等，能做到自動(dòng)打包、自動(dòng)檢測、自動(dòng)化測試與發(fā)布。
據(jù)悉，前端團(tuán)隊(duì)已經(jīng)涵蓋開發(fā)、測試、構(gòu)建、部署一系列流程，通過自研 APM 系統(tǒng)的預(yù)警機(jī)制、自動(dòng)分配、輔助信息等，能夠及時(shí)發(fā)現(xiàn)且快速定位問題，并優(yōu)化迭代，最終形成整個(gè)研發(fā)流程閉環(huán)。
如何保證全球 24 億級(jí)用戶產(chǎn)品使用穩(wěn)定性？
如何保證全球 24 億級(jí)用戶使用產(chǎn)品的穩(wěn)定性，對(duì)茄子科技來說，是至關(guān)重要的一環(huán)。
“穩(wěn)定性” ，即產(chǎn)品可以給用戶預(yù)期內(nèi)的服務(wù)。這句話看似輕松，但當(dāng)面對(duì)海量用戶以及復(fù)雜的全球環(huán)境時(shí)，實(shí)現(xiàn)起來就不容易了。
具體而言，服務(wù)端高可用、客戶端高可用、傳輸連接速度、傳輸速度、在線內(nèi)容拉取性能、播放成功率等都屬于穩(wěn)定性體系建設(shè)的范疇。
為了確保穩(wěn)定性，茄子科技搭建了一整套作用于整個(gè)軟件開發(fā)周期的體系化解決方案。在開發(fā)階段有一系列開發(fā)規(guī)范以及本地校驗(yàn)流程，便于研發(fā)提前發(fā)現(xiàn)問題；而從提交 MR 開始，構(gòu)建系統(tǒng)會(huì)自動(dòng)執(zhí)行預(yù)設(shè)的校驗(yàn)流程，全部完成后才能合入主干；在測試階段，除常規(guī)測試外，還會(huì)覆蓋全面的自動(dòng)化測試。在用戶真實(shí)環(huán)境中，會(huì)自動(dòng)采集用戶使用中的穩(wěn)定性指標(biāo)如啟動(dòng)速度、卡頓、內(nèi)存、崩潰、網(wǎng)絡(luò)等問題，上報(bào)后 APM 平臺(tái)會(huì)進(jìn)行數(shù)據(jù)清洗、加工處理、自動(dòng)分配，結(jié)合報(bào)警，開發(fā)就可以第一時(shí)間開始排查線上發(fā)生的問題。
茄子科技平臺(tái)自身的高流量特點(diǎn)對(duì)穩(wěn)定性要求高。茄子科技認(rèn)為，穩(wěn)定性的范疇不應(yīng)僅局限在平臺(tái)建設(shè)上，還要擴(kuò)大至涵蓋組織、人、工具、故障管理等多方面、完整的穩(wěn)定性體系建設(shè)。
首先，從公司整個(gè)組織結(jié)構(gòu)看，公司自上而下、跨團(tuán)隊(duì)（包括業(yè)務(wù)團(tuán)隊(duì)、基礎(chǔ)研發(fā)團(tuán)隊(duì)、產(chǎn)品團(tuán)隊(duì)、內(nèi)容運(yùn)營團(tuán)隊(duì)等），都要達(dá)成穩(wěn)定性的共識(shí)機(jī)制。因?yàn)楦鱾€(gè)團(tuán)隊(duì)對(duì)穩(wěn)定性理解不同，如果達(dá)不成共識(shí)，穩(wěn)定性建設(shè)就無從談起。
此外，根據(jù)成本、業(yè)務(wù)容忍度，系統(tǒng)當(dāng)前的穩(wěn)定性狀態(tài)，針對(duì)不同的業(yè)務(wù)系統(tǒng)，設(shè)定不同的穩(wěn)定性目標(biāo)，核心業(yè)務(wù)的目標(biāo)穩(wěn)定性顯然更重要。穩(wěn)定性體系建設(shè)過程中也要避免“一刀切”都是最核心指標(biāo)，這需要我們做好穩(wěn)定性、成本、研發(fā)效率之間的平衡。
從人的角度看，開發(fā)、測試、運(yùn)維、安全，需要每個(gè)人從自身崗位出發(fā)去做技術(shù)體系的建設(shè)，做好流程規(guī)范、開發(fā)規(guī)范、測試規(guī)范、運(yùn)維上線規(guī)范、事故復(fù)盤等。
穩(wěn)定性建設(shè)還離不開工具作為手段。從工具的角度看，要通過客戶端鏈路埋點(diǎn)，服務(wù)端限流降級(jí)等一系列技術(shù)方案的需求，由基礎(chǔ)研發(fā)團(tuán)隊(duì)輸出一系列的支持工具和平臺(tái)。
穩(wěn)定性建設(shè)里，最關(guān)鍵的一點(diǎn)是故障管理。故障管理分為故障前、故障中、故障后。
事前預(yù)防，包括做業(yè)務(wù)成熟度評(píng)估，分析其短板；做容錯(cuò)測試，通過主動(dòng)性測試提高故障處理能力；上線前做容量評(píng)估和規(guī)劃。還要建立流程，保證故障發(fā)生時(shí)能第一時(shí)間響應(yīng)。
當(dāng)故障發(fā)生時(shí)，又該如何應(yīng)對(duì)？
首先是機(jī)制保障，故障要是沒有機(jī)制保障，其他的事情便無從談起。這些機(jī)制包括，故障發(fā)生后相關(guān)團(tuán)隊(duì)能否快速響應(yīng)，共同成立臨時(shí)“作戰(zhàn)室”，快速解決線上故障；當(dāng)故障升級(jí)或者高等級(jí)故障發(fā)生時(shí)，是否有足夠的資源投入等。針對(duì)一些底層的業(yè)務(wù)組件，茄子科技還會(huì)和云廠商一起聯(lián)合排障。
故障解決完了，但事情還遠(yuǎn)遠(yuǎn)沒有完。故障解決完后的總結(jié)、改進(jìn)和跟蹤也不能忽視。故障處理完后，各個(gè)業(yè)務(wù)方會(huì)一起復(fù)盤故障原因，并列出整改措施。復(fù)盤結(jié)束后，相關(guān)人員會(huì)對(duì)措施關(guān)鍵節(jié)點(diǎn)進(jìn)行追蹤、寫故障報(bào)告，最終輸出到故障知識(shí)庫，作為以后的查閱。
最后，會(huì)檢查類似 / 關(guān)聯(lián)服務(wù)是否存在隱患，通過舉一反三的思路，避免減少重復(fù)犯錯(cuò)。
據(jù)悉，茄子科技已打通了公司多個(gè)內(nèi)部系統(tǒng)，讓開發(fā)部門在解決問題時(shí)能得到更全面的信息，方便定位問題、解決問題。
“如果一句話來總結(jié)：我們的穩(wěn)定性系統(tǒng)，核心是數(shù)據(jù)，依托的是平臺(tái)，并且建立了一整套閉環(huán)體系化流程?！鼻炎涌萍记岸素?fù)責(zé)人表示。
推薦閱讀：
世界的真實(shí)格局分析，地球人類社會(huì)底層運(yùn)行原理
企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
論數(shù)字化轉(zhuǎn)型——轉(zhuǎn)什么，如何轉(zhuǎn)？
企業(yè)10大管理流程圖，數(shù)字化轉(zhuǎn)型從業(yè)者必備！
【中臺(tái)實(shí)踐】華為大數(shù)據(jù)中臺(tái)架構(gòu)分享.pdf
華為如何實(shí)施數(shù)字化轉(zhuǎn)型（附PPT）