引言

    2020年外賣業(yè)務(wù)經(jīng)歷了大范圍的架構(gòu)升級(jí)，將外賣的交易流量融入到集團(tuán)統(tǒng)一的中臺(tái)架構(gòu)體系中，前后耗時(shí)半年，參與的技術(shù)同學(xué)超過(guò)了200+，代碼量200W+，用例量10000+，從數(shù)據(jù)上不難看出項(xiàng)目的浩大和緊迫。除此以外，這個(gè)半年中，技術(shù)團(tuán)隊(duì)照常承接業(yè)務(wù)需求，大部分項(xiàng)目經(jīng)歷了在原有的彈外鏈路研發(fā)上線之后，在切流前在彈內(nèi)鏈路追平需求的過(guò)程，整個(gè)項(xiàng)目過(guò)程類似于飛行中切換引擎。一個(gè)日均單量幾千萬(wàn)級(jí)的業(yè)務(wù)，任何的質(zhì)量問(wèn)題都會(huì)被放大，都有可能引發(fā)重大的故障，因此對(duì)于測(cè)試團(tuán)隊(duì)來(lái)說(shuō)是一個(gè)非常大的考驗(yàn)。從另外一個(gè)角度來(lái)看，深入?yún)⑴c到這么具有挑戰(zhàn)的項(xiàng)目的機(jī)會(huì)是非常少的，在過(guò)程中踩過(guò)的坑、做過(guò)的一些思考也是非常難得的，本文記錄了過(guò)程中幾個(gè)真實(shí)的場(chǎng)景，通過(guò)分析當(dāng)時(shí)的目標(biāo)、遇到的困難、應(yīng)對(duì)的手段和思考，希望能給大家?guī)?lái)一些有價(jià)值的參考。

背景

    架構(gòu)升級(jí)項(xiàng)目的目標(biāo)是通過(guò)技術(shù)升級(jí)將外賣業(yè)務(wù)融入到中臺(tái)體系中，與各個(gè)BU充分協(xié)作形成合力。項(xiàng)目的范圍主要包括了：商品、店鋪、導(dǎo)購(gòu)、營(yíng)銷、交易、支付、結(jié)算等多個(gè)域，簡(jiǎn)單來(lái)說(shuō)，就是涉及到交易流程中的各個(gè)相關(guān)方。

項(xiàng)目的主要挑戰(zhàn)

    這一小節(jié)簡(jiǎn)單說(shuō)明一下項(xiàng)目過(guò)程中遇到的三個(gè)主要的挑戰(zhàn)，方便大家理解后面的具體場(chǎng)景下的選擇。這幾個(gè)挑戰(zhàn)是貫穿整個(gè)項(xiàng)目，也是測(cè)試過(guò)程中的“上下文”。

團(tuán)隊(duì)協(xié)作

    因?yàn)轫?xiàng)目而組合起來(lái)的幾百人的技術(shù)團(tuán)隊(duì)，來(lái)自不同的BU、不同的部門(mén)，有各自的工作模式和規(guī)范的流程，這帶來(lái)了最主要的一個(gè)困難是，大家對(duì)于研發(fā)流程的SOP理解不一致，對(duì)于提測(cè)質(zhì)量的重視程度也不一致，最終導(dǎo)致了交付質(zhì)量不合格，對(duì)于測(cè)試進(jìn)度的沖擊非常大。

任務(wù)重、風(fēng)險(xiǎn)高

    就像背景中描述的，項(xiàng)目工程大、時(shí)間緊，除此之外，從測(cè)試的角度看，質(zhì)量要求高、保障難度大。一個(gè)成熟業(yè)務(wù)背后的技術(shù)升級(jí)，必須要保證業(yè)務(wù)的功能性、可用性、穩(wěn)定性、安全性等各個(gè)方面跟升級(jí)前不能有較大的偏差，因此在測(cè)試過(guò)程需要考慮的東西就會(huì)很多；此外，在大流量的背景下，所有的小概率事件（異常場(chǎng)景、極端場(chǎng)景等）都必然會(huì)發(fā)生，因此對(duì)于測(cè)試全面性的要求就非常的高。

    非常不幸，正如大部分的大型項(xiàng)目都會(huì)遇到的頭號(hào)風(fēng)險(xiǎn)--進(jìn)度風(fēng)險(xiǎn)，在這個(gè)項(xiàng)目中體現(xiàn)的淋漓盡致：每一個(gè)重要的時(shí)間節(jié)點(diǎn)上，我們都遇到了非常大的質(zhì)量挑戰(zhàn)。

意外頻發(fā)

    項(xiàng)目的過(guò)程完全應(yīng)驗(yàn)了墨菲定律，幾乎所有可能遇到的狀況，最終都成為了意外狀況。主要有：環(huán)境問(wèn)題突出、交付質(zhì)量不及預(yù)期、性能問(wèn)題、仿真延期、以及各類進(jìn)度風(fēng)險(xiǎn)等。

    其中環(huán)境的坑就從頭到腳的踩了個(gè)遍：從彈外線下環(huán)境下線、彈內(nèi)預(yù)發(fā)環(huán)境沒(méi)有DB資源，到生產(chǎn)環(huán)境的中間件資源到位時(shí)間不及預(yù)期。其中生產(chǎn)環(huán)境的單元DB遲遲不能到位，也曾使我們面臨選擇：是等資源到位后在發(fā)布，還是修改TDDL層通過(guò)中心化先發(fā)布等到資源到位后再重新改回來(lái)？考慮到整體的節(jié)奏以及多個(gè)BU之間發(fā)布的依賴性，最終選擇了后者。

質(zhì)量保障架構(gòu)的取舍

    每個(gè)項(xiàng)目的質(zhì)量保障基本都可以劃分為四塊內(nèi)容：流程優(yōu)化，基礎(chǔ)建設(shè)，線下測(cè)試，線上質(zhì)量，每一塊又根據(jù)各個(gè)團(tuán)隊(duì)的實(shí)際情況劃分為不同的內(nèi)容，這些內(nèi)容一旦固定并沉淀下來(lái)，就成為測(cè)試團(tuán)隊(duì)的“工具庫(kù)”，在后續(xù)的項(xiàng)目中可以隨取隨用。外賣入淘項(xiàng)目給原來(lái)的質(zhì)量保障架構(gòu)帶了非常大的沖擊，基本摧毀了整個(gè)“工具庫(kù)”。在項(xiàng)目過(guò)程中重建這一套保障架構(gòu)是非常困難的一件事，簡(jiǎn)單來(lái)說(shuō)可以概括為三個(gè)字：無(wú)、難、急。

基礎(chǔ)質(zhì)量保障

    本地生活平臺(tái)的質(zhì)量保障架構(gòu)主要內(nèi)容部分如下圖所示，通過(guò)“流程優(yōu)化”來(lái)規(guī)范人的部分，從而保證過(guò)程質(zhì)量、發(fā)布質(zhì)量；通過(guò)“基礎(chǔ)建設(shè)”來(lái)保證測(cè)試的“水電煤”--環(huán)境、數(shù)據(jù)、工具；通過(guò)“線下測(cè)試”來(lái)保障新舊功能；通過(guò)“線上質(zhì)量”來(lái)保障線上的穩(wěn)定性。在每次項(xiàng)目迭代過(guò)程中，質(zhì)量架構(gòu)中大部分的模塊是現(xiàn)成的可以直接使用，只有少量需要跟隨項(xiàng)目進(jìn)行部分的更新。

架構(gòu)升級(jí)項(xiàng)目質(zhì)量保障

    本期項(xiàng)目中，由于整個(gè)外賣平臺(tái)的架構(gòu)進(jìn)行了升級(jí)，測(cè)試環(huán)境、鏈路、數(shù)據(jù)、回歸體系、工具建設(shè)、線上保障等等全部被推翻，導(dǎo)致了整個(gè)質(zhì)量保障體系被擊穿。如何在項(xiàng)目過(guò)程中重建保障能力，成為了當(dāng)時(shí)最大的一個(gè)難點(diǎn)。

無(wú)：

• 無(wú)規(guī)范的研發(fā)流程

• 無(wú)現(xiàn)成的測(cè)試環(huán)境

• 無(wú)現(xiàn)成的測(cè)試數(shù)據(jù)

• 無(wú)回歸體系

難：

• 測(cè)試全面性難以保障

• 校驗(yàn)的全面性難以保障

• 核對(duì)監(jiān)控的正確性難以保障

急：

• 項(xiàng)目周期短，測(cè)不完

    分析了以上困難后，我們?cè)陧?xiàng)目過(guò)程中將保障能力劃分為核心保障和基礎(chǔ)保障。簡(jiǎn)單來(lái)說(shuō)，核心保障是保命的，必須要在外灰前建設(shè)完畢的；基礎(chǔ)保障是不完成，也不會(huì)出現(xiàn)大范圍的線上問(wèn)題或者導(dǎo)致項(xiàng)目延期的保障能力，基本都放在了外灰之后進(jìn)行建設(shè)。舉個(gè)簡(jiǎn)單的例子，在9月初的時(shí)候，穩(wěn)定性小組的兩個(gè)子項(xiàng)目尋求測(cè)試資源，一個(gè)是灰度中心、一個(gè)是仿真項(xiàng)目。考慮到灰度中心是決策每一筆交易流量走彈內(nèi)新鏈路還是走彈外老鏈路，如果出錯(cuò)將是“要命”的，所以灰度中心是需要核心保障的，投入了專門(mén)的測(cè)試人員；仿真項(xiàng)目，本身是作為測(cè)試覆蓋的補(bǔ)充，在測(cè)試人力吃緊、基于經(jīng)驗(yàn)設(shè)計(jì)的測(cè)試用例還在不斷發(fā)現(xiàn)bug的前提下，仿真保障的優(yōu)先級(jí)就相對(duì)較低，最終沒(méi)有投入測(cè)試人員（在此，感謝穩(wěn)定性小組同學(xué)的理解和支持）。

    圖中紅色部分都是項(xiàng)目過(guò)程中重點(diǎn)投入人員保障的部分；藍(lán)色部分是在核心保障建設(shè)完畢后，才投入保障的部分。需要說(shuō)明的是，藍(lán)色部分并非不重要，而是基于當(dāng)時(shí)的節(jié)奏、人力、質(zhì)量的一種取舍，而每一次取舍都會(huì)有相應(yīng)的收益和代價(jià)。基于這樣一個(gè)質(zhì)量架構(gòu)分時(shí)段建設(shè)的策略，我們?cè)诖蟠偾绊樌耐瓿闪饲辛鞯哪繕?biāo)，沒(méi)有出現(xiàn)重大的線上故障；同時(shí)，我們也付出一些的代價(jià)，以圖中“線下測(cè)試“中的“異常場(chǎng)景驗(yàn)證”為例，交易、營(yíng)銷平臺(tái)都是對(duì)于異常處理非常敏感的平臺(tái)，由于外灰前沒(méi)有進(jìn)行充分的異常驗(yàn)證，最終導(dǎo)致這兩個(gè)平臺(tái)在灰度期間出現(xiàn)的幾十個(gè)線上問(wèn)題中，近一半是異常處理的問(wèn)題（發(fā)生概率低，沒(méi)有達(dá)到P級(jí)）。

    另外值得一提的是，本期項(xiàng)目中引入了“基礎(chǔ)建設(shè)”下的“數(shù)據(jù)報(bào)表”，并作為了核心保障能力。這是因?yàn)椋谡麄€(gè)灰度切流過(guò)程中，我們需要大量的數(shù)據(jù)分析來(lái)驗(yàn)證線上的真實(shí)情況。以“加購(gòu)到下單的轉(zhuǎn)化率”為指標(biāo)，灰度期間需要精確分析，小到同一個(gè)門(mén)店下走新鏈路的用戶轉(zhuǎn)化率和走老鏈路的用戶轉(zhuǎn)化率，是否出現(xiàn)了較大的差異；大到同一個(gè)城市下，是否出現(xiàn)轉(zhuǎn)化率的差異等等。此外還有非常多的指標(biāo)，只有確認(rèn)每一次增量切流后，各個(gè)指標(biāo)正常，才能計(jì)劃下一次的切流。簡(jiǎn)單來(lái)說(shuō)，數(shù)據(jù)報(bào)表是切流的依據(jù)，也是“生命線”。

    總結(jié)來(lái)說(shuō)，質(zhì)量保障體系的建設(shè)需要因時(shí)、因事而定，需要考慮時(shí)間、成本、風(fēng)險(xiǎn)、效果等因素，每一個(gè)選擇都有它的利弊，沒(méi)有絕對(duì)正確的決策，只有更適合當(dāng)時(shí)情況的選擇。個(gè)人的一點(diǎn)建議是，平時(shí)需要針對(duì)所負(fù)責(zé)的業(yè)務(wù)梳理出完整的質(zhì)量保障大圖，并深刻理解其中每個(gè)質(zhì)量保障專項(xiàng)的內(nèi)容、成本和效果，這樣在應(yīng)對(duì)大型項(xiàng)目沖擊的時(shí)候，能快速的理清利弊，篩選出必要的專項(xiàng)。