質(zhì)量運(yùn)營在美團(tuán)點(diǎn)評(píng)智能支付業(yè)務(wù)測(cè)試中的初步實(shí)踐

毋庸置疑，質(zhì)量是決定產(chǎn)品能否成功、企業(yè)能否持續(xù)發(fā)展的關(guān)鍵因素之一。對(duì)于“質(zhì)量時(shí)代”下的互聯(lián)網(wǎng)企業(yè)，如何在快速迭代的節(jié)奏中兼顧質(zhì)量，真正落地“人人重視質(zhì)量、人人創(chuàng)造質(zhì)量、人人享受質(zhì)量”，這是對(duì)QA的要求，也是整個(gè)產(chǎn)品技術(shù)團(tuán)隊(duì)面臨的重要挑戰(zhàn)。

質(zhì)量運(yùn)營，是將運(yùn)營的思路注入到質(zhì)量評(píng)估與改進(jìn)工作中，它著眼于產(chǎn)品的全生命周期，以質(zhì)量為中心，以數(shù)據(jù)為驅(qū)動(dòng)，通過建設(shè)持續(xù)迭代的質(zhì)量保障體系，最終提升交付質(zhì)量。本文將聚焦研發(fā)過程中的提測(cè)階段，以改進(jìn)提測(cè)質(zhì)量為例，從方案制定、策略應(yīng)用、效果評(píng)估等幾個(gè)方面，介紹質(zhì)量運(yùn)營在智能支付業(yè)務(wù)中的初步應(yīng)用。

挑戰(zhàn)

美團(tuán)點(diǎn)評(píng)智能支付承擔(dān)了整個(gè)公司所有線下交易，當(dāng)前日交易量已經(jīng)突破1000萬單，是公司繼外賣和摩拜之后，又一個(gè)千萬級(jí)日訂單的業(yè)務(wù)。業(yè)務(wù)高速增長、團(tuán)隊(duì)快速擴(kuò)張的情況下，質(zhì)量問題極易被放大化，如果不能及時(shí)得到處理，后續(xù)解決成本會(huì)越來越高。

存在的痛點(diǎn)

剛參與智能支付業(yè)務(wù)測(cè)試時(shí)遇到的幾個(gè)問題，如下：

1. 缺陷嚴(yán)重級(jí)別高，提測(cè)打回時(shí)常發(fā)生 ?
   如：核心功能未實(shí)現(xiàn)或?qū)崿F(xiàn)與需求不符。

2. 缺陷數(shù)量多，定位、修復(fù)、回歸耗時(shí)長 ?
   如：越在上游引入的缺陷，修復(fù)的成本就越高，潛在的風(fēng)險(xiǎn)也越大。

3. 各類低級(jí)缺陷，團(tuán)隊(duì)彼此間的信任度降低 ?
   如：文案錯(cuò)誤、變量引用錯(cuò)誤等編碼大意導(dǎo)致的低級(jí)缺陷。

解決的難點(diǎn)

在嘗試去改善時(shí)發(fā)現(xiàn)難以推動(dòng)的幾個(gè)問題，如下：

1. 對(duì)暴露出的質(zhì)量問題，如何更直觀的在認(rèn)知上達(dá)成一致？?
   如：收到過很多類似的問題反饋：“xx的缺陷太多了，質(zhì)量意識(shí)差”、“xx項(xiàng)目存在很大問題，需要盡快改進(jìn)”，即使是基于事實(shí)得出的判斷，這種偏主觀的表達(dá)方式，對(duì)問題達(dá)成一致的認(rèn)知帶來很大的困難。

2. 對(duì)已公認(rèn)的質(zhì)量問題，如何更快速的進(jìn)行分析和定位？?
   如：缺陷發(fā)生在測(cè)試階段，但缺陷的引入可能是在需求階段、設(shè)計(jì)階段、開發(fā)階段；某個(gè)時(shí)間段內(nèi)的異常質(zhì)量數(shù)據(jù)，可能是A項(xiàng)目或B項(xiàng)目，可能是C團(tuán)隊(duì)或D團(tuán)隊(duì)。問題類型細(xì)分、數(shù)據(jù)鉆取能力等等，在問題的快速分析和定位中至關(guān)重要。

3. 對(duì)已定位的質(zhì)量問題，如何找到可以落地的改進(jìn)措施？?
   如：項(xiàng)目總結(jié)中常常會(huì)見到類似這樣的描述：“加強(qiáng)自測(cè)”、“嚴(yán)格遵守項(xiàng)目流程”、“文檔需要寫的更詳細(xì)些”，這種偏“形容詞”的改進(jìn)措施，很難實(shí)際操作，這也是整個(gè)質(zhì)量改進(jìn)過程中最大的一個(gè)難點(diǎn)。

思路

質(zhì)量改進(jìn)是一個(gè)持續(xù)迭代的過程，不可急于求成。按照質(zhì)量運(yùn)營的方法，基本思路為：分析痛點(diǎn)，找到抓手，持續(xù)運(yùn)營，形成閉環(huán)。? ?基于提測(cè)階段的質(zhì)量問題特征，從痛點(diǎn)和難點(diǎn)中尋找突破點(diǎn)。大致思路為：

1. 目標(biāo)應(yīng)達(dá)成一致：質(zhì)量改進(jìn)的目標(biāo)是QA的KPI，并應(yīng)該與關(guān)鍵干系人在愿景、目標(biāo)上達(dá)成一致。

2. 問題的客觀呈現(xiàn)：提取核心度量指標(biāo)，通過有效數(shù)據(jù)和典型案例說話。

3. 數(shù)據(jù)的靈活鉆?。罕M可能全的提供各種維度的數(shù)據(jù)，并分層級(jí)展示。

4. 改進(jìn)措施可落地：對(duì)措施的多方Review、流程標(biāo)準(zhǔn)化到工具化的演進(jìn)。

解決方案

解決方案的重中之重，是務(wù)必遵循PDCA來實(shí)現(xiàn)運(yùn)轉(zhuǎn)方式的閉環(huán)。具體如下：

確定問題與方向

通過痛點(diǎn)描述可知，缺陷是反映智能支付業(yè)務(wù)當(dāng)前提測(cè)質(zhì)量的最顯著特征。提測(cè)質(zhì)量的進(jìn)一步分析，可通過缺陷的數(shù)量、缺陷的嚴(yán)重程度、缺陷的生成原因三個(gè)方向來展開。

缺陷數(shù)量

缺陷的嚴(yán)重程度

缺陷的生成原因

度量指標(biāo)及標(biāo)準(zhǔn)

針對(duì)缺陷的三個(gè)分析方向，提取出可度量的指標(biāo)、定義合理的標(biāo)準(zhǔn)值，并與整個(gè)團(tuán)隊(duì)達(dá)成一致。

指標(biāo)提取策略

1. 典型性

• 找最想要解決的問題。不追求全面，只針對(duì)Top問題提取指標(biāo)，如：生成原因里最應(yīng)該避免的是哪些。? ?

• 找最能反映問題的指標(biāo)。如：缺陷數(shù)量有眾多度量指標(biāo)（新增數(shù)量、人均數(shù)量等等），為排除工作量影響，我們選擇用千行代碼缺陷率這個(gè)指標(biāo)。

2. 有效性

• 除非對(duì)絕對(duì)數(shù)量有明確要求，否則盡量使用百分比作為度量指標(biāo)。

• 指標(biāo)數(shù)據(jù)的計(jì)算方式，要求簡(jiǎn)單易懂，并務(wù)必得到相關(guān)人的認(rèn)可。

標(biāo)準(zhǔn)制定策略

1. 基于公司統(tǒng)一要求 ?
   如：Sonar千行代碼嚴(yán)重問題數(shù)，統(tǒng)一標(biāo)準(zhǔn)為低于0.1。

2. 基于公司各業(yè)務(wù)現(xiàn)狀 ?
   如：缺陷相關(guān)指標(biāo)按照公司各業(yè)務(wù)部門排行，取Top5的值作為標(biāo)準(zhǔn)線。

3. 基于自身業(yè)務(wù)階段持續(xù)調(diào)整 ?
   如：隨著智能支付業(yè)務(wù)質(zhì)量的持續(xù)改進(jìn)，定義更嚴(yán)格的質(zhì)量標(biāo)準(zhǔn)。

最終定義的指標(biāo)與標(biāo)準(zhǔn)

獲取數(shù)據(jù)并展示

基于Metrics（美團(tuán)點(diǎn)評(píng)工程質(zhì)量中心提供的度量平臺(tái)），能夠快速的獲取數(shù)據(jù)并展示。但要注意，部分指標(biāo)的計(jì)算需要對(duì)Metrics提供的數(shù)據(jù)進(jìn)行二次處理，以保證數(shù)據(jù)的精準(zhǔn)性。如：在計(jì)算千行代碼缺陷率時(shí)，需要排除掉開發(fā)自測(cè)缺陷等。

對(duì)于數(shù)據(jù)的展示形式，除了利用Metrics提供的各種圖表外，最為關(guān)鍵的是要實(shí)現(xiàn)數(shù)據(jù)與問題（相關(guān)缺陷）的可關(guān)聯(lián)，以便進(jìn)行下一步分析。如下圖所示（通過超鏈接方式進(jìn)行關(guān)聯(lián)）：

制定計(jì)劃并改進(jìn)

改進(jìn)措施的制定和實(shí)施是整個(gè)質(zhì)量改進(jìn)過程中的重中之重?；诮?jīng)驗(yàn)，給出三個(gè)策略。

自上而下與自下而上相結(jié)合

• 自上而下：通過有效數(shù)據(jù)、典型案例，建設(shè)可信任的結(jié)果評(píng)估體系；以此為基礎(chǔ)，利用每一個(gè)問題數(shù)據(jù)，在Leader層強(qiáng)化質(zhì)量意識(shí)，借鑒向上管理的思路，實(shí)現(xiàn)質(zhì)量改進(jìn)的向下驅(qū)動(dòng)。

• 自下而上：通過案例復(fù)盤、數(shù)據(jù)鉆取，對(duì)問題進(jìn)行明確定位，讓問題方基于工具即可將問題下沉到具體項(xiàng)目或具體角色，進(jìn)而推進(jìn)可落地的過程改進(jìn)，并持續(xù)利用結(jié)果評(píng)估體系衡量改進(jìn)效果，實(shí)現(xiàn)質(zhì)量改進(jìn)的向上閉環(huán)。

多維度的數(shù)據(jù)聚合與分析相結(jié)合

• 周維度數(shù)據(jù)聚合：對(duì)周數(shù)據(jù)中的異常進(jìn)行分析，并排除掉因周期偏短導(dǎo)致的數(shù)據(jù)噪點(diǎn)，重在對(duì)問題進(jìn)行風(fēng)險(xiǎn)預(yù)警。

• 月維度數(shù)據(jù)聚合：對(duì)月數(shù)據(jù)中的異常進(jìn)行分析，并結(jié)合數(shù)據(jù)的變化趨勢(shì)，重在對(duì)問題進(jìn)行確認(rèn)和改進(jìn)。周維度和月維度相結(jié)合，構(gòu)成了質(zhì)量管理中的問題發(fā)現(xiàn)與改進(jìn)周期。

• 季度維度數(shù)據(jù)聚合：對(duì)季度數(shù)據(jù)的分析，重在得出對(duì)質(zhì)量目標(biāo)的完成度并給出質(zhì)量評(píng)分，并對(duì)過程中的問題進(jìn)行回顧和總結(jié)，構(gòu)成了質(zhì)量管理中的考核周期。

流程的標(biāo)準(zhǔn)化與工具化相結(jié)合

• 在改進(jìn)提測(cè)質(zhì)量的初期階段，對(duì)于流程的優(yōu)化經(jīng)常出現(xiàn)在各個(gè)項(xiàng)目總結(jié)的改進(jìn)措施中，但大多是通過意識(shí)、模板或者口頭提醒來實(shí)現(xiàn)，這無疑增加了流程的接入成本、執(zhí)行難度，進(jìn)而降低了流程的約束力。

• 借鑒在制造業(yè)中常見的一種解決思路——“防呆措施”，在流程標(biāo)準(zhǔn)化之后，應(yīng)盡可能將其工具化，提升流程的生命力。

• 防呆措施的目的之一是防止不符合流程的產(chǎn)出物交付到下游。

• 將防呆措施應(yīng)用到提測(cè)流程，即應(yīng)實(shí)現(xiàn)各項(xiàng)準(zhǔn)入標(biāo)準(zhǔn)的自動(dòng)化檢查，類似如下提測(cè)時(shí)校驗(yàn)：

回顧與反饋

主要從時(shí)間維度、項(xiàng)目維度兩方面開展。

1. 各類周會(huì)、雙周會(huì)、季度總結(jié)，對(duì)質(zhì)量數(shù)據(jù)進(jìn)行Review。

2. 項(xiàng)目維度 ?
   重在項(xiàng)目復(fù)盤。復(fù)盤可以看成PDCA環(huán)和環(huán)之間的連接，有了它，PDCA才能環(huán)環(huán)相扣、周而復(fù)始。

迭代與推廣

若改善有效，則進(jìn)行推廣。若改善無效，則分析原因，修改計(jì)劃，重新啟動(dòng)另一輪PDCA。

1. 指標(biāo)與標(biāo)準(zhǔn)的持續(xù)迭代 ?
   如：過程中對(duì)Sonar千行嚴(yán)重問題數(shù)的標(biāo)準(zhǔn)由0.1提升到0。

2. 度量模型與方法工具的推廣 ?
   如：質(zhì)量報(bào)表、Sonar在PR時(shí)觸發(fā)檢查不通過不允許Merge、提測(cè)準(zhǔn)入自動(dòng)化等等在其他業(yè)務(wù)的推廣。

效果

對(duì)于效果的評(píng)估，主要從三方面進(jìn)行說明。

1. 質(zhì)量數(shù)據(jù)的關(guān)注度

2. 質(zhì)量指標(biāo)的達(dá)成度

3. 過程質(zhì)量改進(jìn)對(duì)迭代效率的提升效果

質(zhì)量數(shù)據(jù)關(guān)注度

主要體現(xiàn)在團(tuán)隊(duì)各方對(duì)質(zhì)量報(bào)表的使用率。以下三張圖分別為：智能支付QA、智能支付RD、智能支付RD Leader對(duì)質(zhì)量報(bào)表的使用率走勢(shì)。

對(duì)質(zhì)量指標(biāo)的達(dá)成情況進(jìn)行說明，其中：初始值為16年Q4的情況。

質(zhì)量指標(biāo)達(dá)成度

近幾個(gè)Q的變化趨勢(shì)，如下：

迭代效率提升效果

以客戶端方向?yàn)槔ㄖ斑^程質(zhì)量存在較嚴(yán)重的問題），說明過程質(zhì)量改進(jìn)對(duì)迭代效率的提升效果。

總結(jié)

經(jīng)過一段時(shí)間的摸索和實(shí)踐，我們?cè)谔釡y(cè)質(zhì)量上有了較明顯的提升，過程中積累的方法、流程和工具也在推廣使用。但提測(cè)質(zhì)量只是全生命周期質(zhì)量運(yùn)營的一小部分，對(duì)于高速發(fā)展的智能支付業(yè)務(wù)，不僅要求整個(gè)質(zhì)量保證體系的迭代優(yōu)化，更要求全體成員不斷提升質(zhì)量思維、持續(xù)追求極致質(zhì)量，進(jìn)而形成一種質(zhì)量文化，真正實(shí)現(xiàn)“人人重視質(zhì)量、人人創(chuàng)造質(zhì)量、人人享受質(zhì)量”。

作者簡(jiǎn)介

勛偉，美團(tuán)點(diǎn)評(píng)高級(jí)測(cè)試開發(fā)工程師，金融服務(wù)平臺(tái)智能支付業(yè)務(wù)測(cè)試負(fù)責(zé)人，2015年加入美團(tuán)點(diǎn)評(píng)。