測試管理 | 測試經(jīng)理定義和實(shí)施測試度量
往期關(guān)聯(lián)文章回顧：
測試管理 | 4種優(yōu)先級(jí)排序方法一定要掌握
? ? ? ?管理上有這樣一句名言，進(jìn)行度量的工作才會(huì)得到有效的執(zhí)行。反之，因?yàn)楹苋菀缀雎阅切┎贿M(jìn)行度量的工作，所以不進(jìn)行度量的工作通常不會(huì)得到有效的執(zhí)行。因此，對(duì)于包括測試在內(nèi)的任何活動(dòng)，建立適當(dāng)?shù)亩攘慷际呛苤匾摹??
測試度量可以劃分到以下的一種或多種類型中：?
???項(xiàng)目度量，對(duì)照既定的項(xiàng)目出口準(zhǔn)則，如測試用例執(zhí)行率、通過率和失敗率，度量項(xiàng)目進(jìn)展?
???產(chǎn)品度量，度量產(chǎn)品的某些屬性，如測試程度和缺陷密度
? 過程度量，度量測試或開發(fā)過程的能力，如通過測試發(fā)現(xiàn)的缺陷百分比?
? 人員度量，度量個(gè)人或小組的能力，如在給定的時(shí)間內(nèi)測試用例的實(shí)施情況?
任何給定的度量都屬于以上的兩種、三種、甚至四種類型。例如，體現(xiàn)每日缺陷發(fā)現(xiàn)率的趨勢圖可以與以下內(nèi)容都相關(guān)：出口準(zhǔn)則（連續(xù)一周都未發(fā)現(xiàn)新缺陷）、產(chǎn)品質(zhì)量（測試無法再找出產(chǎn)品的缺陷）、和測試過程的能力（在執(zhí)行測試的前期發(fā)現(xiàn)了大量缺陷）。
人員度量尤為敏感。測試經(jīng)理有時(shí)會(huì)把過程度量誤認(rèn)為是人員度量，導(dǎo)致大家為了讓該度量對(duì)他們更有利而采取一些行動(dòng)，產(chǎn)生災(zāi)難性的后果。
我們主要關(guān)注的是使用度量來衡量測試工作的進(jìn)展，如項(xiàng)目度量。度量的使用可以讓測試人員在匯報(bào)結(jié)果時(shí)保持一致，而且可以連貫地跟蹤測試進(jìn)展。測試經(jīng)理通常被要求在各種會(huì)議上展示度量數(shù)據(jù)，這些會(huì)議的參與人可能包括從技術(shù)人員到執(zhí)行管理層的各級(jí)別的干系人。因?yàn)橛袝r(shí)確定一個(gè)項(xiàng)目整體成功與否也會(huì)用到這些度量數(shù)據(jù)，在決定需要跟蹤什么內(nèi)容、匯報(bào)的頻率和呈現(xiàn)這些信息的方式時(shí)都需要特別留意。需要強(qiáng)調(diào)的是，測試經(jīng)理必須考慮以下內(nèi)容：?
? 度量的定義：應(yīng)定義一組有限的有用度量。度量的定義依據(jù)項(xiàng)目、過程和／或產(chǎn)品的具體目標(biāo)。定義度量時(shí)應(yīng)考慮到平衡，因?yàn)閱蝹€(gè)的度量可能會(huì)誤導(dǎo)對(duì)狀態(tài)或趨勢的印象。對(duì)這些定義的度量的解讀必須得到所有干系人的認(rèn)可，避免討論這些度量時(shí)產(chǎn)生混亂。經(jīng)常發(fā)生定義了過多的度量而沒有關(guān)注那些最相關(guān)的度量的情況?
? 度量的追蹤：應(yīng)該盡可能自動(dòng)化度量報(bào)告和匯總，以縮短采集和處理度量數(shù)據(jù)的時(shí)間。隨時(shí)間的推移，特定的度量數(shù)據(jù)可能會(huì)反映出和度量定義階段約定的解讀不同的信息。測試經(jīng)理應(yīng)做好準(zhǔn)備，仔細(xì)分析這些度量數(shù)據(jù)和期待可能出現(xiàn)哪些偏差，以及造成偏差的原因?
??度量的匯報(bào)：目的是幫助管理層迅速理解所獲得的信息。應(yīng)呈現(xiàn)對(duì)某段時(shí)間度量的“快照”或度量隨時(shí)間推移的變化，這樣才能進(jìn)行趨勢分析?
? 度量的有效性：測試經(jīng)理還必須驗(yàn)證匯報(bào)的信息。為某個(gè)度量收集的數(shù)據(jù)可能無法反應(yīng)項(xiàng)目的真實(shí)情況或可能傳達(dá)了過于樂觀或過于悲觀的趨勢。在呈現(xiàn)數(shù)據(jù)前，測試經(jīng)理必須就數(shù)據(jù)的準(zhǔn)確度和可能傳達(dá)的信息兩方面對(duì)數(shù)據(jù)進(jìn)行評(píng)審?
監(jiān)督測試進(jìn)展主要就以下五個(gè)方面：?
? 產(chǎn)品（質(zhì)量）風(fēng)險(xiǎn)?
? 缺陷?
? 測試?
? 覆蓋率?
? 信心??
在項(xiàng)目和業(yè)務(wù)中，產(chǎn)品風(fēng)險(xiǎn)、缺陷、測試和覆蓋率可以，且通常以特定的方式進(jìn)行度量和匯報(bào)。如果這些度量數(shù)據(jù)和測試計(jì)劃中定義的出口準(zhǔn)則相關(guān)，他們可以作為判斷測試工作是否完成的客觀標(biāo)準(zhǔn)。信心的度量可以通過調(diào)查或使用覆蓋率作為替代度量，不過通常還會(huì)以主觀的方式匯報(bào)信心。?
與產(chǎn)品風(fēng)險(xiǎn)相關(guān)的度量包括：?
? 完全覆蓋的風(fēng)險(xiǎn)百分比（所有的測試都通過（Pass））?
? 部分覆蓋的風(fēng)險(xiǎn)的百分比（有些測試或很多測試都沒有通過）?
? 還未完全測試的風(fēng)險(xiǎn)的百分比（有些測試還沒有測試完）?
? 按風(fēng)險(xiǎn)類別劃分的覆蓋的風(fēng)險(xiǎn)百分比?
? 在初次質(zhì)量風(fēng)險(xiǎn)分析后識(shí)別的風(fēng)險(xiǎn)的百分比??
與缺陷相關(guān)的度量包括：?
? 已報(bào)告（發(fā)現(xiàn)）的缺陷總數(shù)對(duì)比已解決（修復(fù)）的缺陷總數(shù)?
? 失效的平均時(shí)間間隔和失效出現(xiàn)率?
? 按下列分類統(tǒng)計(jì)的缺陷數(shù)或百分比 o 特定的測試項(xiàng)或組件 o 根本原因 o 缺陷來源（如需求規(guī)格說明、新功能、回歸等） o 測試發(fā)布 o 引入、發(fā)現(xiàn)和移除缺陷的階段 o 優(yōu)先級(jí)／嚴(yán)重程度 o 拒絕或重復(fù)的缺陷報(bào)告?
? 從報(bào)告缺陷到修復(fù)缺陷所花的時(shí)間趨勢?
? 引入了新缺陷（有時(shí)也稱子缺陷）的缺陷修復(fù)數(shù)??
和測試相關(guān)的度量包括：?
? 已計(jì)劃的、已詳細(xì)說明（已實(shí)施）的、已運(yùn)行、通過的、失敗的、無法執(zhí)行的和跳過不執(zhí)行的測試總數(shù)?
? 回歸測試和確認(rèn)測試的狀態(tài)，包括趨勢和未通過的回歸測試總數(shù)及未通過的確認(rèn)測試總數(shù)?
? 計(jì)劃的每日測試時(shí)長對(duì)比實(shí)際的每日測試時(shí)長?
? 測試環(huán)境的可用性（準(zhǔn)備測試團(tuán)隊(duì)可用的測試環(huán)境占計(jì)劃測試時(shí)長的百分比）?
和測試覆蓋率相關(guān)的度量包括：?
? 需求和設(shè)計(jì)要素的覆蓋率?
? 風(fēng)險(xiǎn)覆蓋率?
? 環(huán)境／配置覆蓋率?
? 代碼覆蓋率??
重要的是測試經(jīng)理要知道怎樣去解讀和使用覆蓋率的度量，以便理解和報(bào)告測試狀態(tài)。對(duì)于級(jí)別較高的測試，如系統(tǒng)測試、系統(tǒng)集成測試和驗(yàn)收測試，主要的測試依據(jù)通常是需求規(guī)格說明、設(shè)計(jì)規(guī)格說明、用例、用戶故事、產(chǎn)品風(fēng)險(xiǎn)、支持環(huán)境和支持配置等工作產(chǎn)品。結(jié)構(gòu)化的代碼覆蓋率度量更適用于級(jí)別較低的測試，如單元測試（如語句和分支覆蓋）和組件集成測試（如接口覆蓋）。測試經(jīng)理可能使用代碼覆蓋的度量數(shù)據(jù)來衡量測試覆蓋待測系統(tǒng)的程度，但在匯報(bào)較高級(jí)別的測試結(jié)果時(shí)，通常不會(huì)提到代碼覆蓋的度量。此外，測試經(jīng)理應(yīng)該知道即便單元測試和組件集成測試達(dá)到了結(jié)構(gòu)覆蓋目標(biāo)的100%，缺陷和質(zhì)量風(fēng)險(xiǎn)仍有待較高級(jí)別的測試來處理。?
度量也可以連系到基本測試過程中的活動(dòng)。在整個(gè)測試過程中，就可以對(duì)照項(xiàng)目目標(biāo)和測試過程本身，使用度量數(shù)據(jù)來監(jiān)督測試過程本身以及達(dá)成項(xiàng)目目標(biāo)的進(jìn)展。??
和監(jiān)督測試計(jì)劃和控制活動(dòng)相關(guān)的度量包括：?
? 風(fēng)險(xiǎn)、需求和其它測試依據(jù)要素的覆蓋率?
? 缺陷發(fā)現(xiàn)情況?
? 計(jì)劃開發(fā)測試件和執(zhí)行測試用例的時(shí)長對(duì)比實(shí)際的時(shí)長??
和監(jiān)督測試分析活動(dòng)相關(guān)的度量包括：
? 識(shí)別的測試條件數(shù)?
? 測試分析中發(fā)現(xiàn)的缺陷數(shù)（如通過使用測試依據(jù)識(shí)別風(fēng)險(xiǎn)或其它測試條件）??
和監(jiān)督測試設(shè)計(jì)活動(dòng)相關(guān)的度量包括：?
? 測試用例覆蓋的測試條件百分比?
? 測試設(shè)計(jì)中發(fā)現(xiàn)的缺陷數(shù)（如通過對(duì)照測試依據(jù)開發(fā)測試）??
和監(jiān)督測試實(shí)施活動(dòng)相關(guān)的度量包括：?
? 測試環(huán)境配置的百分比?
? 測試數(shù)據(jù)記錄加載的百分比?
? 測試用例自動(dòng)化的百分比??
和監(jiān)督測試執(zhí)行活動(dòng)相關(guān)的度量包括：?
? 執(zhí)行、通過和失敗的測試占已計(jì)劃的測試的百分比?
? 執(zhí)行（和／或通過）的測試用例覆蓋的測試條件的百分比
? 計(jì)劃與實(shí)際的報(bào)告／解決的缺陷對(duì)比?
? 計(jì)劃與實(shí)際達(dá)到的覆蓋率的對(duì)比?
監(jiān)督測試進(jìn)展和測試完成活動(dòng)的度量包括里程碑、入口準(zhǔn)則和出口準(zhǔn)則（測試計(jì)劃中定義和批準(zhǔn)的）的映射，其中可能包括以下內(nèi)容：?
? 計(jì)劃的測試條件、測試用例或測試規(guī)約說明的數(shù)目和按測試是否通過分別統(tǒng)計(jì)的執(zhí)行的測試條件、測試用例或測試規(guī)約說明的數(shù)目?
? 總?cè)毕輸?shù)，通常按嚴(yán)重程度、優(yōu)先級(jí)、目前狀態(tài)、受影響的子系統(tǒng)或其它分類統(tǒng)計(jì)
? 要求的、接受的、開展的和測試過的變更數(shù)?
? 計(jì)劃成本對(duì)比實(shí)際成本?
? 計(jì)劃工期對(duì)比實(shí)際工期?
? 測試?yán)锍瘫挠?jì)劃日期對(duì)比實(shí)際日期?
? 有關(guān)測試的項(xiàng)目里程碑（如代碼凍結(jié)）的計(jì)劃日期對(duì)比實(shí)際日期?
? 產(chǎn)品（質(zhì)量）風(fēng)險(xiǎn)狀態(tài)、通常按已緩解與未緩解的風(fēng)險(xiǎn)，主要的風(fēng)險(xiǎn)區(qū)域、測試分析后發(fā)現(xiàn)的新風(fēng)險(xiǎn)等分類統(tǒng)計(jì)?
? 由于阻塞事件或計(jì)劃的變更導(dǎo)致的測試工作量、成本或時(shí)間損失的百分比?
? 確認(rèn)和回歸測試狀態(tài)??
和監(jiān)督測試結(jié)束活動(dòng)相關(guān)的度量包括：?
? 測試執(zhí)行期間已執(zhí)行的、通過的、失敗的、無法執(zhí)行的和跳過不執(zhí)行的測試用例的百分比?
? 納入可復(fù)用的測試用例庫的測試用例的百分比?
? 自動(dòng)化的測試用例的百分比或計(jì)劃的與實(shí)際的自動(dòng)化的測試用例百分比對(duì)比 ? 并入回歸測試的測試用例的百分比?
? 已解決／未解決的顯著缺陷報(bào)告的百分比?
? 識(shí)別和歸檔的測試工作產(chǎn)品的百分比??
另外，標(biāo)準(zhǔn)的項(xiàng)目管理技術(shù)，如工作分解結(jié)構(gòu)，通常被用來監(jiān)督測試過程。在敏捷團(tuán)隊(duì)中，測試是燃盡圖上用戶故事進(jìn)展的一部分。使用精益管理技術(shù)時(shí)，測試進(jìn)展以一系列故事為基礎(chǔ)，通常通過用戶故事卡在看板圖上移動(dòng)的狀態(tài)來監(jiān)督。??
在給定了一組度量標(biāo)準(zhǔn)后，度量數(shù)據(jù)可以通過口頭陳述、在表格中以數(shù)值的形式，或用圖形來進(jìn)行匯報(bào)。度量數(shù)據(jù)可以有很多用途，包括：
? 分析，找出可從測試結(jié)果中觀察到的趨勢和原因?
? 匯報(bào)，將測試結(jié)果告知感興趣的項(xiàng)目參與人和項(xiàng)目干系人?
? 控制，改變整個(gè)測試或項(xiàng)目的進(jìn)程和監(jiān)督進(jìn)程糾正的結(jié)果??
收集、分析和報(bào)告這些測試度量數(shù)據(jù)的適當(dāng)方式取決于具體的信息需要、目標(biāo)和使用這些度量數(shù)據(jù)的個(gè)人能力。另外，測試報(bào)告的具體內(nèi)容也應(yīng)該根據(jù)不同的讀者而變化。??
為了測試控制的需要，非常重要的一點(diǎn)是度量數(shù)據(jù)必須能夠提供給測試經(jīng)理有關(guān)整個(gè)測試過程（測試計(jì)劃完成后）的信息，并能指導(dǎo)測試經(jīng)理成功完成測試任務(wù)、實(shí)施測試策略和實(shí)現(xiàn)測試目標(biāo)。因此在計(jì)劃時(shí)一定要考慮到信息需要，監(jiān)督時(shí)一定要包括收集任何需要的工作產(chǎn)品度量。需要的信息量和采集信息需要的工作量取決于各種項(xiàng)目因素，包括項(xiàng)目規(guī)模、復(fù)雜度和風(fēng)險(xiǎn)。
? 測試控制一定要回應(yīng)測試產(chǎn)生的信息和項(xiàng)目或活動(dòng)存在的不斷變化的環(huán)境。例如，如果動(dòng)態(tài)測試在某些認(rèn)為不可能有很多缺陷的區(qū)域發(fā)現(xiàn)了缺陷群，又如由于測試開始時(shí)間延遲導(dǎo)致測試執(zhí)行周期縮短，則必須對(duì)風(fēng)險(xiǎn)分析和計(jì)劃作出修改。這么做可能需要對(duì)測試優(yōu)先級(jí)重新設(shè)定和對(duì)剩余的測試執(zhí)行工作重新進(jìn)行分配。?
如果通過測試進(jìn)展報(bào)告發(fā)現(xiàn)與測試計(jì)劃出現(xiàn)了偏差，則應(yīng)執(zhí)行測試控制。測試控制的目的是為項(xiàng)目和／或測試重新定向到更可能取得成功的方向。當(dāng)項(xiàng)目的控制工作取決于測試結(jié)果或受測試結(jié)果影響時(shí)，需要考慮以下內(nèi)容：?
? 修改質(zhì)量風(fēng)險(xiǎn)分析、測試優(yōu)先級(jí)和／或測試計(jì)劃?
? 增加資源或增加項(xiàng)目或測試工作量
? 推遲發(fā)布日期?
? 放松或加強(qiáng)測試出口準(zhǔn)則?
? 改變項(xiàng)目的范圍（功能或非功能）??
實(shí)施這些內(nèi)容通常需要項(xiàng)目或業(yè)務(wù)干系人之間達(dá)成共識(shí)，并且取得項(xiàng)目或業(yè)務(wù)經(jīng)理的同意。??
測試報(bào)告中發(fā)布的信息應(yīng)該大部分取決于目標(biāo)讀者，如項(xiàng)目管理人員或業(yè)務(wù)管理人員的信息需要。項(xiàng)目經(jīng)理最可能感興趣的是關(guān)于缺陷的詳細(xì)信息，而業(yè)務(wù)經(jīng)理最關(guān)注的可能是產(chǎn)品風(fēng)險(xiǎn)的狀態(tài)。