自動(dòng)化化測(cè)試的局限性

出售軟件時(shí)，沒有什么比軟件本身的質(zhì)量更重要的了。如果您的軟件無法實(shí)現(xiàn)用戶期望的功能，那么您的業(yè)務(wù)將步履維艱。這意味著至關(guān)重要的是，您必須[1]知道用戶希望軟件執(zhí)行的操作，并且[2]知道您的軟件會(huì)執(zhí)行此操作。最近，我一直在根據(jù)健康軟件產(chǎn)品開發(fā)的兩個(gè)基本要求來考慮自動(dòng)化測(cè)試的局限性。

考慮限制之前，讓我們首先考慮的自動(dòng)化測(cè)試怎么??做?幫助我們滿足用戶的期望。在許多方面，您的開發(fā)團(tuán)隊(duì)都是您的第一位也是最重要的用戶。自動(dòng)化測(cè)試使這些“用戶”可以非常清楚地描述他們期望軟件如何運(yùn)行。事實(shí)上，當(dāng)你能描述軟件應(yīng)該如何與這樣的精確度表現(xiàn)，計(jì)算機(jī)可以檢查，就可以檢查，在該軟件的行為描述方式??快速?和??反復(fù)。這些是自動(dòng)化測(cè)試的巨大收益，并且這些收益驅(qū)使商業(yè)軟件行業(yè)在過去的幾十年中認(rèn)真對(duì)待自動(dòng)化測(cè)試。

但是，即使只是簡(jiǎn)單地確認(rèn)軟件的行為符合預(yù)期，自動(dòng)化測(cè)試也有一些限制。由于測(cè)試套件中編碼了期望值，因此存在第一個(gè)限制。在大多數(shù)情況下，實(shí)現(xiàn)該功能的開發(fā)人員就是編寫測(cè)試的人。對(duì)于開發(fā)人員而言，除了構(gòu)建功能時(shí)他所考慮的方案之外，很難考慮其他方案。這意味著甚至可能不考慮可能的邊緣情況，更不用說進(jìn)行測(cè)試了。?

還有一個(gè)現(xiàn)實(shí)：從定義上說，任何具有足夠價(jià)值的軟件都將由他人支付，對(duì)于任何人的頭腦來說，跟蹤它的每個(gè)活動(dòng)部分本質(zhì)上太復(fù)雜了。因此，不可能以自動(dòng)化測(cè)試套件的形式充分表達(dá)這種復(fù)雜性。即使有了強(qiáng)大的自動(dòng)化測(cè)試套件，用戶也將發(fā)現(xiàn)錯(cuò)誤，因?yàn)闆]有開發(fā)團(tuán)隊(duì)可以預(yù)期用戶可能會(huì)遇到的狀態(tài)或條件的每種可能組合。此外，沒有開發(fā)團(tuán)隊(duì)可以預(yù)見用戶對(duì)應(yīng)用程序的無數(shù)（通常是不同的）期望該軟件將并且應(yīng)該運(yùn)行。

在構(gòu)建“單頁應(yīng)用程序”（SPA）時(shí)，這些限制會(huì)更加嚴(yán)重。在傳統(tǒng)的Web應(yīng)用程序中，很大一部分計(jì)算發(fā)生在后端服務(wù)器上。然后將結(jié)果（HTML，CSS和JavaScript形式）返回給用戶并由瀏覽器處理。當(dāng)軟件的核心復(fù)雜性集中在服務(wù)器上時(shí)，可以在高度相似的環(huán)境中（例如，在某些連續(xù)集成服務(wù)器上）測(cè)試該軟件。但是，單頁應(yīng)用程序會(huì)將核心計(jì)算卸載到用戶的瀏覽器中。期望?開發(fā)團(tuán)隊(duì)??以很高的精確度了解其服務(wù)器環(huán)境的詳細(xì)信息，但很難??預(yù)期?您的各種用戶瀏覽器的詳細(xì)信息。他們可以使用多種不同瀏覽器中的一種，在少數(shù)操作系統(tǒng)之一的頂部運(yùn)行幾種瀏覽器引擎中的一種，并以多種可能的方式在多種設(shè)備之一上配置

盡管所有Web軟件都??以??各種可能條件（和其他條件）的某種特定組合運(yùn)行，但是SPA通過在某些特定環(huán)境中計(jì)算?出數(shù)以百萬計(jì)的可能性中的主邏輯而引入的增加的復(fù)雜性??強(qiáng)烈地限制了自動(dòng)化測(cè)試的效率。您的團(tuán)隊(duì)可以在一個(gè)特定環(huán)境中運(yùn)行自動(dòng)化測(cè)試，也可以嘗試在多個(gè)環(huán)境中運(yùn)行測(cè)試。但是，后一種選擇會(huì)線性地增加測(cè)試套件的時(shí)間成本，同時(shí)也會(huì)增加測(cè)試套件的復(fù)雜性，因?yàn)楝F(xiàn)在要求它具有足夠的通用性，可以在您選擇的各種環(huán)境下運(yùn)行。

最終，如果沒有實(shí)際用戶使用您的軟件并確認(rèn)其行為符合預(yù)期，就不可能確認(rèn)您的軟件是否達(dá)到了用戶的期望。當(dāng)然，這就是為用戶提供軟件的方式。您將軟件交給他們，他們可以在他們擁有的任何特定環(huán)境中運(yùn)行該軟件，然后他們要么實(shí)現(xiàn)他們的期望，要么就沒有達(dá)到他們的期望。?

確實(shí)，以最簡(jiǎn)單的形式，錯(cuò)誤只不過是未滿足的期望而已。有時(shí)，開發(fā)該軟件的開發(fā)團(tuán)隊(duì)會(huì)考慮這些期望，但是在某些情況下實(shí)現(xiàn)是錯(cuò)誤的。但是有時(shí)候，開發(fā)團(tuán)隊(duì)從未考慮過這種期望。但是，從客戶的角度來看，沒有區(qū)別。他們期望軟件以一種方式，以一種方式進(jìn)行結(jié)構(gòu)，在某些地方提供某些信息的行為，而實(shí)際上卻沒有。?

開發(fā)團(tuán)隊(duì)通常根據(jù)原始考慮因素來組織此反饋。如果團(tuán)隊(duì)最初希望該軟件以預(yù)期的方式運(yùn)行，則客戶報(bào)告的問題是一個(gè)錯(cuò)誤。如果團(tuán)隊(duì)不希望軟件以預(yù)期的方式運(yùn)行，則客戶報(bào)告的問題是功能請(qǐng)求。但是，在任何一種情況下，開發(fā)人員和產(chǎn)品經(jīng)理都需要相同的核心信息：

當(dāng)然，正如每個(gè)軟件開發(fā)團(tuán)隊(duì)都知道的那樣，用戶根本不會(huì)或無法提供如此清晰的反饋。絕大多數(shù)用戶甚至沒有報(bào)告未滿足的期望，而那些經(jīng)常提供很少細(xì)節(jié)和不專心觀點(diǎn)的用戶。

沒有比真正使用您的軟件的真實(shí)人提供的結(jié)構(gòu)更好的反饋更好的反饋了。而且，沒有比人群測(cè)試更好的方法來收集此反饋。這是因?yàn)閮H向要在真實(shí)環(huán)境中運(yùn)行該軟件的真實(shí)用戶提供軟件是不夠的。這些用戶還必須向您報(bào)告有用的詳細(xì)信息，軟件的行為方式，他們的期望值，原因，地點(diǎn)，條件以及其他條件等。?

自動(dòng)化測(cè)試會(huì)在失敗時(shí)為您的開發(fā)團(tuán)隊(duì)提供有用的詳細(xì)信息，但它們永遠(yuǎn)無法提供期望。您的開發(fā)團(tuán)隊(duì)將不得不將它們自己編碼為測(cè)試。您的真實(shí)用戶總是在真實(shí)環(huán)境中“測(cè)試”您的軟件，但是他們很少向您提供有關(guān)他們的期望，在特定情況下以及軟件行為方式不同的有用的詳細(xì)信息。單靠這些都不是足夠的。