如何通過突變檢測(cè)來提高測(cè)試案例的質(zhì)量

突變測(cè)試會(huì)對(duì)測(cè)試用例的質(zhì)量進(jìn)行評(píng)估。它在更改的測(cè)試對(duì)象上重新執(zhí)行已經(jīng)通過的測(cè)試用例,并顯示測(cè)試用例是否檢測(cè)到測(cè)試對(duì)象中的更改。發(fā)展安全關(guān)鍵系統(tǒng)的標(biāo)準(zhǔn),例如:建議進(jìn)行突變檢測(cè)。在實(shí)踐中,測(cè)試執(zhí)行和突變生成的自動(dòng)化是不可避免的。自動(dòng)突變測(cè)試是新的主版本V4.3中最重要的新功能。TESSY 該工具用于嵌入式軟件的自動(dòng)化單元、模塊和集成測(cè)試。本文展示了如何應(yīng)用突變測(cè)試來提高測(cè)試案例的質(zhì)量;突變測(cè)試引起的問題以及如何克服這些問題。

突變測(cè)試基本原理

突變測(cè)試重復(fù)執(zhí)行測(cè)試對(duì)象已經(jīng)通過的測(cè)試用例,例如軟件單元。但是,當(dāng)測(cè)試用例被重復(fù)時(shí),它們不會(huì)使用測(cè)試對(duì)象的原始源代碼來執(zhí)行,而是使用已經(jīng)更改的代碼("變異")。變異的代碼不同于原始代碼;更改可能涉及較小的細(xì)節(jié),例如替換邏輯和邏輯;然而,更改也可能是激烈的,例如刪除IF指令的其他分支。當(dāng)然,即使在更改之后,測(cè)試對(duì)象也必須保持可編譯性,否則測(cè)試重復(fù)是不可能的。

當(dāng)測(cè)試重復(fù)使用變異的源代碼時(shí),問題是現(xiàn)有的測(cè)試用例是否顯示出突變(技術(shù)術(shù)語是"殺死")。在重復(fù)測(cè)試時(shí),如果至少一個(gè)測(cè)試用例失敗,突變就會(huì)被殺死。如果不發(fā)生這種情況,那么測(cè)試用例不會(huì)檢測(cè)到源代碼已經(jīng)更改,或者換句話說:測(cè)試用例也會(huì)認(rèn)為原來的測(cè)試對(duì)象以外的測(cè)試對(duì)象是正確的。這令人擔(dān)憂,需要進(jìn)一步調(diào)查。對(duì)于這個(gè)研究,如果只做了一個(gè)突變是有幫助的。

如果存活的突變不是一個(gè)等價(jià)的突變,那么測(cè)試案例就缺乏質(zhì)量。對(duì)等的突變不會(huì)改變測(cè)試對(duì)象的外部行為,因此不能被殺死。下面給出了一個(gè)等價(jià)突變的例子。當(dāng)然,這關(guān)系到突變有多激進(jìn)。一個(gè)微妙的突變將比幾個(gè)劇烈的變化更難以察覺。通常會(huì)進(jìn)行幾次不同突變的測(cè)試。它評(píng)估測(cè)試用例的質(zhì)量。

圖1顯示了由TESSY自動(dòng)進(jìn)行的突變測(cè)試過程。在原始源代碼通過所有現(xiàn)有測(cè)試之后,可以啟動(dòng)實(shí)際的突變測(cè)試過程。TESSY完全執(zhí)行一個(gè)突變,重復(fù)所有現(xiàn)有的測(cè)試,當(dāng)然記錄一個(gè)突變是否被殺死。然后恢復(fù)原來的測(cè)試對(duì)象,進(jìn)行另一個(gè)突變。

圖1:TESSY自動(dòng)化整個(gè)突變測(cè)試過程。

圖2顯示了自版本V4.3以來,TESSY能夠?qū)崿F(xiàn)的突變。用戶可以選擇應(yīng)用的突變,因此當(dāng)然也會(huì)影響所進(jìn)行的突變的數(shù)量,這反過來又會(huì)影響整個(gè)突變測(cè)試過程的執(zhí)行時(shí)間。

圖2:TESSYV4.3執(zhí)行的默認(rèn)突變。

突變測(cè)試的兩個(gè)假設(shè)

在默認(rèn)情況下,TESSY執(zhí)行的突變是微妙的,例如關(guān)系操作符"&t;"變成"<=="。這是基于"有能力的程序員"的假設(shè),他說熟練的軟件開發(fā)人員只會(huì)犯一些小的錯(cuò)誤--比如說,使用一個(gè)循環(huán)來運(yùn)行太多或者太少("一個(gè)接一個(gè)"的錯(cuò)誤)。為了找出測(cè)試案例是否發(fā)現(xiàn)了這樣的小錯(cuò)誤,因此質(zhì)量好,突變必須是微妙的。低質(zhì)量的測(cè)試案例也應(yīng)該顯示激進(jìn)的突變,比如去除一個(gè)甚至幾個(gè)指令。另一個(gè)根據(jù)經(jīng)驗(yàn)確認(rèn)的假設(shè)(OOUT)指出,存在耦合效應(yīng):一個(gè)完全殺死一個(gè)突變體的測(cè)試案例也會(huì)殺死多個(gè)突變體。因此,每次只進(jìn)行一次突變就足夠了。

例子

我們考慮一個(gè)測(cè)試對(duì)象,它已經(jīng)通過了四個(gè)測(cè)試用例(圖3),并且在這些測(cè)試用例中實(shí)現(xiàn)了100%的代碼覆蓋。

圖3:通過應(yīng)用于原始測(cè)試對(duì)象的四個(gè)測(cè)試用例的測(cè)試數(shù)據(jù)。

如果TESSY進(jìn)行了突變測(cè)試(對(duì)突變進(jìn)行標(biāo)準(zhǔn)設(shè)置,如圖2所示),結(jié)果是一個(gè)死亡的突變體和一個(gè)幸存的突變體(圖4)。

圖4:TESSY基因突變?cè)囼?yàn)的結(jié)果。

在圖的左上角(圖4),顯示了被殺死的突變("突變引起的測(cè)試失敗")。這個(gè)突變改變了測(cè)試對(duì)象(圖4右上角突出顯示的)的第一個(gè)if指令中的關(guān)系操作符從"<"變?yōu)?<=="。結(jié)果,一個(gè)測(cè)試用例失敗,在突變測(cè)試中呈陽性。因此,這種突變是用綠色的標(biāo)記的。

在圖4的左下角,您可以看到幸存的突變("突變?cè)谒袦y(cè)試案例中幸存下來");這個(gè)突變改變了測(cè)試對(duì)象的第二個(gè)IF指令中的關(guān)系操作符(圖4的右下角突出顯示)從"&ttt;"變?yōu)?&ttt;="。沒有測(cè)試用例通過失敗檢測(cè)到此更改。這一點(diǎn)值得懷疑,需要進(jìn)行調(diào)查。

突變?cè)u(píng)分和測(cè)試用例質(zhì)量

突變得分是所有突變與被殺突變的比率。

圖5:TESSY的突變得分。

上面的圖(圖5)顯示了TESSY為四個(gè)測(cè)試用例確定的突變?cè)u(píng)分(參見圖3前面所示的四個(gè)測(cè)試用例的測(cè)試數(shù)據(jù),編號(hào)為1.1至4.1)。

測(cè)試用例2殺死了兩個(gè)突變體中的一個(gè),因?yàn)闇y(cè)試用例2失敗了,原因是第一個(gè)IF指令(v1&l;r1rrge_開始)從"&l;"<==開始)的突變。這就導(dǎo)致了50%的突變得分。測(cè)試用例2在M欄中標(biāo)記綠色檢查標(biāo)記,因?yàn)樗鼩⑺懒艘粋€(gè)突變體。另外三個(gè)測(cè)試案例沒有殺死任何突變?nèi)?因此有一個(gè)紅十字或突變得分為0%。

測(cè)試案例2殺死了一個(gè)突變體,因此比沒有殺死任何突變體的其他測(cè)試案例質(zhì)量更高。這是因?yàn)闇y(cè)試用例2中變量V1的值。這取決于第一個(gè)if指令中的關(guān)系操作符。在第二個(gè)測(cè)試用例中,變量V1和變量R1范圍_開始都有值5,因此第一個(gè)IF指令中的決定是'5<5',它的值是"假的"。在突變中,這個(gè)決定是"5<=5",它被評(píng)價(jià)為"真實(shí)"。因此,第二個(gè)測(cè)試用例提供了一個(gè)意想不到的結(jié)果("否",而不是正確的和預(yù)期的"是"),它殺死了突變體。

測(cè)試用例4應(yīng)該在第二個(gè)IF-教授的決定中殺死另一個(gè)突變(從"&t;"到">=")。但是這并不起作用,因?yàn)闇y(cè)試用例4中的V1值是不合適的。變量V1的值為9和R1范圍+R1范圍=7。因此,第二個(gè)IF聲明中的決定是在原來的"9&g;7"和突變體"9&g;=7"中作出的,兩者都被評(píng)價(jià)為"真實(shí)"。因此,在兩種情況下,原突變體和突變體都給出了正確的結(jié)果"不";原突變體和突變體都通過了第四個(gè)測(cè)試案例;這意味著突變體沒有被殺死。

測(cè)試用例2比測(cè)試用例4有更好的質(zhì)量,因?yàn)闇y(cè)試用例2使用一個(gè)邊界值,而測(cè)試用例4沒有。測(cè)試用例2使用邊值5,它是從5開始的范圍的起始值,長度為2。用變量V1的值9,測(cè)試用例4不使用范圍的邊界值。

這說明了為什么邊界值是良好的測(cè)試數(shù)據(jù),為什么開發(fā)安全關(guān)鍵軟件的標(biāo)準(zhǔn)推薦邊界值作為測(cè)試數(shù)據(jù)。例如,第3部分表B.2和B.3建議采用"邊界值分析"方法。在這兩個(gè)表格中,此方法被推薦為SL1,高度推薦為SL2至4。在第6部分"邊界值分析"表8中,ISO26262[26262]還提到方法1c是獲取軟件單元測(cè)試測(cè)試數(shù)據(jù)的程序。該方法對(duì)AILA推薦,對(duì)B-D推薦較多。

突變測(cè)試也可以評(píng)估測(cè)試用例集。一組測(cè)試用例如果它能殺死所有的變種人,就叫做足夠的。適當(dāng)?shù)臏y(cè)試用例設(shè)置越小越好.它也可以用來評(píng)估測(cè)試用例的施工方法。

無止境的循環(huán)和崩潰

突變也會(huì)導(dǎo)致無限循環(huán);這意味著一個(gè)測(cè)試不會(huì)結(jié)束。為了確保這樣的突變不會(huì)使整個(gè)過程陷入停頓,特塞監(jiān)控執(zhí)行時(shí)間。如果一個(gè)突變的執(zhí)行時(shí)間超過了執(zhí)行時(shí)間,而沒有一個(gè)突變的次數(shù)增加了10倍,那么tesy將終止測(cè)試執(zhí)行。無限循環(huán)或超時(shí)殺死突變體。突變也會(huì)導(dǎo)致測(cè)試對(duì)象崩潰,例如由于除法為0。突變測(cè)試對(duì)象的撞擊也殺死了突變體。在超時(shí)或崩潰后,如果更多的突變是適用的,則繼續(xù)進(jìn)行突變測(cè)試過程。

圖6:無限循環(huán)殺死突變體。

在上面的示例(圖6)中,用一個(gè)測(cè)試用例測(cè)試計(jì)數(shù)()函數(shù),該測(cè)試用例具有參數(shù)X的輸入值10,并通過返回值1提供正確的結(jié)果。這個(gè)測(cè)試用例殺死了圖6左側(cè)所示的所有四個(gè)突變。第三種突變(從"&l;="到"&t;=")并非像往常一樣被測(cè)試用例的失敗所扼殺,而是被無止境的循環(huán)和它觸發(fā)的超時(shí)所扼殺。TESSY認(rèn)為這種突變是致命的。在此之后,進(jìn)行了第四次突變。

圖7:碰撞殺死了突變體。

在上面的例子(圖7)中,用一個(gè)測(cè)試用例測(cè)試了崩潰_比_除法函數(shù)(),兩個(gè)參數(shù)都在這個(gè)測(cè)試用例中。 A 和 b 有相同的價(jià)值。這個(gè)測(cè)試案例殺死了"!======='======'在-教授的決定中。

等量突變是有問題的

突變測(cè)試的主要問題是等效突變。這些突變不會(huì)改變測(cè)試對(duì)象的外部行為。

圖8:等價(jià)突變的例子。

在上面的圖(圖8)中顯示了一個(gè)等價(jià)的突變。關(guān)系比較運(yùn)算符從"&984;"到"&ttt;="的突變沒有一個(gè)外部可見的效果,因此不能被任何測(cè)試用例殺死。但是輸入值0肯定會(huì)導(dǎo)致原始和變異源代碼的不同內(nèi)部程序行為。在原來的代碼中,執(zhí)行了I-教授的其他分支,突變執(zhí)行了該分支。

由于對(duì)等突變不能通過測(cè)試用例來殺死,所以所有幸存的突變都必須通過手動(dòng)(人類)檢查,以確定它是否是對(duì)等突變。可能很耗時(shí)。然而,在這里,如果像TESSY一樣,一次只產(chǎn)生一個(gè)突變,這是有幫助的。此外,手頭的測(cè)試對(duì)象是軟件單元,與整個(gè)軟件相比,這些單元很小。這減少了檢查對(duì)等突變的努力。除此之外,我們可以假設(shè),進(jìn)行單元測(cè)試的安全關(guān)鍵軟件比其他軟件有更好的測(cè)試用例,因?yàn)檫@種軟件需要達(dá)到較高的代碼覆蓋率。這意味著,只有一小部分(如果有的話)的安全關(guān)鍵軟件不會(huì)被任何測(cè)試用例執(zhí)行。另一方面,沒有像安全關(guān)鍵軟件那樣經(jīng)過如此徹底測(cè)試的軟件可能會(huì)有大量的代碼,而這些代碼并沒有被任何測(cè)試用例執(zhí)行。顯而易見的是,軟件中沒有任何測(cè)試用例執(zhí)行的部分的突變是不能被殺死的。這意味著存活的突變體數(shù)量增加,因此在測(cè)試案例不足和相當(dāng)?shù)耐蛔凅w之間做出了更大的努力。

等值突變可以被看作是殺死的突變;它們并不表示低質(zhì)量的測(cè)試案例。

避免不必要的突變

在安全關(guān)鍵軟件的單元測(cè)試中,一個(gè)幸存的突變(這不是一個(gè)等價(jià)的突變)應(yīng)該導(dǎo)致改變或增加測(cè)試用例。由于軟件需要高度的完整性,最終目標(biāo)是所有應(yīng)用的突變都被扼殺(同樣,不包括對(duì)等的突變)。這可能不是集成測(cè)試的目標(biāo)。集成測(cè)試的主要目的是測(cè)試各單元之間正確的相互作用.因此,集成測(cè)試的測(cè)試用例檢查單元的相互作用,而不是每個(gè)單元對(duì)每個(gè)錯(cuò)誤條件作出正確反應(yīng)(例如:一個(gè)意外的空指針)可能是可能的。

在集成測(cè)試中引發(fā)錯(cuò)誤條件在技術(shù)上可能很困難,因此可能會(huì)被忽略。這是支持的,因?yàn)槲覀兛梢约僭O(shè)在單元測(cè)試期間測(cè)試了對(duì)錯(cuò)誤條件的反應(yīng)。因此,在集成測(cè)試中,達(dá)到100%的代碼覆蓋率并不是最重要的,特別是代碼中代表防御性編程的部分(例如。對(duì)意外的空指針的反應(yīng)可能會(huì)被發(fā)現(xiàn)。顯而易見的是,任何測(cè)試用例都不執(zhí)行的代碼的突變是不能被殺死的。應(yīng)用這種突變會(huì)導(dǎo)致人類為人工研究這種突變而付出的努力,因?yàn)檫@種突變是否能夠幸存下來并不明顯,因?yàn)樗且环N等效的突變,或者因?yàn)闇y(cè)試案例質(zhì)量低。此外,應(yīng)用這種突變?cè)黾恿送蛔儨y(cè)試的執(zhí)行時(shí)間。

如果用于突變測(cè)試的TESSY可以提供代碼覆蓋信息,TESSY可以避免代碼中任何測(cè)試用例都不執(zhí)行的部分的突變。在集成測(cè)試期間,這個(gè)特性特別有用,因?yàn)闈撛诘拇蟛糠治窗l(fā)現(xiàn)的代碼沒有也永遠(yuǎn)不會(huì)被任何測(cè)試用例執(zhí)行。雖然不那么有用,但在單元測(cè)試期間,TESSY也會(huì)抑制未發(fā)現(xiàn)代碼中的突變。

圖9:兩個(gè)突變被抑制,因?yàn)樗鼈儾荒鼙粴⑺馈?

在上圖(圖9)中,對(duì)抽象數(shù)據(jù)類型"棧"的函數(shù)推()和POP()進(jìn)行了集成測(cè)試。圖9的右側(cè)顯示了推()的源代碼。第15行中的第一個(gè)if指令檢查堆棧指針(變量Next_自由項(xiàng))是否已到達(dá)堆棧頂部,表明堆棧溢出。當(dāng)時(shí)的第一個(gè)if指令的一部分是紅色的陰影,表示它沒有被任何測(cè)試用例執(zhí)行。因此,在第二行(在第17行中)的決定中的突變是無法檢測(cè)到的,而且將會(huì)繼續(xù)存在。

利用代碼覆蓋性信息,TISY在第二個(gè)IF指令的決策中抑制了關(guān)系操作符的兩個(gè)突變"&ttt;"(錯(cuò)誤的_報(bào)告;p;0),圖9右側(cè)的陰影是灰色的。在圖9的左側(cè),同樣的決定在灰色和下面的陰影下,顯示了兩種可能的突變(從'&pt;'到'<'和'&t;'到'&t;==')。兩種突變都沒有應(yīng)用。這是"結(jié)果"一欄中的破折號(hào)(`-')所表示的。

如果TESSY在沒有事先的代碼覆蓋度測(cè)量的情況下執(zhí)行突變測(cè)試,TESSY將兩個(gè)突變應(yīng)用于第二個(gè)IF指令的決策。當(dāng)然,他們都沒死。與單元測(cè)試相反,集成測(cè)試可能不需要添加一個(gè)測(cè)試用例來檢查是否正確地處理了錯(cuò)誤條件(在我們的案例中堆棧溢出)。通過避免這些突變,TESSY為人類和計(jì)算機(jī)的計(jì)算節(jié)省了大量時(shí)間。

標(biāo)準(zhǔn)突變測(cè)試

IEC61508將突變測(cè)試描述為"從錯(cuò)誤播種執(zhí)行的測(cè)試案例",并建議將此描述為安全完整性等級(jí)2至4(見第3部分表B.2)。(第7部分C.5.6節(jié))還指出,人們可以從測(cè)試套件在原始測(cè)試對(duì)象中發(fā)現(xiàn)的錯(cuò)誤數(shù)和這個(gè)測(cè)試套件殺死的突變數(shù)(預(yù)測(cè)性)來估計(jì)錯(cuò)誤總數(shù)。被殺突變體與突變體總數(shù)的比率等于在原始測(cè)試對(duì)象中發(fā)現(xiàn)的錯(cuò)誤與原始測(cè)試對(duì)象中錯(cuò)誤總數(shù)的比率。這種估計(jì)自然假設(shè)了相同的突變類型和位置的統(tǒng)計(jì)分布和實(shí)際的錯(cuò)誤;例如,如果實(shí)際的錯(cuò)誤是錯(cuò)誤的計(jì)算,但沒有使用算術(shù)突變,這個(gè)估計(jì)很難準(zhǔn)確.

ISO26262在第6部分表7"故障注入測(cè)試"方法(方法1L)的說明中僅提到"代碼突變",其中列出了軟件單元的驗(yàn)證方法。

結(jié)論

突變?cè)囼?yàn)可以揭示試驗(yàn)案例不足。改進(jìn)它們?cè)黾恿嗽跍y(cè)試軟件中發(fā)現(xiàn)錯(cuò)誤的機(jī)會(huì)。因此,突變測(cè)試不僅可以評(píng)估測(cè)試案例的質(zhì)量,而且還可以有助于改進(jìn)測(cè)試軟件的質(zhì)量。突變測(cè)試的執(zhí)行是在TISY中自動(dòng)化的,因此執(zhí)行不需要任何更大的努力。

然而,即使不需要TESSY,每個(gè)處理測(cè)試項(xiàng)目的人都可以手動(dòng)執(zhí)行一些突變,并重新執(zhí)行測(cè)試,看看測(cè)試用例是否能殺死突變。