詳細(xì)說明靜態(tài)分析如何提高嵌入式軟件測試的準(zhǔn)確性

當(dāng)嵌入式開發(fā)人員測試他們的軟件時(shí),多種力量正在發(fā)揮作用。系統(tǒng)的復(fù)雜性越來越大--這是由于對(duì)計(jì)算工作量的要求越來越大、連通性越來越廣泛以及安全性和可靠性的提高--這使得開發(fā)人員更難根據(jù)需求驗(yàn)證代碼。隨著發(fā)布時(shí)間的縮減,測試團(tuán)隊(duì)很難適應(yīng)傳統(tǒng)測試方法更大的復(fù)雜性和規(guī)模。

需要一種新的測試方法,團(tuán)隊(duì)正在尋找數(shù)學(xué)上證明代碼正確性的方法,以顯著提高他們對(duì)應(yīng)用程序的信心。為了理解今天的產(chǎn)品目標(biāo)和傳統(tǒng)測試方法之間的差距,它有助于考慮復(fù)雜性如何影響測試:

· 覆蓋面。 隨著軟件復(fù)雜性的增加,創(chuàng)建涵蓋足夠的代碼基礎(chǔ)(包括函數(shù)、語句、路徑、決策和條件)的測試變得越來越難。

· 比例尺。 無論測試范圍--特性、組件、庫或函數(shù)--單位越多,測試它們所需的時(shí)間和資源就越多。

· 快一點(diǎn)。 傳統(tǒng)的測試開發(fā)和執(zhí)行實(shí)踐無法跟上發(fā)布時(shí)間表,不可避免地迫使測試覆蓋率和時(shí)間之間的權(quán)衡。

這是一個(gè)長期的信念,即接近100%的代碼覆蓋是不可能的,因?yàn)檫@樣的目標(biāo)非常難以實(shí)現(xiàn),運(yùn)行起來也非常昂貴。單元測試、滲透測試、動(dòng)態(tài)分析--所有傳統(tǒng)技術(shù)都需要大量的時(shí)間和資源來執(zhí)行,并導(dǎo)致系統(tǒng)中錯(cuò)誤和漏洞的視圖不完整。

隨著最近軟件技術(shù)和計(jì)算能力的進(jìn)步,這種信念現(xiàn)在已成為一個(gè)被證實(shí)的神話。學(xué)術(shù)界和工業(yè)界的研究人員已經(jīng)開發(fā)出了數(shù)學(xué)上嚴(yán)格的技術(shù),即所謂的正式方法,這些技術(shù)可以達(dá)到100%的代碼覆蓋率,并保證系統(tǒng)的正確性--現(xiàn)在可供企業(yè)準(zhǔn)備平臺(tái)中的安全和安全方面關(guān)鍵的開發(fā)團(tuán)隊(duì)使用。

了解基于正式方法的測試工具

在紙上,正式的方法明確地證明了代碼沒有錯(cuò)誤和安全漏洞等問題。這些方法使用嚴(yán)格指定的數(shù)學(xué)模型,根據(jù)精確定義的規(guī)格驗(yàn)證軟件的特性和行為。換句話說,形式方法可以在代碼中找到所有問題的發(fā)生。

實(shí)際上,基于企業(yè)級(jí)正式方法的測試工具對(duì)任何開發(fā)人員來說都是容易獲得和負(fù)擔(dān)得起的。被稱為詳盡無遺的靜態(tài)分析工具,它們的設(shè)計(jì)和證明是為了將正式方法的力量整合到安全和安全關(guān)鍵開發(fā)團(tuán)隊(duì)的現(xiàn)有驗(yàn)證和驗(yàn)證過程中。

這些工具與傳統(tǒng)的測試和靜態(tài)分析方法相比有幾個(gè)優(yōu)點(diǎn):

· 高達(dá)100%的應(yīng)用程序覆蓋率,包括所有可能的函數(shù)、語句、路徑、決策和條件。

· 高達(dá)100%的輸入覆蓋率,涵蓋測試單元范圍內(nèi)的所有可能值.

· 對(duì)代碼中沒有未定義行為(錯(cuò)誤和漏洞)的數(shù)學(xué)保證,導(dǎo)致部署中的零問題。

· 零假底片,所以開發(fā)人員增加了對(duì)所有問題都被發(fā)現(xiàn)的信心。

· 低到零的錯(cuò)誤肯定,意味著開發(fā)人員花在沒有真正問題的問題上的時(shí)間較少。

· 大大縮短試驗(yàn)時(shí)間,提高資源消耗效率。

圖1說明了這一差異。傳統(tǒng)的測試方法通常是測試用例開發(fā)和算法設(shè)計(jì)的"最大努力"嘗試,受到人力和項(xiàng)目進(jìn)度的限制。這將導(dǎo)致每次運(yùn)行執(zhí)行一個(gè)代碼分支的測試,并限制團(tuán)隊(duì)在給定的測試階段中可以覆蓋多少。在一次測試運(yùn)行中,在形式方法的支持下,對(duì)所有分支進(jìn)行了詳盡的靜態(tài)分析,將覆蓋率提高到100%,并大大縮短了測試時(shí)間。

圖1:傳統(tǒng)測試方法(左)和聲音靜態(tài)分析(右)的代碼路徑比較。被訪問的部分是橙色的;未訪問的部分是黑色的。

充分的靜態(tài)分析可以給開發(fā)人員提供一種強(qiáng)大的管理軟件復(fù)雜性的方法,從而極大地改變他們對(duì)軟件復(fù)雜性的思考方式。

詳盡的靜態(tài)分析

傳統(tǒng)測試方法的一個(gè)局限是它們的狀態(tài)空間覆蓋,即對(duì)數(shù)據(jù)值和輸入、控制和數(shù)據(jù)流以及它們可以覆蓋的輸出路徑的不同組合數(shù)量的固有限制。例如,傳統(tǒng)的測試方法通常測試預(yù)期投入的預(yù)期產(chǎn)出的函數(shù)。一些靜態(tài)分析工具擴(kuò)大了這一范圍,以涵蓋更廣泛的投入和產(chǎn)出。但是由于測試設(shè)計(jì)、實(shí)現(xiàn)和進(jìn)度限制,工具無法測試所有可能的行為。

下面的代碼示例說明了在數(shù)組中增加單元格值的C函數(shù)。

典型的單元測試將根據(jù)函數(shù)的需求進(jìn)行驗(yàn)證,檢查函數(shù)是否增加了輸出數(shù)組中的單元格值,并根據(jù)結(jié)果報(bào)告通過或失敗。這個(gè)測試不一定會(huì)檢查數(shù)組索引(*p)是否由于系統(tǒng)中意外或不希望看到的副作用而導(dǎo)致了對(duì)內(nèi)存的越界訪問--就像在這個(gè)代碼示例中發(fā)生的那樣,因?yàn)楫?dāng)循環(huán)中指定了一個(gè)不適當(dāng)?shù)臈l件。

盡管緩沖區(qū)溢出,傳統(tǒng)的針對(duì)需求的測試將在調(diào)用函數(shù)后驗(yàn)證數(shù)組是{2、4、6、8},并將始終通過,如下控制臺(tái)輸出所示:

除非測試設(shè)計(jì)者考慮到了一個(gè)出界數(shù)組訪問的可能性,否則這種緩沖區(qū)溢出將永遠(yuǎn)不會(huì)被識(shí)別。

這些類型的細(xì)微缺陷可能會(huì)導(dǎo)致內(nèi)存損壞,導(dǎo)致潛在的故障、崩潰或應(yīng)用程序漏洞--傳統(tǒng)測試方法看不到這種缺陷,但可通過詳盡的靜態(tài)分析工具發(fā)現(xiàn),如圖2所示。該工具檢測到在數(shù)組開始后有一個(gè)16字節(jié)的寫入:緩沖區(qū)溢出。

圖2:發(fā)現(xiàn)的屏幕截圖在特魯斯坦軟件詳盡的靜態(tài)分析工具。

這種內(nèi)存損壞可以通過一個(gè)更詳細(xì)的測試案例來揭示,在這個(gè)案例中,出界寫入條件影響變量名稱的值,盡管它不涉及測試的函數(shù),如下表所示:

但是,開發(fā)團(tuán)隊(duì)很少實(shí)現(xiàn)這個(gè)級(jí)別的測試深度,特別是當(dāng)代碼比這個(gè)示例復(fù)雜的時(shí)候。

硬件意識(shí)在靜態(tài)分析中的重要性

更先進(jìn)的詳盡的靜態(tài)分析工具為驗(yàn)證和驗(yàn)證活動(dòng)帶來硬件意識(shí),從而使測試覆蓋更加準(zhǔn)確和高效。硬件意識(shí)的重要性怎么強(qiáng)調(diào)都不為過,因?yàn)榫幾g器實(shí)現(xiàn)、硬件架構(gòu)和內(nèi)存校準(zhǔn)的差異會(huì)導(dǎo)致測試條件和代碼行為的巨大差異。例如:

· 在64位目標(biāo)上,長通常是64位,INT通常是32位。

· 在32位目標(biāo)上,長和INT通常都是32位。

這些硬件差異影響測試條件、輸入和路徑,如本代碼示例所示:

沒有硬件意識(shí),測試或分析方法將無法確定最后一個(gè)語句是否導(dǎo)致整數(shù)溢出(32位目標(biāo))或非整數(shù)溢出(64位目標(biāo))。在某些情況下,測試將執(zhí)行超出硬件支持的條件所必需的運(yùn)行。在其他情況下,測試可能會(huì)忽略潛在溢出?；谟布庾R(shí)的靜態(tài)分析在100%覆蓋率和實(shí)現(xiàn)這一目標(biāo)所需的最小測試用例數(shù)量之間提供了完美的平衡。

另一個(gè)關(guān)鍵的硬件差異是整體性,如本代碼示例所示:

根據(jù)底層硬件的整體性,變量C將被設(shè)置為0xbe(大Endian)或0xff(小Endy)--這是測試執(zhí)行的一個(gè)關(guān)鍵區(qū)別。

這種微妙的差異可能導(dǎo)致災(zāi)難性的結(jié)果。請(qǐng)考慮在上述代碼示例中添加以下語句的情況:

在一個(gè)大的源代碼系統(tǒng)中,這個(gè)語句將導(dǎo)致零條件的劃分,并可能導(dǎo)致應(yīng)用程序崩潰或其他不良行為。在一個(gè)小系統(tǒng)上,這個(gè)語句是有效的。一個(gè)知道這些差異的測試方法會(huì)使結(jié)果更精確.

充分的靜態(tài)分析工具,包括硬件意識(shí),也有這些好處:

· 開發(fā)人員可以運(yùn)行硬件意識(shí)分析,而不需要連接到主機(jī)的物理目標(biāo)。

· 目標(biāo)測試可以在開發(fā)生命周期的早期運(yùn)行,甚至在物理硬件可用之前。

· 開發(fā)團(tuán)隊(duì)可以通過不需要每個(gè)主機(jī)和開發(fā)人員的硬件來提高測試能力和降低成本。

詳盡的靜態(tài)分析的未來

嵌入式開發(fā)團(tuán)隊(duì)優(yōu)先進(jìn)行詳盡無遺的靜態(tài)分析--最高可達(dá)100%的代碼覆蓋率和遠(yuǎn)遠(yuǎn)高于傳統(tǒng)測試的準(zhǔn)確性--將從他們的測試投資中獲得最高價(jià)值?，F(xiàn)在能夠進(jìn)入的開發(fā)人員將更有能力提供更高質(zhì)量的代碼,并隨著時(shí)間的推移提高測試效率。

從長期來看,從這種嚴(yán)格的測試中獲得的結(jié)果和知識(shí)將導(dǎo)致"零問題"的保證。這些原則將在開發(fā)過程的早期帶來更強(qiáng)的可測試性,以支持對(duì)安全和安保至關(guān)重要的產(chǎn)品要求和設(shè)計(jì),并大大降低軟件故障和外地漏洞的可能性。