嵌入式系統(tǒng)的系統(tǒng)測試和可靠性評估

摘要：引入多種嵌入式系統(tǒng)系統(tǒng)測試方法;根據(jù)ISO 9000國際質(zhì)量標(biāo)準(zhǔn)，提出一種切實(shí)可行的可靠性評估方案，并使它們應(yīng)用于嵌入式產(chǎn)品測試中，測試效果良好。最后，通過兩個測試實(shí)例說明嵌入式系統(tǒng)的系統(tǒng)測試過程和分析。 關(guān)鍵詞：嵌入式系統(tǒng) 系統(tǒng)測試 測試方法 可靠性評估 引言 隨著嵌入式系統(tǒng)硬件體系結(jié)構(gòu)的變化，嵌入式系統(tǒng)的發(fā)展趨勢向嵌入式系統(tǒng)高端，即嵌入式軟件系統(tǒng)轉(zhuǎn)移，具體體現(xiàn)在嵌入式操作系統(tǒng)趨于多樣和應(yīng)用軟件日漸復(fù)雜。由于嵌入式系統(tǒng)軟硬件功能界限模糊，研究如何進(jìn)行系統(tǒng)測試和進(jìn)行質(zhì)量評估來保證嵌入式系統(tǒng)的產(chǎn)品質(zhì)量具有重要意義。 首先，這里明確嵌入式系統(tǒng)的系統(tǒng)測試定義，是將開發(fā)的軟件系統(tǒng)(包括嵌入式操作系統(tǒng)和嵌入式應(yīng)用軟件)、硬件系統(tǒng)和其它相關(guān)因素(如人員的操作、數(shù)據(jù)的獲取等)綜合起來，對整個產(chǎn)品進(jìn)行的全面測試。嵌入式系統(tǒng)的系統(tǒng)測試比PC系統(tǒng)軟件測試要困難得多，主要體現(xiàn)如下： ①測試軟件功能依賴不需編碼的硬件功能，快速定位軟硬件錯誤困難; ②強(qiáng)壯性測試、可知性測試很難編碼實(shí)現(xiàn); ③交叉測試平臺的測試用例、測試結(jié)果上載困難; ④基于消息系統(tǒng)測試的復(fù)雜性，包括線程、任務(wù)、子系統(tǒng)之間的交互，并發(fā)、容錯和對時間的要求; ⑤性能測試、確定性能瓶頸困難; ⑥實(shí)施測試自動化技術(shù)困難。 1 測試方法 根據(jù)Goodenough和Gerhart提出的軟件測試充分性準(zhǔn)則可知，軟件測試具有非復(fù)合性的特點(diǎn)，也就是說，即使以軟件所有成分都進(jìn)行了充分的測試，也并不意味著整個軟件的測試已經(jīng)充分。所以，即使通過了需求測試、設(shè)計測試、編碼測試，并不意味著已經(jīng)完全了充分的測試，還要進(jìn)行軟硬件全面測試，即系統(tǒng)測試。正確的系統(tǒng)測試方法能設(shè)計出良好的測試事例，而良好的測試事例是測試成功的關(guān)鍵。測試事例質(zhì)量特性主要有以下幾點(diǎn)。 *檢驗(yàn)性：檢測軟件缺陷的有效性，是否能發(fā)現(xiàn)缺陷或至少可能發(fā)現(xiàn)缺陷。 *可仿效性：可以支持測試多項(xiàng)內(nèi)容，減少測試事例的數(shù)量。 *開銷：測試事例的執(zhí)行、分析和調(diào)試是否經(jīng)濟(jì)。 *修改性：每次軟件修改后對測試事例的維護(hù)成本。 測試方法不僅要保證測試事例具有發(fā)現(xiàn)缺陷的高可移植性，而且還要保證測試事例設(shè)計的經(jīng)濟(jì)有效。因此，在實(shí)際測試工作中，將嵌入式系統(tǒng)的測試方法分類如下：根據(jù)測試是否動態(tài)運(yùn)行被測程序分為靜態(tài)測試方法和動態(tài)測試方法;根據(jù)測試階段分為需求測試方法、設(shè)計測試方法、編碼測試(單元測試、集成測試)方法及系統(tǒng)測試方法;根據(jù)測試目的分為功能測試、性能測試、可靠性測試(容錯性、可恢復(fù)性、成熟度測試*及信息安全保護(hù)等測試。參看表1嵌入式軟件測試方法對照。其中“√”代表相關(guān)性。所有這些方法的具體定義這里不一一介紹。由于不同的嵌入式系統(tǒng)面向的應(yīng)用不同，測試方法的側(cè)重也很不相同。本文后面將對一個具體的便攜式信息處理嵌入式系統(tǒng)(PDA、便攜式翰林電子書)的系統(tǒng)測試方法詳細(xì)說明。 表1 嵌入式軟件測試方法及階段對照表 測試方法分類 需求測試設(shè)計測試編碼測試系統(tǒng)測試 靜態(tài)測試方式;基本思想 Yourdon的結(jié)構(gòu)化走通結(jié)構(gòu)化審閱 √ √ 　 √ Fagan檢查測試檢查并評估 √ √ 　 √ 動態(tài)測試方法;基本思想 控制流測試語句測試　 √ √ 　 路徑測試　　 √ 　 條件測試　　 √ 　 數(shù)據(jù)流測試數(shù)據(jù)定義引用　　 √ √ 分域測試劃分子域測試 √ √ 　 √ 功能測試劃分功能測試　　 √ √ 隨機(jī)測試不限定范圍　　　 √ 2 可靠性評估 可靠性是嵌入式系統(tǒng)最重要的質(zhì)量指標(biāo)。ISO9000國示質(zhì)量標(biāo)準(zhǔn)(ISO/IEC 9126-1991)規(guī)定，軟件產(chǎn)品的可靠性含義是：在規(guī)定的一段時間和條件下，軟件能維持其性能水平的能力有關(guān)的一組屬性，可用成熟性、容錯性、易恢復(fù)性三個基本子特性來度量。根據(jù)我們在評估嵌入式系統(tǒng)中的成功經(jīng)驗(yàn)，一般采取以下簡單有效的評估方法(可以采用百分制或十分制)。 (1)成熟性度量 ①錯誤發(fā)現(xiàn)率DDP(Defect Detection Percentage)。在測試中查找出來的錯誤越多，實(shí)際應(yīng)用中出錯的機(jī)會就越小，軟件也就越成熟。 DDP=測試發(fā)現(xiàn)的錯誤數(shù)量/已知的全部錯誤數(shù)量 已知的全部錯誤數(shù)量是測試已發(fā)現(xiàn)的錯誤數(shù)量加上可能會發(fā)現(xiàn)的錯誤數(shù)量之和。 ②測試覆蓋率度量。測試的覆蓋率，可以用測試項(xiàng)目的數(shù)量和內(nèi)容進(jìn)行度量。除此之外，如果測試軟件的數(shù)量較大，還要考慮數(shù)據(jù)量。測試的覆蓋率，可以根據(jù)表2 所示在測試指標(biāo)進(jìn)行評價。通過檢查這些指標(biāo)達(dá)到的程度，就可以度量出測試內(nèi)容的覆蓋程度。 表2 測試覆蓋程度表 測試覆蓋項(xiàng)測試覆蓋率指標(biāo)測試描述測試結(jié)果 界面覆蓋符合需求(所有界面圖標(biāo)、信息區(qū)、狀態(tài)區(qū))　 靜態(tài)功能覆蓋功能滿足需求　 動態(tài)功能覆蓋所有功能的轉(zhuǎn)換功能正確　 正常測試覆蓋所有硬件軟件正常時處理　 異常測試覆蓋硬件或軟件異常時處理(不允許的操作)測試結(jié)束判斷表3 可信度測試表 測試功能甲乙丙丁平均最大值-最小值 功能1 　　　　　　 功能2 　　　　　　 功能3 　　　　　　 功能4 　　　　　　 功能5 　　　　　　注意，對于最大值與最小值的差值超過5的情況，應(yīng)該重新測試響應(yīng)功能。 (2)容錯性評估 容錯性評估分為控制容錯性評估、數(shù)據(jù)容錯性評估、硬件故障恢復(fù)容錯性評估： 容錯性=以下各條款評分之和%26;#247;條款數(shù) 控制容錯性度量 ①對并發(fā)處理的控制能力; ②錯誤的可修正性和處理可繼續(xù)進(jìn)行能力。 數(shù)據(jù)容錯性度量 ①非法輸入數(shù)據(jù)的容錯; ②對相互沖突的要求和非法組合容錯; ③輸出數(shù)據(jù)是否合理容錯。 硬件故障中恢復(fù)容錯性度量 故障后恢復(fù)能力容錯。 (3)易恢復(fù)性度量 與易恢復(fù)性緊密相關(guān)的測試是強(qiáng)度測試和健壯測試。強(qiáng)度測試又稱為力度測或極限測試，主要測試系統(tǒng)對空間強(qiáng)度和時間強(qiáng)度的容忍極限;健壯測試又稱異常測試，是很重要的可靠性測試項(xiàng)目。通過易恢復(fù)性測試，一方面使系統(tǒng)具有異常情況的抵抗能力，另一方面使系統(tǒng)測試質(zhì)量可控制。 易恢復(fù)性=以下各條款評分之和%26;#247;條款數(shù) ①空間強(qiáng)度可恢復(fù); ②時間強(qiáng)度可恢復(fù); ③數(shù)據(jù)強(qiáng)度可恢復(fù); ④異常通信可恢復(fù); ⑤數(shù)據(jù)破壞可恢復(fù); ⑥電池極限可恢復(fù)。 (4)測試可信度評估 測試可信度是對測試質(zhì)量的有效評估，是保證質(zhì)量的必要步驟。目前雖然很難有量化的指標(biāo)，但我們采取積分的方式顯示可信度。例如，請4個人員(甲、乙、丙、丁)對系統(tǒng)5個功能打一個從0(不信任)到10(完全信任)之間的分?jǐn)?shù)，那么，可信度度量可以用表3進(jìn)行計算。 3 測試實(shí)例 (1)電流測試 電流測試是嵌入式系統(tǒng)的系統(tǒng)測試中首先要進(jìn)行的重要測試，也是最容易被忽視的測試。主要是測試系統(tǒng)的工作電流、待機(jī)電流。人們一般把它當(dāng)成與系統(tǒng)測試無關(guān)的硬件測試。但是對于嵌入式系統(tǒng)，軟件與硬件不可能清晰地劃分，硬件的性能直接影響軟件的運(yùn)行。實(shí)例1說明了電流測試對系統(tǒng)運(yùn)行的影響及不可替代的作用。 測試現(xiàn)象描述：進(jìn)行同一廠商PDA系統(tǒng)測試，有幾臺PDA在名片子系統(tǒng)、行程子程序的操作過程中隨機(jī)死機(jī)。 我們當(dāng)時的錯誤分析定位是：①懷疑操作系統(tǒng)中斷處理錯誤;②懷疑內(nèi)存泄漏，堆棧溢出;③懷疑應(yīng)用程序錯誤。 在軟件開發(fā)人員為解決這個問題檢查軟件時，硬件開發(fā)人員提出應(yīng)首先測試一下這幾臺機(jī)器的工作電流。結(jié)果發(fā)現(xiàn)，PDA的工作電流低于正常工作電流。加電容調(diào)整后隨機(jī)死機(jī)問題消失。 由此例還可以看出，嵌入式系統(tǒng)測試的軟硬件測試不可分性。絕對的將硬件測試和軟件測試區(qū)分開來的測試思想是不正確的。我們在系統(tǒng)測試時的電流測試設(shè)計如表 4。 表4 電流測試 測試電流項(xiàng)目測試結(jié)果(不同的產(chǎn)品對電流要求不同)備 注 預(yù)期值實(shí)測值 待機(jī)電流/mA 　　關(guān)機(jī)后電流測試 啟動電流/mA 　　開機(jī)瞬間電流測試 工作電流/mA 　　正常工作電流測試(2)兼容性測試 考慮到嵌放式系統(tǒng)軟硬件的開發(fā)成本高于通用PC系統(tǒng)，因此，提高軟件對硬件的兼容及軟件升級版本的兼容性極為重要。表5是便攜林翰林電子書升級版本兼容性測試實(shí)例。 表5 兼容性測試 兼容性測試分類 硬件兼容性操作系統(tǒng)兼容性應(yīng)用軟件兼容性 PC制書軟件兼容性 BIOS兼容測試　　　　 BIOSV1.0 　　　　 BIOSV2.0 　　　　 操作系統(tǒng)兼容測試　　　　 VOLF V.1.0 　　　　 VOLF V.2.0 　　　　 應(yīng)用軟件兼容測試　　　　 READER V.1.0 　　　　 READER V.2.0 　　　　 PC制書軟件兼容測試　　　　 PCREADRE V1. 　　　　 PCREADER V2. 　　　　實(shí)例2：現(xiàn)在的嵌入式系統(tǒng)的層次結(jié)構(gòu)一般分為硬件層、BIOS層、操作系統(tǒng)層、應(yīng)用系統(tǒng)層。有的還需要通用PC應(yīng)用軟件支持。因此，嵌入式系統(tǒng)的兼容性測試要考慮硬件兼容性、BIOS兼容性、操作系統(tǒng)兼容性，還需考慮與相應(yīng)PC應(yīng)用軟件的兼容性。 結(jié)語 本文的測試方法和評估方法在具體的嵌入式系統(tǒng)測試中，獲得很好的效果。這是一項(xiàng)很有意義的工作，不僅要求嵌入式系統(tǒng)的測試人員具有很全面的軟硬件知識，還需結(jié)合測試?yán)碚?、統(tǒng)計方法，面對不同的系統(tǒng)進(jìn)行測試方法、工具、過程評價及質(zhì)量評估。隨著嵌入式系統(tǒng)的多樣性和復(fù)雜性發(fā)展，嵌入式系統(tǒng)的系統(tǒng)測試研究將繼續(xù)深入。