說到仿真測試大家可能會覺得陌生，不過其原理其實已經(jīng)被廣泛采用。比如某人想要開車從北京去上海，但是不知道需要多長時間，于是他做了這樣的估算：
北京到上海距離s=1200km，開車時速v=120km/h，那么需要的時間為t=s/v=10h;考慮到不是全程高速、中間可能會休息，假設平均時速v’=80km/h會更合理，于是需要的時間為t=s/v’=15h。
通過這個例子，我們可以體會到兩點：
仿真即是通過一組公式模仿真實世界，或者說使用一個數(shù)學模型簡化替代真實世界;
數(shù)學模型的復雜度越高，計算結(jié)果與真實世界越相近，但是建模難度越高、計算速度越慢。
1.2、自動駕駛汽車的仿真測試的不同手段
我們首先考慮真實世界的情況，自動駕駛汽車在開放道路進行測試時，可以用下圖來表示：
自動駕駛車輛主要由傳感器、控制器和執(zhí)行器構(gòu)成(當然這主要是指自動駕駛部分，車身、底盤等傳統(tǒng)車輛部分暫且不提)，駕駛員駕駛車輛在不同的道路、交通和天氣環(huán)境下接受測試。當然高級別的自動駕駛不需要駕駛員，所以圖中用虛線表示。
自動駕駛汽車在真正商業(yè)化應用前，需要經(jīng)歷大量的道路測試才能達到商用要求。采用路測來優(yōu)化自動駕駛算法耗費的時間和成本太高，且開放道路測試仍受到法規(guī)限制，極端交通條件和場景復現(xiàn)困難，測試安全存在隱患。
因此，基于場景庫的仿真測試是解決自動駕駛研發(fā)測試挑戰(zhàn)的主要路線。自動駕駛系統(tǒng)測試不同于傳統(tǒng)的汽車整車或零部件試驗，更多的是參照軟件開發(fā)和測試的模型和流程。V模型是廣泛在軟件開發(fā)和測試中使用流程，V模型要求在開發(fā)團隊進行不同階段的開發(fā)同時，測試團隊編制對應的測試用例，并在開發(fā)階段完成后立即進行測試。這就要求在集成測試、系統(tǒng)測試等暫無完整產(chǎn)品樣件的情況下，就開始進行測試。
在自動駕駛系統(tǒng)的開發(fā)過程中，越早發(fā)現(xiàn)問題則修正問題的成本越低。在開發(fā)的早期，就建立起測試驗證的手段，快速高效的發(fā)現(xiàn)和解決開發(fā)過程中的問題，可以有效減低開發(fā)成本、提高開發(fā)效率。
自動駕駛車輛的自動駕駛部分主要由傳感器、控制器和執(zhí)行器構(gòu)成，駕駛員駕駛車輛在不同的道路、交通和天氣環(huán)境下接受測試。仿真測試就是模擬真實的駕駛環(huán)境進行測試，因此會對照真實世界，搭建模擬場景，也就是仿真測試平臺，一般由交通場景模塊、傳感器模塊、車輛動力學模塊和測試管理模塊構(gòu)成。如下圖所示：
交通場景模塊用于模擬車輛運行的外部世界;傳感器模塊用于模擬車輛上安裝的各種傳感器，從而獲得交通場景的狀態(tài);車輛動力學模塊用于模擬車輛本身對自動駕駛算法控制的響應，特別是對加速、制動和轉(zhuǎn)向的響應。測試管理模塊，負責對以上三個部分組成的仿真測試環(huán)境的管理，保證仿真測試的效果和效率。一方面，對測試流程進行管理，另一方面，對測試數(shù)據(jù)進行管理。
2.自動駕駛仿真測試流程
完整的自動駕駛仿真測試可以分為仿真工具開發(fā)、仿真工具集成、測試場景開發(fā)和仿真測試執(zhí)行等工作。
仿真工具開發(fā)
由于仿真工具開發(fā)難度較大，且模塊的功能有較明顯分隔，目前仿真工具一般由多家公司提供。比如VTD、PreScan是常用的場景和傳感器模仿真軟件，CarSim是常用的車輛動力學仿真軟件，ECU-TEST是常用的測試管理工具。
仿真工具集成
仿真工具集成包含兩個方面的工作：(1)根據(jù)測試需要選擇合適的測試工具并將其集成為完整的仿真測試環(huán)境;(2)將被測算法與仿真測試環(huán)境集成，實現(xiàn)閉環(huán)測試。
測試場景開發(fā)
測試場景開發(fā)工作的一個關(guān)鍵問題是：如何保證仿真測試的場景覆蓋度?這需要針對自動駕駛算法的設計運行域詳細而系統(tǒng)的進行測試場景的設計。充分考慮道路、周圍車輛的位置和運動、傳感器感知局限和自車狀態(tài)等等不同方面的影響。在場景設計完成后，需要在仿真環(huán)境下搭建。
仿真測試執(zhí)行
仿真測試執(zhí)行包含兩個方面的工作：(1)對測試場景庫的維護和針對不同算法或功能合適的測試場景進行運行測試;(2)在測試完成后，整理并提供清晰的測試報告，并提供測試結(jié)果的統(tǒng)計數(shù)據(jù)，為算法團隊的改進提供有效支撐。
3.自動駕駛仿真測試方法
基于模型的設計方法的不同階段，分別采用MIL/SIL/PIL/HIL(MIL，Modelin the Loop：模型在環(huán)測試;SIL，Softwarein the Loop：軟件在環(huán)測試;PIL，Processorin the Loop：處理器在環(huán)測試;HIL，Hardwarein the Loop：硬件在環(huán)測試)等測試方法，有效的對嵌入式代碼進行測試和驗證。如果被測對象僅僅是開發(fā)階段的算法，那只使用MIL/SIL就可以;如果被測對象是要在實車使用的控制器，那可能需要一套HIL設備提前進行測試、提前發(fā)現(xiàn)問題。仿真測試常用的工具有的CarSim、CarMaker、VTD和PreScan等等。
虛擬仿真技術(shù)是汽車研發(fā)、制造、驗證測試等環(huán)節(jié)不可缺少的技術(shù)手段，可以極大縮短技術(shù)和產(chǎn)品的開發(fā)周期，有效降低研發(fā)成本。隨著汽車網(wǎng)聯(lián)化、智能化的加速發(fā)展，虛擬仿真技術(shù)有了更大的發(fā)揮空間，越來越多的數(shù)字化、網(wǎng)聯(lián)化功能得以開發(fā)，自動駕駛系統(tǒng)的仿真測試技術(shù)便是其中之一。
傳統(tǒng)的汽車仿真測試以車輛動力學仿真測試為主，模擬車輛對駕駛員、道路表面信息以及空氣動力學輸入的響應。而現(xiàn)在我們談論的“自動駕駛仿真測試”則將仿真范圍擴大到車輛傳感器所能探測到的周邊一切行駛環(huán)境，包括：道路表面、交通標志牌、紅綠燈、交通參與者及參與者行為、天氣情況和路面光照等各種情況。
總的來說，自動駕駛仿真測試主要是以數(shù)字建模的方式構(gòu)建出與真實世界盡可能一致的車輛行駛場景，讓自動駕駛系統(tǒng)在一系列仿真的場景庫中實現(xiàn)駕駛感知、決策規(guī)劃、控制等算法的閉環(huán)測試驗證
自動駕駛虛擬仿真測試按照開發(fā)流程和測試方式可以分為：模型在環(huán)(MIL)、軟件在環(huán)(SIL)、硬件在環(huán)(HIL)和實車在環(huán)(VIL)/駕駛員在環(huán)(DIL)。
1)模型在環(huán)(Model-in-the-loop，簡稱MIL)
在自動駕駛系統(tǒng)研發(fā)初期，需要對所建立的算法模型進行仿真測試，并根據(jù)測試結(jié)果的反饋不斷優(yōu)化模型設計。在這一階段，不涉及任何實際要素，全部在虛擬的電子世界中進行。
2)軟件在環(huán)(Software-in-the-loop，簡稱SIL)
在完成模型在環(huán)測試后，需要將算法模型轉(zhuǎn)換為代碼。軟件在環(huán)測試就是將生成的代碼和算法模型進行對比測試，以保證輸出結(jié)果的一致性。
3)硬件在環(huán)(Hardware-in-the-loop，簡稱HIL)
硬件在環(huán)階段的測試對象是汽車各零部件的控制器系統(tǒng)，通過將實際的零部件控制器與仿真硬件模擬出的被控對象相連，以高效率、低成本的方式對控制器的功能進行全面的、動態(tài)的測試。
4)實車在環(huán)(Vehicle-in-the-loop，簡稱VIL)
將通過硬件在環(huán)測試的各零部件系統(tǒng)集成到真實車輛中，并通過仿真平臺實時模擬道路、交通場景以及傳感器環(huán)境，讓真實車輛在仿真環(huán)境中完成整車級功能安全測試。近日，軟件所軟件工程中心自動駕駛測試團隊在自動駕駛系統(tǒng)安全性違規(guī)檢測方面取得進展。該研究提出了基于多目標遺傳算法的自動駕駛系統(tǒng)仿真測試方法，能夠有效生成對自動駕駛系統(tǒng)的挑戰(zhàn)場景，暴露自動駕駛系統(tǒng)的安全性缺陷，并支持對自動駕駛系統(tǒng)的連續(xù)、長距離測試，提高仿真測試執(zhí)行效率。
自動駕駛系統(tǒng)是高度復雜的軟硬件系統(tǒng)，其所處的運行環(huán)境高度復雜且多變，會面臨許多無法預見的情況，系統(tǒng)安全性尤為重要。目前的自動駕駛仿真測試方法存在搜索成本高、測試效率低，生成場景挑戰(zhàn)性不足、相似度高等問題，難以對自動駕駛系統(tǒng)進行充分全面的測試。
針對此問題，團隊提出一種基于多目標遺傳算法的自動駕駛仿真測試方法MOSAT，首先基于原子性的駕駛行為(如跟車、變道、加/減速)，構(gòu)建對自動駕駛系統(tǒng)具有強干擾性的復合行為;然后采用多目標遺傳算法，綜合考慮自動駕駛車輛的擾動程度、預計碰撞時間、場景多樣性三個目標，選擇關(guān)鍵度高的測試場景進行變異，生成更多對抗性強、多樣性高的測試場景;最后通過時空持續(xù)的仿真行駛環(huán)境，交替執(zhí)行多個搜索進程，支持對自動駕駛系統(tǒng)的連續(xù)、長距離測試。MOSAT在L4級自動駕駛系統(tǒng)百度Apollo中發(fā)現(xiàn)了11種不同類型的安全違規(guī)行為，較之現(xiàn)有的自動駕駛仿真測試方法，在相同的道路和行駛條件下，多發(fā)現(xiàn)了6種類型的安全違規(guī)行為;場景生成與運行的時間消耗、和發(fā)現(xiàn)的安全性違規(guī)場景的差異度，也顯著優(yōu)于現(xiàn)有的自動駕駛仿真測試方法。
相關(guān)成果以“MOSAT: Finding Safety Violations of Autonomous Driving Systems Using Multi-Objective Genetic Algorithm”為題被軟件工程領域頂級學術(shù)會議ESEC/FSE 2022錄用。該論文第一作者為博士生田浩翔，通訊作者為研究員吳國全、葉丹。該研究獲國家重點研發(fā)計劃、國家自然科學基金等項目支持。
下載文檔
