增強現(xiàn)實抬頭顯示系統(tǒng)在汽車ADAS中的應用
德國汽車零部件供應商大陸集團(ConTInental)在開發(fā)一款增強現(xiàn)實抬頭顯示系統(tǒng)(AR-HUD),旨在方便地在車輛和駕駛員間提供一種新的對話形式。下面就讓我們來看看它是如何工作的。
該顯示系統(tǒng)對駕駛員看到的現(xiàn)實交通情況予以展延(增強):光學投影裝置精確地將包含了交通狀況信息的圖形圖像投放成外部顯示。這樣,AR-HUD就可以顯著增強車輛的人機界面(HMI)了。
AR-HUD目前已達預生產(chǎn)開發(fā)的后期階段。演示車一方面用來展現(xiàn)其可行性,另一方面,又對后續(xù)開發(fā)提供了寶貴借鑒。大陸集團計劃在2017年完成生產(chǎn)準備。
圖1:增強現(xiàn)實平視顯示系統(tǒng)概述。
AR-HUD:所見即所知
AR-HUD的光學系統(tǒng)使司機能看到駕駛員輔助系統(tǒng)狀況的增強顯示、以及在其直接視域場這些信息的權重。作為人機界面的新部件,眼下的這款預生產(chǎn)的AR-HUD已經(jīng)與駕駛員輔助系統(tǒng)環(huán)境傳感器、以及GPS數(shù)據(jù)、地圖素材和車輛動態(tài)數(shù)據(jù)等緊密整合。
雷達傳感器集成在前保險杠,一個CMOS單通道攝像頭(mono-camera)集成在后視鏡底座。所選的相關先進駕駛輔助系統(tǒng)(ADAS)支持自適應巡航控制系統(tǒng)(ACC)、來自導航系統(tǒng)的道路信息、以及車道偏離警告(LDW)等最初的這些AR-HUD應用。
如果其中一個駕駛員輔助系統(tǒng)檢測到一種相關情況,AR-HUD顯示的虛擬圖形信息,能使駕駛員意識到這一情況。除了直接強化了駕駛安全,這種形式的交互也是自動駕駛的一項關鍵技術。該增強技術使得駕駛員更容易建立起對新的駕駛功能的信任。
在大陸的AR-HUD中,可產(chǎn)生基于不同投影距離的兩個投影面,分別稱為“近端”(或“狀態(tài)”)面和“遠端”(或“增強”)面。“近端”狀態(tài)面投射顯示在司機前方發(fā)動機罩的前部位置,它向司機有選擇地顯示狀態(tài)信息,例如:當前車速、需遵守的諸如禁止超車區(qū)等距離限制和限速、或自適應巡航控制系統(tǒng)(ACC)的當前設置等信息。司機只需降低約6°視角,就可看到這些信息。狀態(tài)信息的視場大小為5°&TImes;1°(相當于210mm&TImes;42mm),投影距離為2.4m。
圖2:投影光路原理圖。
其相當于“傳統(tǒng)”平視顯示器的虛擬圖像,基于反射鏡光學和圖像生成單元(PGU)。PGU由薄膜晶體管(TFT)顯示器構成,其內容使用LED背光。PGU采用緊湊設計被集成進AR-HUD模塊的上部。鏡頭光學對顯示內容進行放大以實現(xiàn)虛擬呈現(xiàn),它是由曲面鏡實現(xiàn)的。大陸集團在AR-HUD內采用精心打造的光學設計實現(xiàn)由不同投影距離生成的兩個畫面。在此,這兩個光路在內部稍微重疊。近端面光路只使用大的AR-HUD鏡(大的非球面鏡)的上部邊緣區(qū),沒有另外的“折疊鏡”。AR-HUD系統(tǒng)的這一部分類似于大陸集團集成在現(xiàn)產(chǎn)汽車的第二代HUD所用的先進技術。
借助電影技術的車輛增強現(xiàn)實顯示技術
而增強面自然在AR-HUD內扮演著主角。它將增強了的顯示符號直接投射在駕駛員前方7.5米處的道路上,內容會基于當前的交通狀況進行調適。該遠端面顯示的內容是由大陸集團首次在IAA 2013展出的一款新的圖像生成單元生成的。圖形元素是由數(shù)字微鏡器件(DMD)以與數(shù)字電影放映機相同的方式生成的。PGU的核心是由幾十萬微鏡矩陣構成的光學半導體結構,每一微鏡都可單獨由靜電場偏置。
該微鏡矩陣由三色LED(紅、綠、藍)按時間順序快速、連續(xù)、交替點亮。通過帶濾色功能(“分色鏡”)的偏置鏡,產(chǎn)生平行方向的三色光視覺瞄準(collimaTIon)。根據(jù)顏色的不同,這些特殊的微鏡或允許光線通過或反射光線。處理這三種顏色的所有微鏡被當前點亮的顏色所同步偏置,所以它們通過鏡頭反射了入射光,并在光路后面的聚焦屏上將這種顏色呈現(xiàn)為獨立象素。對所有三種顏色來說,這是同時發(fā)生的。人眼在聚焦屏幕上對這三種彩色畫面進行“調和”,并得到全彩畫面的主觀視覺。
從聚焦屏的前面看下去,其后的光路相應于一款常規(guī)抬頭顯示器,其中:經(jīng)由聚焦屏、使用第一個鏡頭(折疊鏡)將圖像反射到第二個更大的鏡頭(AR-HUD鏡)的。再經(jīng)由AR-HUD鏡,圖像被反射到前方屏幕。用于該增強功能的光學系統(tǒng)的射光面約為一張A4紙大小;也即,在增強級,視域相當于10°×4.8°,換算成可直接觀看的增強視域約為:130cm(寬)×63cm(高)。司機只需稍微將其視線下調2.4°,就可看到該顯示面信息。近端和遠端這兩種圖像產(chǎn)生單元可根據(jù)環(huán)境光亮度產(chǎn)生不同亮度的顯示,亮度可達超過10,000坎德拉/平米。因此,幾乎在所有環(huán)境光條件下,都可容易地看清顯示信息。
大陸在測試車輛上的AR-HUD所采用的、在不同投影距離生成兩個畫面的系統(tǒng)方法具有顯著優(yōu)勢。在大多數(shù)交通條件下,可同時在遠端和近端面呈現(xiàn)內容。這就允許將所有相關的駕駛和狀態(tài)信息顯示在司機可直接觀看的視域。
AR-Creator的數(shù)據(jù)融合和圖形生成
眾多的模擬和大陸集團的真人測試(subject tests)表明:當對從車前約18到20米開始、并接續(xù)到大約100m的這段道路實現(xiàn)增強時,駕駛員感覺最爽,當然這還與路況相關。AR-Creator控制單元必須評估若干傳感器數(shù)據(jù)流以將圖形元素投放在聚焦屏的確切位置,再經(jīng)由聚焦屏,這些圖形被精確地反射進司機的AR-HUD視域。這需要大量運算。
AR-Creator將三個來源的數(shù)據(jù)進行融合。單通道攝像頭提供道路布局的幾何形狀。還將“羊角曲線(Euler spirals)”或車輛前方車道曲率如何變化的數(shù)學描述考慮在內?;诶走_傳感器數(shù)據(jù)和對相機數(shù)據(jù)的解釋這兩個因素綜合判斷車輛前方可檢測目標的大小、位置和距離。最后,大陸集團的eHorizon提供地圖框架,在該框架內讀取感知的現(xiàn)場數(shù)據(jù)。演示車所用的這款eHorizon是靜態(tài)的,僅使用導航數(shù)據(jù)資料。大陸集團已經(jīng)著手生產(chǎn)后續(xù)的聯(lián)網(wǎng)和高度動態(tài)的eHorizon產(chǎn)品,將支持擬用于在AR-HUD上顯示的多種(即來自車到車、交通控制中心等的)數(shù)據(jù)源。整合了車輛動態(tài)信息、攝像頭和GPS數(shù)據(jù)后,可在數(shù)字地圖上顯示車輛的位置。
AR-Creator還利用合并的數(shù)據(jù)來計算:從駕駛員的位置,觀察前面道路的幾何布局會是怎樣一種情況。因為已知駕駛者的眼位置,所以這是可能的。在開始駕車前,駕駛員要在演示車輛設置“眼睛盒(eye box)”的正確位置。該過程可由批量生產(chǎn)(series production)的內部相機自動完成。該攝像頭可檢測駕駛員眼睛的位置,并可以跟蹤眼睛盒的位置。術語“眼睛盒”表示一種矩形區(qū)域,其高度和寬度相當于理論上的“視窗”。當通過該視窗查看道路時,駕駛員只會看到完整的AR-HUD畫面。車內乘客看不到HUD和AR-HUD顯示的內容。
基于可調節(jié)眼鏡盒的位置,AR-生成器“知道”駕駛員的眼睛所在,以及駕駛員在從哪個角度查看道路和周圍環(huán)境。如果輔助系統(tǒng)報告一個相關觀察,相應的虛擬信息就會出現(xiàn)在AR-HUD的正確點上。
少即是多
大陸集團為設計虛擬信息進行了大量研發(fā)工作。經(jīng)過多次設計研究和真人測試,大陸集團研發(fā)AR-HUD時,遵循“少即是多”這一宗旨。開發(fā)人員希望僅將最少的必要信息呈現(xiàn)給駕駛員,以避免遮礙真實路況觀察。
例如,作為導航輔助工具,可選擇是否將角箭頭“平放”在道路上。在轉向時,角箭頭可以直立起來并指向擬轉的方向,它們看起來像個方向標志。這種設計使得能以窄曲線給出虛擬信息,盡管在這種情況下,由于缺乏透視視覺范圍,真正的增強不可能。
對于壓越車道的行為予以謹慎警告。若駕駛員很可能是無意壓越車道,演示車輛的AR-HUD僅對車道邊界進行高亮警示。
以后,若eHorizon事先收到事故信息,具有相應高注意值的危險符號會充分提前地出現(xiàn)在駕駛員的視野內。一旦安裝了這種新的與駕駛員的交互形式,HMI就有很多選擇主動向駕駛員提供具有場景內容的前瞻性信息。車輛和駕駛員就會開始“交談”,即便這是場無言的交流。