ADAS單目/雙目/三目到底有什么區(qū)別?
三目攝像頭在自動駕駛領(lǐng)域是一個(gè)什么樣的存在?快與小編一起來研究一下吧。
攝像頭的智能化
攝像頭在日常生活中非常常見,一般用來完成拍照、攝像這些基本的功能。但自動駕駛以及人工智能的到來,使得人們有了從攝像頭中,獲取更為智慧的結(jié)果的需求,即通過攝像頭的視野,分析感知環(huán)境的變化,做出判斷,將結(jié)果反饋到終端或者云端的處理器當(dāng)中,服務(wù)于更豐富的應(yīng)用。
自動駕駛作為最先嘗鮮的應(yīng)用領(lǐng)域之一,攝像頭很早就進(jìn)入了科研專家的考察范圍。業(yè)內(nèi)研究最早同時(shí)實(shí)力最強(qiáng)的,是Mobileye。這家誕生于以色列的單目視覺公司,有著在汽車高級輔助駕駛系統(tǒng)領(lǐng)域12年的研發(fā)經(jīng)驗(yàn),提供芯片搭載系統(tǒng)和計(jì)算機(jī)視覺算法運(yùn)行 DAS 客戶端功能。
公司的產(chǎn)品可實(shí)現(xiàn)車道偏離警告 (LDW)、基于雷達(dá)視覺融合的車輛探測、前部碰撞警告 (FCW)、車距監(jiān)測 (HMW)、行人探測、智能前燈控制 (IHC)、交通標(biāo)志識別 (TSR)、僅視覺自適應(yīng)巡航控制 (ACC) 等功能,產(chǎn)品占據(jù)全球市場超過70%的份額。
之所以要花這么大的篇幅去介紹Mobileye,是因?yàn)樗麄兪菢I(yè)內(nèi)單目攝像頭解決方案的絕對領(lǐng)導(dǎo)者。
對,沒有之一,也沒有任何含混不清,他們就是NO.1。這也是為什么芯片巨頭英特爾愿意花153億美金買下這家在從前名不見經(jīng)傳的小公司的原因。
以上的表述中,眼尖的人一定主要到了一個(gè)詞:單目攝像頭。那么什么是單目攝像頭呢?文章開頭提到的三目攝像頭又是什么鬼?有沒有雙目的呢?接下來,我將帶大家一一解開這一困擾我一個(gè)多月的問題。
單目攝像頭
目前應(yīng)用于自動駕駛的路況判斷,多以單目攝像頭方案為主。也就是業(yè)界鼻祖Mobileye的看家本領(lǐng)。
但單目攝像頭有一個(gè)問題是,在測距的范圍和距離方面,有一個(gè)不可調(diào)和的矛盾,即攝像頭的視角越寬,所能探測到精準(zhǔn)距離的長度越短,視角越窄,探測到的距離越長。這類似于人眼看世界,看的越遠(yuǎn)的時(shí)候,所能覆蓋的范圍就窄,看的近的時(shí)候,則覆蓋的范圍就廣一些。
人眼是雙目的,在性能上要遠(yuǎn)優(yōu)于人造產(chǎn)品,但在觀察周遭環(huán)境的時(shí)候,也依然會遇到覆蓋不全的問題。通俗點(diǎn)來講,眼觀六路,耳聞八方常常用來形容一個(gè)人機(jī)敏,能快速感知周圍的環(huán)境狀況。我們將這樣的人視為聰慧的人,一般人很難達(dá)到這樣的水平。但一雙眼睛,怎能達(dá)到眼觀六路?
這不過是漢字語言的一種比喻的說法,并不能當(dāng)真。因此,即使是如人一般昂貴精妙的雙眼,也在實(shí)際的使用環(huán)境中,有力所不能及的時(shí)候。
車載攝像頭是定焦的,它無法像人眼一樣快速變焦。不同的焦距可以滿足不同的范圍。
目前的ADAS(高級輔助駕駛)所要求的是40米-120米的范圍,未來將會達(dá)到200米甚至以上。Mobileye現(xiàn)在的技術(shù)水平,所能達(dá)到的也是120米范圍以內(nèi),但從下一代EyeQ4、EyeQ5開始,Mobileye將會達(dá)到150-200米的視距。
那么如何用一個(gè)定焦鏡頭解決不同距離的觀察,就成為了困惑行業(yè)的難題。也因此,業(yè)內(nèi)產(chǎn)生了雙目甚至多目的方案,用來解決不同距離下攝像頭看清、看準(zhǔn)的問題。
多目攝像頭
不同焦距的攝像頭,與成像的清晰度是直接掛鉤的。車載攝像頭一般是固定焦距的,目前車載攝像頭每秒處理的圖像在20幀左右,每秒處理的數(shù)據(jù)量巨大。
一方面車載攝像頭從技術(shù)上是很難達(dá)到頻繁變焦的,另一方面單個(gè)攝像頭頻繁變焦根本無法應(yīng)對秒級的巨量數(shù)據(jù)接收處理。
這也是為什么Mobileye前兩年開始多目研究的原因。多目攝像頭,可以通過不同的攝像頭來覆蓋不同范圍的場景,既解決了攝像頭無法來回切換焦距的問題,也可以一次性解決不同距離下識別清晰度的問題。
比如說廣角鏡頭用來看近處的環(huán)境,80度的覆蓋30米左右的環(huán)境,60度覆蓋中遠(yuǎn)距離,40度負(fù)責(zé)遠(yuǎn)距離觀察。不同的攝像頭負(fù)責(zé)觀察不同距離、角度范圍的場景,各司其職,互不干擾。
但多目攝像頭目前也并不是完美的解決方案,它會生出另外的一些難解問題。
比如,第一,在汽車上如何放置的問題。汽車擋風(fēng)玻璃處通常是各種配件聚集的地方,這里本身需要安裝雨量傳感器,以及有可能額外添加的激光雷達(dá)、行車記錄儀,攝像頭等等。這個(gè)地方本身已經(jīng)擁擠不堪,留給多余設(shè)備的空間并不大。
而多目攝像頭本身又有一些要求,比如攝像頭之間的距離要在10-20cm左右,這就更加劇了擋風(fēng)玻璃處的擁擠。
第二,多目攝像頭的成本會翻倍,只從簡單的硬件上就是單目的N倍,而且算法上的復(fù)雜度和成本也時(shí)成倍增加。多路圖像數(shù)據(jù)的處理比單路數(shù)據(jù)處理的難度要大,這對處理芯片的要求以及硬件的可靠性要求增高。
因此,多目攝像頭的出現(xiàn),既解決了一些現(xiàn)有問題,也衍生出了各種各樣其它的問題。
雙目攝像頭
業(yè)內(nèi)很多新興的初創(chuàng)公司,為了避開與Mobileye的正面競爭,選擇從雙目切入。但雙目也存在兩個(gè)關(guān)鍵的問題。第一是成本問題,第二是安裝位的問題。
第一個(gè)問題是,雙目的方案,兩個(gè)鏡頭理論上要一模一樣,因?yàn)橐坏┐嬖诓町?,會使得測量的準(zhǔn)確性大打折扣。業(yè)內(nèi)也會稱之為立體攝像頭。
但一個(gè)攝像頭是由6個(gè)光學(xué)的鏡片和一些傳感器組成,而玻璃鏡片的生產(chǎn)制造是打磨出來的,并不是壓制而成的。這就從根本上產(chǎn)生了鏡片生產(chǎn)存在差異性的問題。
所謂的單反攝像機(jī),最昂貴的莫屬一個(gè)個(gè)動輒數(shù)萬的鏡頭,原因就在這里。大家都聽過卡爾蔡司鏡頭吧,這個(gè)公司已經(jīng)有超過100年的歷史,他們的鏡頭在業(yè)內(nèi)可謂鼎鼎大名。
曾經(jīng)手機(jī)界的扛把子諾基亞,在自己的手機(jī)中使用的就是這家公司的鏡頭。不客氣的講,當(dāng)時(shí)同檔次的諾基亞旗艦機(jī)N95的成像質(zhì)量,真真是甩了iPhone一座珠港澳大橋的距離。
攝像機(jī)鏡頭一般都有些參數(shù),比如畸變度,對焦度,隨著準(zhǔn)確度的上升,誤差范圍的收窄,成本也是扶搖直上的,業(yè)內(nèi)一般使用的鏡頭誤差在5%的范圍內(nèi)。一般,單目攝像頭的誤差可通過后期算法的調(diào)教,進(jìn)行有效的處理。[!--empirenews.page--]
但雙目攝像頭,由于本身測距的原理,導(dǎo)致會要求兩個(gè)鏡頭之間的誤差越小越好。如果兩個(gè)鏡頭各自都有5%左右的誤差,那么對于后期調(diào)教的算法,難度就會加大許多,而且還不能保證確定性。
而如果要將兩個(gè)攝像頭的誤差縮減到1%左右,達(dá)到使用的要求,那么攝像頭的成本就會高不可攀。同時(shí)無論鏡頭生產(chǎn)商還是采購方,都需要面對產(chǎn)品不良率的問題。
雙目攝像頭同時(shí)也存在擺放位置的問題。兩個(gè)鏡頭之間的距離是10-20cm之間,這個(gè)距離需要非常精準(zhǔn),因?yàn)檫@會直接關(guān)系到測距的準(zhǔn)確性。
由于汽車使用的環(huán)境復(fù)雜多變,只是溫度要求,都是在-40—85度。而傳統(tǒng)器材必然有熱脹冷縮的問題,那么這就會影響到兩個(gè)鏡頭之間的距離。因此只有很高端的一些車型,會使用到立體攝像頭,而且即使是使用了,場景也會非常有限。主動巡航和自動駕駛根本做不到。
業(yè)內(nèi)做的好的公司,能夠?qū)文繑z像頭的誤差控制在3%以內(nèi)。理論上立體攝像頭的誤差可以做到1%以內(nèi),但從實(shí)際的應(yīng)用層面來看,1%跟3%在現(xiàn)有的應(yīng)用環(huán)境下,并不存在太大的差別。尤其是在單目攝像頭搭配一些毫米雷達(dá)等傳感器以后,完全可以達(dá)到類似的精度。
雙目攝像頭的方案,在成本、制造工藝、可靠性、精準(zhǔn)度等等綜合因素的制約下,導(dǎo)致其難以在市場上推廣,而單目攝像頭低成本可靠性的解決方案,搭配其他傳感器,完全可以滿足L1、L2以及部分L3場景下的功能。因此在現(xiàn)有市場環(huán)境下,單目攝像頭的解決方案依然會是主流。
ES8的全系產(chǎn)品都搭載了三目前向攝像頭、4個(gè)環(huán)視攝像頭、5個(gè)毫米波雷達(dá)、12個(gè)超聲波雷達(dá)。
三目攝像頭
除了較為多見的雙目攝像頭方案,三目攝像頭也進(jìn)入了一些公司的視野,如蔚來的ES8。但三目攝像頭是終極的解決方案嗎?目前看來,并不是。
三目攝像頭誕生之初,目的是為了解決汽車前向測距的問題。眾所周知,汽車行駛的過程中,如果要滿足自動駕駛的要求,需要車身感知設(shè)備對前方兩百米左右的道路環(huán)境做到精準(zhǔn)測量,以求做出相應(yīng)的控制決策。
三個(gè)攝像頭在判斷、測算障礙物距離的時(shí)候,會有一個(gè)核心的邏輯問題。由于攝像頭的精準(zhǔn)度是有一定的誤差范圍,因此三個(gè)不同的攝像頭,檢測障礙物的精準(zhǔn)性都會有一定的誤差。
那么在不同攝像頭覆蓋距離范圍的交匯處,兩個(gè)相鄰攝像頭測算出障礙物的距離很可能是不同的,會存在10米左右的誤差。
還有同樣一個(gè)場景,兩個(gè)鏡頭獲取到的圖像可能會不一樣。對于這些“不尋常”的情況,專家并沒有良策。而這些數(shù)據(jù)都是在同一時(shí)間獲取到的,后臺的算法會隨時(shí)處理,運(yùn)算的結(jié)果也會直接反饋到中央控制器,用來對汽車的駕駛行為做出調(diào)整。
不同攝像頭獲取到同一場景的不同數(shù)據(jù),需要在后臺進(jìn)行融合,某種意義上而言,就是數(shù)據(jù)處理結(jié)果的PK,誰更準(zhǔn)確就采納誰。但由于硬件的差異性本身存在,導(dǎo)致后臺目前對于這種誤差并沒有合理的規(guī)則和解決方案去進(jìn)行優(yōu)勝劣汰的處理。
這種無法決策的局面,還會同其它的傳感器如激光雷達(dá)、毫米波雷達(dá)探測到的結(jié)果再進(jìn)行一次融合(PK),多重的不確定性導(dǎo)致最終難以做出普遍意義上“正確合理”的決策。
Mobileye也正是因?yàn)闊o法解決這一根本性的邏輯處理問題,導(dǎo)致在嘗試了三目攝像頭的方案之后,又回到了原來的單目攝像頭的方案上。
5年內(nèi)單目還是主流
處理攝像頭數(shù)據(jù)的芯片,是制約攝像頭解決方案的重要因素。Mobileye花了十年,才制造出了滿足汽車電子規(guī)范要求的芯片,可見,符合車規(guī)要求的芯片難度之大。
目前市場上,還未出現(xiàn)可以滿足雙目圖像處理、符合車規(guī)要求、大規(guī)模商業(yè)化量產(chǎn)的芯片,已經(jīng)量產(chǎn)的一些車型中類似于斯巴魯使用的,仍然配合使用了FPGA的方案,來達(dá)到雙目算法處理所需的算力要求。
現(xiàn)在市場上并沒有商業(yè)化的芯片能夠支持多目攝像頭的方案,都是FPGA的方式。而Mobileye的EyeQ4和 EyeQ5可以滿足這樣的要求,但Mobileye本身覺得這樣的搭配方案并沒有太大的必要。
人眼實(shí)際上就是立體攝像頭,但人都需要大規(guī)模的訓(xùn)練,才能達(dá)到測距的準(zhǔn)確性。但坦白講,印象中只有特種兵才可以通過手指比對的方式手動測出較為精準(zhǔn)的距離,而我們普通人要通過雙眼判斷物體的準(zhǔn)確距離,其實(shí)還是很困難的。
雙目攝像頭的方案,理論上是可以達(dá)到很高的精度,但需要非常專業(yè)的技術(shù)團(tuán)隊(duì),才有可能研發(fā)出來。但即使研發(fā)出來,也會面臨嚴(yán)重的成本問題。
企業(yè)本身做產(chǎn)品的目的就是推而廣之,讓產(chǎn)品大規(guī)模應(yīng)用,而非束之高閣,以作觀瞻。一個(gè)產(chǎn)品如果價(jià)格居高不下,對于實(shí)際的商業(yè)化應(yīng)用,并沒有太大的意義。
也因此,有部分業(yè)內(nèi)人士表示,至少在5年內(nèi),單目攝像頭還將會是市場的主流,多目的方案還需匍匐前行。
異形鏡頭可能是新的出路
新的傳感器技術(shù),從鏡頭成像,到特殊異形鏡頭的設(shè)計(jì),傳感器技術(shù)的迭代更新,將有可能解決現(xiàn)有攝像頭存在的問題。
Mobileye用到的傳感器是1/2.7寸的,或者1/3寸的,現(xiàn)在新的傳感器技術(shù)可以達(dá)到1/1.7或1/1.5寸,已經(jīng)提高了一到兩倍。Mobileye跟攝像頭廠商類似于舜宇這樣的企業(yè),正在共同研發(fā)下一代的異形攝像頭。
通常,業(yè)內(nèi)使用的鏡頭是球形、橢圓形的,而新的異形鏡頭光圈很大,可以覆蓋不同的測距范圍,同時(shí)保證成像質(zhì)量。
另外,目前大部分?jǐn)z像頭廠家使用的攝像頭都是100萬像素,而Mobileye下一代的EyeQ4或者EyeQ5則會使用到400萬甚至800萬像素的攝像頭。
隨著更大尺寸的傳感器應(yīng)用,單個(gè)攝像頭可以保證1-200米內(nèi),任何一個(gè)焦段成像清晰。這將會徹底解決多目攝像頭現(xiàn)存的一些問題,雖然目前成本較高,但它的前景還是非常值得期待的。