全高級駕駛員感知系統(tǒng)和All Programmable SoC

道路安全從摩爾定律中受益良多，處理能力的提升以及 CMOS 圖像傳感器 (CIS) 和其他傳感器技術(shù)的發(fā)展，讓車輛制造商得以推出高級駕駛員感知系統(tǒng) (ADAS)。ADAS 能增強駕駛員對周邊環(huán)境的感知，減少發(fā)生碰撞的概率。部分系統(tǒng)還能夠監(jiān)控駕駛員并向駕駛員發(fā)出告警，例如在駕駛員打盹時。

ADAS 還越來越多地接手控制(或為無人駕駛系統(tǒng)提供信息)，從而為駕駛員提供泊車輔助、車道輔助和自適應(yīng)巡航控制等功能方面的協(xié)助。

顯示導(dǎo)航和狀態(tài)感知信息的 ADAS 抬頭應(yīng)用

因此，不出意料，到 2021 年預(yù)計 ADAS 市場的規(guī)模將達(dá)到 420 億美元，目前的年復(fù)合增長率(GAGR)達(dá)到 10%。

ADAS 通常使用嵌入式視覺、RADAR 和 LIDAR 等多類傳感器來提取所需信息，并運用傳感器融合方法整合來自多個傳感器的信息。在嵌入式視覺領(lǐng)域， ADAS 又可劃分為兩大類。一類負(fù)責(zé)外部監(jiān)控，解決車道偏離、對象檢測、盲點檢測和交通標(biāo)識識別等問題。另一類負(fù)責(zé)內(nèi)部系統(tǒng)監(jiān)控，例如負(fù)責(zé)駕駛員打盹監(jiān)測和眼睛檢測等。內(nèi)外部 ADAS 應(yīng)用在實現(xiàn)圖像處理算法時都面臨自身的挑戰(zhàn)。

這些挑戰(zhàn)從實現(xiàn)應(yīng)用所需算法的能力直至符合正確的汽車標(biāo)準(zhǔn)，不一而足。許多 ADAS 應(yīng)用還要求傳感器融合功能以整合來自多個傳感器的輸入，從而顯著提高了所需的處理能力。在使用多個同類傳感器的時候，傳感器融合可以是同構(gòu)傳感器融合。在使用不同類型的傳感器提取所需信息時，傳感器融合則為異構(gòu)傳感器融合。

因具備高度的靈活性，許多應(yīng)用都選用 All Programmable SoC 或 FPGA 來實現(xiàn)系統(tǒng)。兩種都能實現(xiàn)所需的算法，而且兩者都能夠連接不同類型的傳感器類型和網(wǎng)絡(luò)。

伴隨高性能 ADAS 應(yīng)用而來的是幾個系統(tǒng)難題。這些難題在開始思考時并不明顯。汽車制造商需要滿足嚴(yán)格的污染標(biāo)準(zhǔn)要求，因此總體解決方案的重量和功耗相當(dāng)重要。因為生產(chǎn)的車輛以數(shù)十萬計，解決方案的成本也很關(guān)鍵。雖然系統(tǒng)的保密性和安全性非常關(guān)鍵而且受多重標(biāo)準(zhǔn)的制約，使用 SoC 或 FPGA 能幫助我們解決一系列此類問題。

系統(tǒng)架構(gòu)

開發(fā)用于監(jiān)測內(nèi)外部攝像頭的嵌入式視覺 ADAS 可以說這是一項更具挑戰(zhàn)性的 ADAS 實現(xiàn)方案。該系統(tǒng)需要與車身四周多個攝像頭連接，以處理圖像并給乘客提供信息。許多攝像頭解決方案使用點對點 LVDS 連線來傳輸數(shù)據(jù)，但是這會因布線需求而增加成本和重量。但是也有其他替代性方法正在日漸贏得使用，這些方法把部分功能內(nèi)置在攝像頭中。如果攝像頭的圖像輸出采用壓縮方式而不是原始圖像，這樣基于網(wǎng)絡(luò)的架構(gòu)就有可能實現(xiàn)傳輸。這些網(wǎng)絡(luò)可以圍繞通用汽車總線架構(gòu)，例如：

· 媒體導(dǎo)向系統(tǒng)傳輸 (MOST)——一種能以光學(xué)或電氣物理層方式實現(xiàn)的高速網(wǎng)絡(luò)。

· IDB-1394——實現(xiàn)在電氣物理層上的高速網(wǎng)絡(luò)，采用雛菊鏈拓?fù)浣Y(jié)構(gòu)。

· 以太網(wǎng) AVB——以太網(wǎng)音視頻橋接能夠圍繞車輛按需發(fā)送圖像數(shù)據(jù)和其他數(shù)據(jù)

如果我們選擇使用網(wǎng)絡(luò)，系統(tǒng)架構(gòu)師必須確保提供所需帶寬，以便在攝像頭和 ADAS 內(nèi)核之間傳輸圖像數(shù)據(jù)，同時滿足應(yīng)用時延要求。

ADAS 系統(tǒng)生成的數(shù)據(jù)可能需要與汽車中的其他系統(tǒng)共享，例如自適應(yīng)巡航控制或泊車輔助。因此 ADAS 必須能夠與 CAN 或 FlexRay 等其他通用汽車接口連接。

Zynq 支持與傳感器和消費者的任意接口

在架構(gòu)層，使用基于 All Programmable Zynq® SoC 的方法可提供多重優(yōu)勢。如果點對點連線用于連接這些攝像頭，攝像頭接收器可實現(xiàn)在位于圖像處理鏈條前的可編程邏輯中。如果要使用 All programmable SoC，處理器系統(tǒng)側(cè)應(yīng)具備足夠高的靈活性，在需要與可編程邏輯中的邏輯和外部 PHY 結(jié)合時，能方便地采用 CAN、以太網(wǎng)和 FlexRay 等其他協(xié)議。雙核處理器與可編程邏輯的完美組合可帶來極低的單位像素功耗，因為系統(tǒng)緊密集成。

All Programmable SoC 架構(gòu)

SoC 體現(xiàn)出自己價值的地方是運用可編程邏輯 (PL) 實現(xiàn)攝像頭接口和圖像處理鏈。同時 SoC 的處理系統(tǒng) (PS) 可根據(jù)需要提供通信、控制和額外的算法處理。圖像處理流水線可使用所提供的眾多 IP 庫以及來自專業(yè)廠商的更專業(yè)的 IP 核來生成，以縮短產(chǎn)品上市時間。

用于多攝像頭系統(tǒng)的基于 Zynq 的架構(gòu)模塊

如果我們要開發(fā)額外的算法，我們可以運用Vivado® HLS、SDSoC™ 和 Matlab 等高層次綜合工具套件來加速開發(fā)進(jìn)程。我們可以使用 C 或 C++ 等更高級語言，而不使用 VHDL 或 Verilog 等傳統(tǒng)硬件描述語言來開發(fā) IP，可加速產(chǎn)品上市進(jìn)程。

要進(jìn)一步加快算法可使用 OpenCV 等開源框架。使用該框架開發(fā)的算法可映射到受 Vivado HLS 和 SDSoC 支持的 HLS 視頻庫中。這樣可以順利從概念和演示驗證過渡到運行在目標(biāo)硬件上進(jìn)行特性描述和認(rèn)證的算法。

許多已實現(xiàn)的架構(gòu)會使用處理器的 DDR 內(nèi)存作為幀緩存。例如如果使用基于以太網(wǎng)的系統(tǒng)或 PCIe，這樣可以讓處理器根據(jù)需要訪問圖像，進(jìn)一步向前傳輸。我們還可以使用處理器系統(tǒng)的功能對存儲在 DDR 中的圖像執(zhí)行額外的圖像處理算法，然后在需要時再度插入到圖像處理鏈條中。

這樣可以提供一個非常有意思的功能，即 SoC 本身可構(gòu)成其自己的原型和演示平臺。如果使用運行在處理器內(nèi)核上的通用嵌入式視覺開發(fā)框架(如 OpenCV)，這樣可以提供一個精簡的原型系統(tǒng)。該系統(tǒng)隨即使用 SoC 的可編程邏輯可進(jìn)行性能優(yōu)化。

安全性

ADAS 的基本性質(zhì)就是為汽車提供安全性，為此該系統(tǒng)必須和其他高可靠性系統(tǒng)一樣在開發(fā)中遵循一個標(biāo)準(zhǔn)，對 ADAS 而言可適用的標(biāo)準(zhǔn)就是 ISO 26262。該標(biāo)準(zhǔn)定義了一系列汽車安全完整性等級 (A-SIL)，每個等級代表失效時間(以小時計)。總共有四個 A-SIL 等級，其中 D 是最高和最難達(dá)到的，A 是最低級別。要滿足這些要求，需要使用綜合工程交付生命周期來保障不僅能實現(xiàn)目標(biāo) A-SIL，而且生成的數(shù)據(jù)包通過存留必要的證據(jù)，還能證明這一點。

汽車應(yīng)用受制于嚴(yán)苛的環(huán)境，為此開發(fā)人員需要確保自己使用的是汽車級的組件，例如通過 AEC-Q100 認(rèn)證的組件。這類組件的制造和認(rèn)證標(biāo)準(zhǔn)比商用組件要高。

它們還必須考慮系統(tǒng)的安全性，防止無授權(quán)人員對系統(tǒng)進(jìn)行修改，因為這可能導(dǎo)致災(zāi)難性的后果。

使用 All Programmable SoC，就能夠使用它的安全引導(dǎo)功能，防止未授權(quán)程序和比特流被配置到系統(tǒng)里。要做到這一點，開發(fā)人員可將 AES 加密、HMAC 和 RSA 認(rèn)證與 TrustZone 技術(shù)結(jié)合使用。TrustZone 可讓系統(tǒng)設(shè)計人員實現(xiàn)正交軟件環(huán)境，限制訪問含可編程邏輯外設(shè)在內(nèi)的 SoC 內(nèi)部硬件功能。

系統(tǒng)的健康狀況可使用能夠監(jiān)測 SoC 供電電壓和晶片溫度的 XADC 加以監(jiān)測。開發(fā)人員還可以使用外部 SoC 引腳來監(jiān)測更廣泛系統(tǒng)范圍內(nèi)的其他模擬信號，進(jìn)一步監(jiān)測系統(tǒng)的健康狀況和使用情況。

因為該 SoC 將處理器和與內(nèi)部 ADC 耦合的可編程邏輯緊密集成，設(shè)計人員能夠得到因部件數(shù)量減少所帶來的明顯好處。而且減少組件數(shù)還能有力幫助我們實現(xiàn)所要求的低故障率。

總結(jié)

從系統(tǒng)層面和器件層面來看，使用 All Programmable SoC 均能為ADAS開發(fā)帶來一系列好處，實現(xiàn)更高集成度，減輕系統(tǒng)重量，提高系統(tǒng)能效。最新高層次綜合工具能快速開發(fā)可供 OpenCV 等眾多開源通用框架使用的圖像處理功能。