用小型載板傳輸 4 臺(tái)相機(jī)的數(shù)據(jù)流：快速原型設(shè)計(jì)

嵌入式視覺(jué)組件一直很受歡迎，被眾多應(yīng)用所采用。所有這些應(yīng)用的共同點(diǎn)是需要在狹小的空間內(nèi)集成越來(lái)越多的功能。通常，讓這些系統(tǒng)在邊緣做出決策也是很有利的。為了支持此類(lèi)系統(tǒng)，包括快速原型設(shè)計(jì)的能力，Teledyne FLIR 推出了 Quartet? 嵌入式 TX2 解決方案。這種定制的載板可在滿帶寬下輕松集成最多 4 臺(tái) USB3 機(jī)器視覺(jué)相機(jī)。它包括 NVidia Jetson 深度學(xué)習(xí)硬件加速器，預(yù)先集成了 Teledyne FLIR 的 Spinnaker® SDK。通常，讓這些系統(tǒng)在邊緣做出決策也是很有利的，尤其是在檢查、移動(dòng)機(jī)器人、交通系統(tǒng)和各種類(lèi)型的無(wú)人載具領(lǐng)域。

圖 1：所有四個(gè)應(yīng)用程序的原型設(shè)置

在這篇非常實(shí)用的文章中，為了強(qiáng)調(diào) Quartet 能夠?qū)崿F(xiàn)的功能，我們描述了開(kāi)發(fā)受 ITS(交通系統(tǒng))啟發(fā)的原型的步驟，該原型同時(shí)運(yùn)行四個(gè)應(yīng)用程序，其中三個(gè)采用了深度學(xué)習(xí)：

?應(yīng)用程序 1：利用深度學(xué)習(xí)識(shí)別車(chē)牌

?應(yīng)用程序 2：利用深度學(xué)習(xí)實(shí)現(xiàn)車(chē)輛類(lèi)型分類(lèi)

?應(yīng)用程序 3：利用深度學(xué)習(xí)實(shí)現(xiàn)車(chē)輛顏色分類(lèi)

?應(yīng)用程序 4：透過(guò)擋風(fēng)玻璃觀察(透過(guò)反光和眩光)

購(gòu)物清單：硬件和軟件組件

1)用于處理的 SOM：

?用于 TX2 的新 Teledyne FLIR Quartet 載板包括：

?4 個(gè) TF38 連接器，配備專(zhuān)用的 USB3 控制器

?Nvidia Jetson TX2 模塊

?預(yù)裝了 Teledyne FLIR 功能強(qiáng)大且便于使用的 Spinnaker SDK，以確保在即插即用情況下兼容 Teledyne FLIR Blackfly S 板級(jí)相機(jī)

?Nvidia Jetson 深度學(xué)習(xí)硬件加速器可在緊湊型單板上實(shí)現(xiàn)完整的決策系統(tǒng)

圖 2：帶 TX2 的 Quartet 嵌入式解決方案，可配備 4 臺(tái) Blackfly S 相機(jī)和 4 根 FPC 電纜。

2)相機(jī)和電纜

?3 臺(tái)標(biāo)準(zhǔn) Teledyne FLIR Blackfly S USB3 板級(jí)攝像頭，采用與盒裝版相同的豐富功能集，適用于最新的 CMOS 傳感器，可與 Quartet 無(wú)縫集成

?1 臺(tái)定制相機(jī)：Blackfly S USB3 板級(jí)相機(jī)，帶 Sony IMX250MZR 偏振傳感器

?線纜：TF38 FPC 電纜，可用單根電纜傳輸電源和數(shù)據(jù)，節(jié)省了空間

圖 3：Blackfly S 板級(jí)相機(jī)，帶 FPC 電纜

3)照明：LED 燈可提供充足的照明，以避免車(chē)牌的運(yùn)動(dòng)模糊。

應(yīng)用程序 1：利用深度學(xué)習(xí)識(shí)別車(chē)牌

開(kāi)發(fā)時(shí)間：2-3 周，主要是為了使其更加穩(wěn)健，運(yùn)行速度更快

訓(xùn)練圖像：LPDNet 附帶

對(duì)于車(chē)牌識(shí)別，我們通過(guò) Nvidia 部署了現(xiàn)成的車(chē)牌檢測(cè) (LPDNet) 深度學(xué)習(xí)模型，以檢測(cè)車(chē)牌的位置。為了識(shí)別字母和號(hào)碼，我們使用了 Tesseract 開(kāi)源 OCR 引擎。該相機(jī)為 Blackfly S 板級(jí) 890 萬(wàn)像素彩色相機(jī) (BFS-U3-88S6C-BD)，配備了 Sony IMX267 傳感器。我們限制了車(chē)牌檢測(cè)的偵測(cè)區(qū)域，以加快運(yùn)行速度，并利用跟蹤來(lái)提高穩(wěn)健性。輸出包括車(chē)牌的邊界框，以及相應(yīng)的車(chē)牌字符。

圖 4：傳輸車(chē)牌邊界框和車(chē)牌字符。

應(yīng)用程序 2：利用深度學(xué)習(xí)實(shí)現(xiàn)車(chē)輛類(lèi)型分類(lèi)

開(kāi)發(fā)時(shí)間：約 12 小時(shí)，包括圖像采集和注釋

訓(xùn)練圖像：~300

在車(chē)型分類(lèi)方面，我們利用遷移學(xué)習(xí)，用三臺(tái)玩具車(chē)(分別是 SUV、轎車(chē)和卡車(chē))訓(xùn)練了我們自己的深度學(xué)習(xí)目標(biāo)檢測(cè)模型。我們采集了此設(shè)置在不同距離和角度下拍攝的約 300 幅訓(xùn)練圖像。相機(jī)為 Blackfly S 板級(jí) 500 萬(wàn)像素彩色相機(jī) (BFS-U3-51S5C-BD)，配備了 Sony IMX250 傳感器。我們標(biāo)出了玩具車(chē)的邊界框，大約耗時(shí) 3 小時(shí)。我們進(jìn)行了遷移學(xué)習(xí)，以訓(xùn)練我們自己的 SSD MobileNet 目標(biāo)檢測(cè)模型，訓(xùn)練過(guò)程在 Nvidia GTX1080 Ti GPU 上進(jìn)行，耗時(shí)半天左右。通過(guò) GPU 硬件加速器，Jetson TX2 模塊可以高效率地執(zhí)行深度學(xué)習(xí)推斷，并輸出汽車(chē)的邊界框，以及對(duì)應(yīng)的車(chē)輛類(lèi)型。

圖 5：傳輸邊界框和預(yù)設(shè)的車(chē)輛類(lèi)型，以及確認(rèn)的置信系數(shù)

應(yīng)用程序 3：利用深度學(xué)習(xí)實(shí)現(xiàn)車(chē)輛顏色分類(lèi)

開(kāi)發(fā)時(shí)間：重復(fù)利用了“車(chē)輛類(lèi)型應(yīng)用”中的型號(hào)，用額外 2 天時(shí)間進(jìn)行顏色分類(lèi)、集成和測(cè)試

訓(xùn)練圖像：重復(fù)利用了 300 幅與“車(chē)輛類(lèi)型應(yīng)用”相同的圖像

對(duì)于車(chē)輛顏色分類(lèi)，我們運(yùn)行了與上述相同的深度學(xué)習(xí)對(duì)象檢測(cè)模型來(lái)檢測(cè)汽車(chē)，然后在邊界框上進(jìn)行了圖像分析，以對(duì)其顏色進(jìn)行分類(lèi)。輸出包括汽車(chē)的邊界框，以及對(duì)應(yīng)的車(chē)輛顏色。相機(jī)為 Blackfly S 板級(jí) 300 萬(wàn)像素彩色相機(jī) (BFS-U3-32S4C-BD)，配備了 Sony IMX252 傳感器。

圖 6：傳輸邊界框和確認(rèn)的預(yù)設(shè)顏色類(lèi)型

應(yīng)用程序 4：透過(guò)擋風(fēng)玻璃觀察(透過(guò)反光和眩光)

減少眩光對(duì)于交通相關(guān)應(yīng)用至關(guān)重要，例如透過(guò)擋風(fēng)玻璃觀察 HOV 車(chē)道、檢查安全帶是否合規(guī)，甚至可以檢查駕駛時(shí)是否使用手機(jī)。為此，我們將 Blackfly S USB3 板級(jí)相機(jī)與 500 萬(wàn)像素 Sony IMX250MZR 偏振傳感器相結(jié)合，定制了一款相機(jī)。這款板級(jí)偏振相機(jī)不是標(biāo)準(zhǔn)產(chǎn)品，但 Teledyne FLIR 能夠輕松換用不同的傳感器，從而提供定制的相機(jī)選項(xiàng)，以展示其消眩光功能。我們只需通過(guò) Teledyne FLIR 的 SpinView GUI 來(lái)傳輸相機(jī)圖像流，該 GUI 提供各種“偏振算法”選項(xiàng)，如四通道模式、眩光弱化模式，可以在靜止的玩具車(chē)上顯示眩光弱化效果。

圖 7：Spinnaker SDK GUI 提供各種“偏振算法”選項(xiàng)，如四通道模式、眩光弱化模式，可以在靜止的玩具車(chē)上顯示眩光弱化效果。四通道模式可以顯示 4 個(gè)不同的偏振角度所對(duì)應(yīng)的 4 幅圖像。

系統(tǒng)總體優(yōu)化

雖然這四個(gè)原型各自獨(dú)立工作，但我們注意到，在所有深度學(xué)習(xí)模型同時(shí)運(yùn)行時(shí)，總體性能相當(dāng)差。Nvidia 的 TensorRT SDK 為 Nvidia 硬件(如 Jetson TX2 模塊)提供深度學(xué)習(xí)推斷優(yōu)化器和運(yùn)行時(shí)。我們用 TensorRT SDK 優(yōu)化了我們的深度學(xué)習(xí)模型，使性能提升了 10 倍左右。在硬件方面，我們將一個(gè)散熱器連接到 TX2 模塊，以避免過(guò)熱，因?yàn)樵撃K在所有應(yīng)用程序都運(yùn)行時(shí)會(huì)相當(dāng)熱。最終，我們?cè)O(shè)法在所有四個(gè)應(yīng)用程序一起運(yùn)行時(shí)實(shí)現(xiàn)了良好的幀率：車(chē)輛類(lèi)型識(shí)別為 14 fps，車(chē)輛顏色分類(lèi)為 9 fps，自動(dòng)車(chē)牌識(shí)別為 4 FPS，偏振相機(jī)為 8 FPS。

由于 Quartet 嵌入式解決方案和 Blackfly S 板級(jí)相機(jī)的易用性和可靠性，我們?cè)谙鄬?duì)較短的時(shí)間內(nèi)開(kāi)發(fā)出了此原型。預(yù)裝了 Spinnaker SDK 的 TX2 模塊可確保在即插即用的情況下兼容所有 Blackfly S 板級(jí)相機(jī)，這些相機(jī)可在滿 USB3 帶寬下，通過(guò) TF38 連接器實(shí)現(xiàn)可靠的傳輸。Nvidia 提供了多種工具來(lái)促進(jìn) TX2 模塊的開(kāi)發(fā)和優(yōu)化。Quartet 現(xiàn)在可從 fir.com 上在線購(gòu)買(mǎi)，也可以通過(guò)我們的辦事處和全球經(jīng)銷(xiāo)商網(wǎng)絡(luò)購(gòu)買(mǎi)。