增強視覺傳感器功能：3D圖像拼接算法幫助擴大視場

時間：2025-01-03 16:30:58

關(guān)鍵字：視覺傳感器處理器機器人

手機看文章

掃描二維碼
隨時隨地手機看文章

[導(dǎo)讀]得益于出色的深度計算和紅外(IR)成像能力，飛行時間(TOF)攝像頭在工業(yè)應(yīng)用，尤其是機器人領(lǐng)域越來越受歡迎。盡管具有這些優(yōu)勢，但光學(xué)系統(tǒng)的固有復(fù)雜性往往會約束視場，從而限制獨立功能。本文中討論的3D圖像拼接算法專為支持主機處理器而設(shè)計，無需云計算。該算法將來自多個TOF攝像頭的紅外和深度數(shù)據(jù)實時無縫結(jié)合，生成連續(xù)的高質(zhì)量3D圖像，該圖像具有超越獨立單元的擴大視場。借助拼接的3D數(shù)據(jù)，應(yīng)用先進的深度學(xué)習(xí)網(wǎng)絡(luò)能夠徹底改變可視化及與3D環(huán)境的交互，深度學(xué)習(xí)網(wǎng)絡(luò)在移動機器人應(yīng)用中特別有價值。

摘要

得益于出色的深度計算和紅外(IR)成像能力，飛行時間(TOF)攝像頭在工業(yè)應(yīng)用，尤其是機器人領(lǐng)域越來越受歡迎。盡管具有這些優(yōu)勢，但光學(xué)系統(tǒng)的固有復(fù)雜性往往會約束視場，從而限制獨立功能。本文中討論的3D圖像拼接算法專為支持主機處理器而設(shè)計，無需云計算。該算法將來自多個TOF攝像頭的紅外和深度數(shù)據(jù)實時無縫結(jié)合，生成連續(xù)的高質(zhì)量3D圖像，該圖像具有超越獨立單元的擴大視場。借助拼接的3D數(shù)據(jù)，應(yīng)用先進的深度學(xué)習(xí)網(wǎng)絡(luò)能夠徹底改變可視化及與3D環(huán)境的交互，深度學(xué)習(xí)網(wǎng)絡(luò)在移動機器人應(yīng)用中特別有價值。

簡介

飛行時間(TOF)攝像頭作為出色的測距成像系統(tǒng)脫穎而出，它利用TOF技術(shù)來確定攝像頭與圖像中每個點之間的距離。通過測量激光器或LED發(fā)射的人造光信號的往返時間，便可計算出距離。TOF攝像頭提供精確的深度信息，因此在準(zhǔn)確距離測量和3D可視化至關(guān)重要的應(yīng)用中，比如在機器人和工業(yè)技術(shù)應(yīng)用中，該攝像頭是極具價值的工具，例如能夠在270°的視場(FOV)范圍執(zhí)行碰撞檢測和人體檢測，從而提高安全性。

ADTF3175 TOF傳感器的校準(zhǔn)FOV可達到75°。然而，當(dāng)應(yīng)用的FOV超出該區(qū)域時，挑戰(zhàn)出現(xiàn)，此時就需要多個傳感器。如果通過集成各個傳感器的數(shù)據(jù)來為整個視場提供全面的分析，這可能會造成困難。一個潛在解決方案是讓傳感器對部分FOV執(zhí)行算法，然后將輸出傳輸至主機以進行整理。然而，該方法面臨區(qū)域重疊、死區(qū)和通信延遲等問題，導(dǎo)致其成為很難有效解決的復(fù)雜問題。

另一種方法是將從所有傳感器捕獲的數(shù)據(jù)拼接成單個圖像，隨后在拼接的圖像上應(yīng)用檢測算法。該過程可卸載至單獨的主機處理器，從而減輕傳感器單元的計算負(fù)荷，留出空間執(zhí)行高級分析和其他處理選項。然而，值得注意的是，傳統(tǒng)圖像拼接算法本身非常復(fù)雜，會消耗主機處理器相當(dāng)一部分的計算能力。此外，由于隱私原因，在許多應(yīng)用中，數(shù)據(jù)無法發(fā)送到云端進行拼接。

ADI公司的算法解決方案可使用深度數(shù)據(jù)的點云投影，拼接來自不同傳感器的深度和紅外圖像。這包括使用攝像頭外部位置轉(zhuǎn)換捕獲到的數(shù)據(jù)并將其投影回到2D空間，從而生成單張連續(xù)顯示的圖像。

該方法能夠大幅減少計算量，有助于在邊緣達到實時運行的速度，并確保主機處理器的計算能力仍可用于其他高級分析。

圖1.深度拼接算法。

解決方案描述

ADI的3D TOF解決方案分4個階段運行（參見圖1）：

1.預(yù)處理紅外和深度數(shù)據(jù)：紅外和深度數(shù)據(jù)的時間同步及預(yù)處理。

2.將深度數(shù)據(jù)投影到3D點云：利用攝像頭內(nèi)參將深度數(shù)據(jù)投影到3D點云。

3.轉(zhuǎn)換和合并點：使用攝像頭的外部位置對點云進行坐標(biāo)轉(zhuǎn)換，并合并重疊區(qū)域。

4.將點云投影到2D圖像：采用圓柱投影將點云投影回到2D圖像。

系統(tǒng)與算法的挑戰(zhàn)及解決方案

主機接收深度和紅外幀

主機通過USB等高速連接方式連接到多個TOF傳感器。主機收集深度和紅外幀，并將其存儲在隊列中。

同步深度和紅外數(shù)據(jù)

主機接收到的來自每個傳感器的深度和紅外幀在不同時間實例被捕獲。為了避免因物體移動而造成的時間不匹配，所有傳感器的輸入需要同步到同一時間實例。使用時間同步器模塊，該模塊根據(jù)來自隊列的時間戳匹配傳入的幀。

投影到點云

通過使用每個傳感器的同步深度數(shù)據(jù)，在主機上生成點云。然后，每個點云根據(jù)其各自在真實場景中的攝像頭位置（參見圖2）進行轉(zhuǎn)換（平移和旋轉(zhuǎn)）。接著，這些轉(zhuǎn)換后的點云合并形成單個連續(xù)點云，覆蓋傳感器的組合FOV（參見圖3）。

圖2.相機外參。

圖3.合并的點云。

3D到2D投影

通過使用圓柱投影算法，也稱為前視圖投影，F(xiàn)OV的組合點云投影到2D畫布上（參見圖4）。換言之，該算法將合并點云的每個點投影到2D平面的像素上，從而生成單一連續(xù)全景圖，覆蓋所有傳感器的組合視場。這會產(chǎn)生兩個2D拼接圖像：一個用于拼接的紅外圖像，另一個用于投影到2D平面的拼接深度圖像。

圖4.圓柱投影算法。

提高投影質(zhì)量

將3D組合點云投影到2D圖像仍無法生成高質(zhì)量圖像。圖像存在失真和噪點。這不僅影響視覺質(zhì)量，對投影上運行的任何算法也會產(chǎn)生不利影響。以下章節(jié)記錄了3個關(guān)鍵問題（參見圖5）及其解決方法。

圖5.2D投影問題。

投影無效深度區(qū)域

對于超出傳感器工作范圍(8000 mm)的點，ADTF3175的深度數(shù)據(jù)的無效深度值為0 mm。這會導(dǎo)致深度圖像上出現(xiàn)大片空白區(qū)域，并形成不完整的點云。將深度值8000 mm（攝像頭支持的最大深度）分配給深度圖像上的所有無效點，并利用該值生成點云。這確保了點云沒有間隙。

填充未映射的像素

將3D點云投影到2D平面時，2D圖像中存在未映射/未填充的區(qū)域。許多點云(3D)像素映射至同一個2D像素，因此多個2D像素仍是空白。這就會產(chǎn)生如圖6所示的拉伸圖案。為解決該問題，我們使用3 × 3過濾器，用其相鄰的8個具備有效值的像素的平均紅外/深度值來填充未映射的像素。這樣便可獲得更完整的輸出圖像，并消除偽影（參見圖6）。

重疊點產(chǎn)生的噪點

得益于圓柱投影算法，重疊區(qū)域上的許多點最終在2D投影輸出上獲得相同的靜止坐標(biāo)。由于背景像素與前景像素重疊，因此會產(chǎn)生噪點。為解決該問題，我們將每個點的徑向距離與現(xiàn)有點進行比較，僅當(dāng)與攝像頭原點的距離小于現(xiàn)有點時，才會替換該點。這有助于僅保留前景點，并提高投影質(zhì)量（參見圖7）。

圖6.填充未映射的像素。

圖7.重疊噪點修復(fù)。

結(jié)論

該算法能夠以小于5°的重疊度拼接來自不同攝像頭的圖像，相比之下，傳統(tǒng)關(guān)鍵點匹配算法至少需要20°的重疊度。該方法所需的計算量極少，因此非常適用于邊緣系統(tǒng)。由于沒有圖像失真，深度數(shù)據(jù)在拼接后仍具有完整性。該解決方案進一步支持了ADTF3175傳感器的模塊化實現(xiàn)，以極小的損失獲得所需FOV。

FOV的擴展不限于水平維度，相同技術(shù)也可用于在垂直方向上擴展視場，從而獲得真正的球形視覺。該解決方案可以在連接了4個傳感器的Arm® V8 6核邊緣CPU上以10 fps的速度運行，提供275°的FOV。當(dāng)僅使用兩個傳感器時，幀速率可達30 fps。

該方法的主要優(yōu)勢之一是實現(xiàn)了巨大的計算效率增益，基本計算效率的增益超過3倍（參見表1）。

圖8和圖9展示了使用該解決方案獲得的一些結(jié)果。