武漢大學(xué)高智教授團(tuán)隊(duì)：動(dòng)態(tài)場(chǎng)景下基于視覺同時(shí)定位與地圖構(gòu)建技術(shù)的多層次語義地圖構(gòu)建方法 | 《電子與信息學(xué)報(bào)》佳文速遞

編者按

同時(shí)定位與地圖構(gòu)建技術(shù)(Simultaneous Localization And Mapping, SLAM)是指在沒有環(huán)境先驗(yàn)信息的情況下，機(jī)器人可以估計(jì)自身位置和構(gòu)建環(huán)境地圖的技術(shù)已經(jīng)成為機(jī)器人在未知領(lǐng)域內(nèi)自主工作的核心技術(shù)。

針對(duì)目前視覺SLAM遇到的問題以及現(xiàn)有方法的不足，武漢大學(xué)高智教授團(tuán)隊(duì)與中科院空天信息創(chuàng)新研究院合作，提出一種簡(jiǎn)便且有效的視覺SLAM系統(tǒng)。本文方法考慮了被迫移動(dòng)的物體給定位和建圖帶來的影響，在定位精度上遠(yuǎn)優(yōu)于目前主流的動(dòng)態(tài)場(chǎng)景下的視覺SLAM方案，證明在高動(dòng)態(tài)場(chǎng)景中具有較好的穩(wěn)定性和魯棒性。

原論文：動(dòng)態(tài)場(chǎng)景下基于視覺同時(shí)定位與地圖構(gòu)建技術(shù)的多層次語義地圖構(gòu)建方法 (jeit.ac.cn)

引言

基于視覺的同時(shí)定位與地圖構(gòu)建技術(shù)（Simultaneous Localization And Mapping ，SLAM）是無人系統(tǒng)智能感知與探索的核心技術(shù)之一，其被廣泛應(yīng)用于太空探索、災(zāi)后搜救、地下礦道探索、水下潛航等領(lǐng)域。然而現(xiàn)有大部分SLAM算法難以處理場(chǎng)景中的運(yùn)動(dòng)物體，進(jìn)而導(dǎo)致SLAM方法的性能退化，給高精度位姿估計(jì)與地圖構(gòu)建帶來挑戰(zhàn)。

視頻演示

動(dòng)態(tài)場(chǎng)景下視覺SLAM的主要挑戰(zhàn)

目前，傳統(tǒng)視覺SLAM都基于靜態(tài)環(huán)境的假設(shè)，這使得視覺SLAM可以利用前端特征點(diǎn)匹配、后端回環(huán)檢測(cè)等關(guān)鍵技術(shù)完成定位與環(huán)境理解。但這一假設(shè)限制了視覺SLAM在真實(shí)場(chǎng)景中的廣泛應(yīng)用，因此動(dòng)態(tài)環(huán)境下可靠運(yùn)行的視覺SLAM成為目前廣泛關(guān)注的一個(gè)研究熱點(diǎn)與難點(diǎn)。

從視覺SLAM定義出發(fā)，可以從兩方面理解這一難點(diǎn)。首先動(dòng)態(tài)目標(biāo)會(huì)影響前后幀之間的匹配，從而大幅度降低視覺SLAM的定位精度，其次動(dòng)態(tài)目標(biāo)的出現(xiàn)會(huì)影響環(huán)境理解過程中所構(gòu)造地圖的穩(wěn)定性，如常規(guī)特征地圖、柵格地圖和點(diǎn)云地圖在動(dòng)態(tài)場(chǎng)景下都無法展現(xiàn)真實(shí)的場(chǎng)景信息。

為克服環(huán)境中動(dòng)態(tài)目標(biāo)對(duì)視覺SLAM的影響，武漢大學(xué)高智教授智能無人系統(tǒng)團(tuán)隊(duì)提出了一種基于目標(biāo)檢測(cè)網(wǎng)絡(luò)的視覺SLAM系統(tǒng)。

該方法首先利用被迫移動(dòng)物體與動(dòng)態(tài)目標(biāo)間的空間位置關(guān)系，并結(jié)合光流約束判斷真正的動(dòng)態(tài)目標(biāo)，從而剔除動(dòng)態(tài)特征點(diǎn)，提升定位精度；其次提出一種基于超體素的快速點(diǎn)云分割方案，將基于靜態(tài)區(qū)域構(gòu)建的地圖進(jìn)行優(yōu)化。同時(shí)，構(gòu)建的語義地圖可提供更高精度訓(xùn)練數(shù)據(jù)樣本，又可以進(jìn)一步提升目標(biāo)檢測(cè)網(wǎng)絡(luò)性能。

武漢大學(xué)團(tuán)隊(duì)的方法

武漢大學(xué)高智教授帶領(lǐng)的智能無人系統(tǒng)團(tuán)隊(duì)研究人員發(fā)現(xiàn)，現(xiàn)實(shí)場(chǎng)景中的動(dòng)態(tài)目標(biāo)可被分為兩類：

一類為主動(dòng)的動(dòng)態(tài)目標(biāo)，即在目標(biāo)檢測(cè)網(wǎng)絡(luò)中可以通過先驗(yàn)設(shè)置的動(dòng)態(tài)目標(biāo)；

另一類為被動(dòng)的動(dòng)態(tài)目標(biāo)，即這些目標(biāo)原本應(yīng)是靜態(tài)的，但因?yàn)橐恍┤藶橐蛩囟\(yùn)動(dòng)，如被拿在手里的書本等，且這些被迫移動(dòng)的物體都大概率會(huì)與動(dòng)態(tài)目標(biāo)相鄰。

基于這一觀察，結(jié)合目標(biāo)檢測(cè)網(wǎng)絡(luò)，高智教授團(tuán)隊(duì)提出一種簡(jiǎn)單有效的方法檢測(cè)實(shí)際移動(dòng)目標(biāo)，區(qū)分主動(dòng)移動(dòng)目標(biāo)與被動(dòng)移動(dòng)目標(biāo)。該方法克服了現(xiàn)有結(jié)合動(dòng)態(tài)目標(biāo)檢測(cè)視覺SLAM方法不能區(qū)分虛假移動(dòng)目標(biāo)和靜止目標(biāo)的缺陷。

同時(shí)為驗(yàn)證通過目標(biāo)檢測(cè)網(wǎng)絡(luò)判斷出的結(jié)果是否可靠，團(tuán)隊(duì)又加入了光流約束模塊，即通過計(jì)算符合幾何約束的光流特征點(diǎn)的比例來判斷潛在動(dòng)態(tài)目標(biāo)框內(nèi)的目標(biāo)是否真的存在運(yùn)動(dòng)。這一模塊可以更加有效地針對(duì)諸如停在原地的汽車等，這類保持靜止的潛在動(dòng)態(tài)目標(biāo)。

在地圖構(gòu)建方面，團(tuán)隊(duì)采用了循序漸進(jìn)的方式建立多層次地圖，每個(gè)層次的地圖都有不同特點(diǎn)。首先是稠密語義點(diǎn)云地圖，該地圖在攜帶語義信息的同時(shí)能夠更加直觀地展現(xiàn)場(chǎng)景內(nèi)容；

其次是語義分割地圖，團(tuán)隊(duì)提出一種簡(jiǎn)便快速的點(diǎn)云分割方法，該方法基于超體素和鄰接圖思想，能夠有效改善語義信息的誤匹配和無法對(duì)齊等現(xiàn)象；最后是物體級(jí)語義地圖，獨(dú)立的三維模型被首次使用來表示每個(gè)不同物體類別。

圖2 動(dòng)態(tài)場(chǎng)景視覺SLAM系統(tǒng)總體框架

實(shí)驗(yàn)結(jié)果分析

團(tuán)隊(duì)不僅在公開數(shù)據(jù)集上完成了相關(guān)驗(yàn)證實(shí)驗(yàn)，也通過Intel RealSense D400系列相機(jī)在真實(shí)室內(nèi)場(chǎng)景下采集數(shù)據(jù)并進(jìn)行實(shí)時(shí)實(shí)驗(yàn)。

◆ 定位精度評(píng)估

通過將不同時(shí)刻生成的系統(tǒng)位置和姿態(tài)與對(duì)應(yīng)的真實(shí)位置和姿態(tài)進(jìn)行比較，可評(píng)估該視覺SLAM系統(tǒng)的定位精度。評(píng)價(jià)指標(biāo)選用了被廣泛使用的絕對(duì)軌跡誤差A(yù)TE和相對(duì)誤差RPE，其中絕對(duì)軌跡誤差通過對(duì)真實(shí)值的位置偏移求和來評(píng)估軌跡的整體質(zhì)量，而相對(duì)位姿誤差則考慮局部運(yùn)動(dòng)誤差，因此可以用來測(cè)量漂移。

為了能夠提供更加完善的實(shí)驗(yàn)結(jié)果，本文對(duì)每個(gè)數(shù)據(jù)集進(jìn)行連續(xù)5次的數(shù)據(jù)采集，記錄每次的均方根誤差，并將這5次的均值作為最終數(shù)據(jù)樣本，數(shù)據(jù)結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果表明所提方法在高動(dòng)態(tài)場(chǎng)景下，無論是ATE還是RPE，相比現(xiàn)有方法都有非常明顯的提高。

◆ 地圖質(zhì)量評(píng)估

所提方法構(gòu)建的地圖為稠密地圖，因此可通過點(diǎn)云數(shù)量的對(duì)比及每個(gè)三維點(diǎn)的空間位置的比較來進(jìn)行較為準(zhǔn)確的評(píng)價(jià)。相較于現(xiàn)有地圖重建方法，所提方法重建的地圖與真實(shí)模型的重合度更高。

圖3展示了在TUM的fr3-W-xyz數(shù)據(jù)集上生成多層次地圖的最終結(jié)果，可以看出3張地圖都沒有受到數(shù)據(jù)集中大幅度走動(dòng)的人的影響，并且都攜帶了一致的語義信息，其中綠色代表顯示器，黃色為鍵盤，粉色為鼠標(biāo)。而生成的地圖3作為物體級(jí)語義地圖不僅可以為避障和抓取等高級(jí)任務(wù)提供有效幫助，還節(jié)省了更多的存儲(chǔ)資源。

總結(jié)

武漢大學(xué)高智教授智能無人系統(tǒng)團(tuán)隊(duì)針對(duì)動(dòng)態(tài)場(chǎng)景下的不確定性問題，利用動(dòng)態(tài)場(chǎng)景中目標(biāo)之間的相互關(guān)系，結(jié)合目標(biāo)檢測(cè)網(wǎng)絡(luò)和光流約束，提出了一套完整的可適用于動(dòng)態(tài)場(chǎng)景的視覺SLAM方案。該方案不僅能夠提升動(dòng)態(tài)場(chǎng)景下的定位精度，還利用提出的基于超體素的點(diǎn)云分割方案，完成動(dòng)態(tài)場(chǎng)景下的多層次語義地圖構(gòu)建。該視覺SLAM方案可以用于避障、導(dǎo)航等真實(shí)應(yīng)用場(chǎng)景。

團(tuán)隊(duì)介紹

TEAM

武漢大學(xué)高智教授智能無人系統(tǒng)團(tuán)隊(duì)

智能系統(tǒng)與視覺實(shí)驗(yàn)室

Intelligent System Vision Laboratory

高智博士現(xiàn)就職于武漢大學(xué)遙感信息工程學(xué)院，教授、博士生導(dǎo)師，國家海外高層次人才計(jì)劃（青年項(xiàng)目）獲得者，湖北省楚天學(xué)者特聘教授，湖北省杰青，國家基金委重大項(xiàng)目課題負(fù)責(zé)人。高智教授長期從事人工智能、計(jì)算機(jī)視覺與智能無人系統(tǒng)相關(guān)的核心問題研究，及其在測(cè)繪遙感領(lǐng)域的應(yīng)用研究。

高智教授曾經(jīng)在新加坡國立大學(xué)工作11年，先后擔(dān)任博士后，博士后研究員，研究員及獨(dú)立PI等職位。高智教授在科研項(xiàng)目、學(xué)術(shù)論文、人才培養(yǎng)、學(xué)術(shù)服務(wù)等方面取得優(yōu)異成果。在科研項(xiàng)目方面，作為項(xiàng)目負(fù)責(zé)人或課題負(fù)責(zé)人主持了中國、新加坡政府項(xiàng)目10余項(xiàng)及跨國公司合作項(xiàng)目6項(xiàng)。在學(xué)術(shù)論文方面，發(fā)表學(xué)術(shù)論文90余篇，其中SCI論文43篇，發(fā)表在IEEE PAMI、IJCV、IEEE TIP、ISPRS JPRS、IEEE TGRS、IEEE ITS、CVPR、ECCV、ICRA、IROS等頂級(jí)期刊及會(huì)議。在人才培養(yǎng)方面，指導(dǎo)博士后4人、博士生12人、碩士生36人，并指導(dǎo)學(xué)生多次在國內(nèi)外比賽中獲獎(jiǎng)。

在學(xué)術(shù)服務(wù)方面，曾擔(dān)任2項(xiàng)期刊的編委，3項(xiàng)國際會(huì)議的編輯、程序委員會(huì)成員和分論壇主席，受邀發(fā)表主題演講10余次。高智教授具有廣泛的科研合作，團(tuán)隊(duì)與香港中文大學(xué)、香港科技大學(xué)緊密合作，圍繞前沿技術(shù)研究、高端人才培養(yǎng)等領(lǐng)域開展高水平、高質(zhì)量的合作，雙方團(tuán)隊(duì)每周舉行學(xué)術(shù)討論與會(huì)議，建立了穩(wěn)定的人員定期互訪機(jī)制。

團(tuán)隊(duì)一直關(guān)注惡劣與挑戰(zhàn)場(chǎng)景（如不穩(wěn)定光照、暗光照、弱紋理、惡劣天氣、動(dòng)態(tài)環(huán)境）下無人系統(tǒng)視覺相關(guān)的最前沿研究領(lǐng)域，并圍繞“Vision for Intelligent Systems”和“Intelligent Systems based Vision”兩個(gè)重點(diǎn)研究方向開展了深入研究，取得一系列成果。

在Vision for Intelligent Systems方面，團(tuán)隊(duì)在同時(shí)定位與地圖構(gòu)建(Simultaneous Localization And Mapping)、魯棒位姿估計(jì)與運(yùn)動(dòng)控制、多模態(tài)數(shù)據(jù)融合與處理方面有較多積累，多篇學(xué)術(shù)論文發(fā)表于機(jī)器人、自動(dòng)化及工業(yè)應(yīng)用領(lǐng)域的頂刊、頂會(huì)，包括IEEE Transactions on Cybernetics、IEEE Transactions on Industrial Electronics、IEEE Transactions on Robotics、IEEE Transactions on Intelligent Transportation Systems、IROS、ICRA等。

圖4 在地下礦道內(nèi)通過多傳感器融合進(jìn)行定位與建圖

在Intelligent Systems based Vision方面，團(tuán)隊(duì)在基于人工智能的場(chǎng)景語義分割與理解、影像去霧去雨、小樣本目標(biāo)檢測(cè)、遙感影像智能解譯等領(lǐng)域有較多成果。相關(guān)論文發(fā)表于業(yè)內(nèi)頂刊、頂會(huì)，包括IEEE Transactions on Pattern Analysis and Machine Intelligence、IEEE Transactions on Image Processing、International Journal of Computer Vision 、ISPRS Journal of Photogrammetry and Remote Sensing、CVPR、ECCV等。

圖5 惡劣條件下視覺數(shù)據(jù)增強(qiáng)

聲 明

本文系《電子與信息學(xué)報(bào)》獨(dú)家稿件，內(nèi)容僅供學(xué)習(xí)交流，版權(quán)屬于原作者。歡迎評(píng)論、轉(zhuǎn)載和分享本公眾號(hào)原創(chuàng)內(nèi)容，轉(zhuǎn)載請(qǐng)與本號(hào)聯(lián)系授權(quán)，標(biāo)注原作者和信息來源《電子與信息學(xué)報(bào)》。

本號(hào)發(fā)布信息旨在傳播交流。如涉及文字、圖片、版權(quán)等問題，請(qǐng)?jiān)?0日內(nèi)與本號(hào)聯(lián)系，我們將第一時(shí)間處理。《電子與信息學(xué)報(bào)》擁有最終解釋權(quán)。