基于模型的單目視覺(jué)定位方法研究概述

1 引言

        視覺(jué)是人類認(rèn)識(shí)世界的最重要的手段之一，人類獲取的信息百分之八十以上都是通過(guò)視覺(jué)得到的。隨著計(jì)算機(jī)技術(shù)、傳感器技術(shù)的發(fā)展，使用攝像機(jī)與計(jì)算機(jī)模擬并實(shí)現(xiàn)部分生物視覺(jué)成為可能，并已在許多方面得到成功應(yīng)用。同時(shí)，如何利用信號(hào)處理和計(jì)算機(jī)技術(shù)對(duì)圖像信息進(jìn)行處理、分析、理解、識(shí)別，并最終做出正確的決策成為一個(gè)新的研究領(lǐng)域，由此形成一門新興的學(xué)科，即計(jì)算機(jī)視覺(jué)。

　　可以獲得三維信息的視覺(jué)方法有許多，典型的有雙目或多目立體視覺(jué)，基于模型的單目視覺(jué)等。其中后一種方法是指僅利用一臺(tái)攝像機(jī)完成定位工作。因其僅需一臺(tái)視覺(jué)傳感器，所以該方法的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、相機(jī)標(biāo)定也簡(jiǎn)單，同時(shí)還避免了立體視覺(jué)中的視場(chǎng)小，立體匹配困難的不足。其前提條件是必須已知物體的幾何模型。在計(jì)算機(jī)視覺(jué)研究領(lǐng)域，如何在單目視覺(jué)的條件下，完成位置與姿態(tài)的求解已成為一個(gè)重要的研究方向。

　　基于模型的單目視覺(jué)定位可以應(yīng)用在多方面，包括機(jī)器人自主導(dǎo)航、陸地和空間移動(dòng)機(jī)器人定位、視覺(jué)伺服、攝像機(jī)校正、目標(biāo)跟蹤、視覺(jué)監(jiān)測(cè)、物體識(shí)別、零部件裝配、攝影測(cè)量等。

　　基于模型的單目視覺(jué)定位問(wèn)題所應(yīng)用的幾何特征可分為點(diǎn)、直線與高級(jí)幾何特征等幾類。相對(duì)來(lái)說(shuō)，目前對(duì)基于點(diǎn)特征的單目視覺(jué)定位方法研究較多。直線特征具有抗遮擋能力強(qiáng)、圖像處理簡(jiǎn)單的優(yōu)點(diǎn)，所以有一部分學(xué)者致力于基于直線特征單目視覺(jué)定位方法的研究。而基于高級(jí)幾何特征的單目視覺(jué)定位方法目前研究的還比較少。

　　本文根據(jù)基于模型的單目視覺(jué)定位方法所使用的定位特征類型把單目視覺(jué)定位方法分為基于點(diǎn)特征的定位方法，基于直線特征的定位方法，基于高級(jí)幾何特征的定位方法，全面介紹了各種特征定位方法的研究現(xiàn)狀。目的是方便讀者了解各種特征定位方法的研究現(xiàn)狀，為未來(lái)的研究打下理論基礎(chǔ)。

2 點(diǎn)特征定位

　　點(diǎn)特征定位又稱為PNP問(wèn)題[1]，它是計(jì)算機(jī)視覺(jué)、攝影測(cè)量學(xué)乃至數(shù)學(xué)領(lǐng)域的一個(gè)經(jīng)典問(wèn)題。PNP問(wèn)題是在1981年首先由Fischler和Bolles[2]提出的，即給定N個(gè)控制點(diǎn)的相對(duì)空間位置以及給定控制點(diǎn)與光心連線所形成的夾角，求出各個(gè)控制點(diǎn)到光心的距離，如圖1所示。該問(wèn)題主要被用來(lái)確定攝像機(jī)與目標(biāo)物體之間的相對(duì)距離和姿態(tài)。

圖1 點(diǎn)的透視投影

　　經(jīng)典的問(wèn)題從本質(zhì)上來(lái)說(shuō)是非線性的，而且具有多解性。目前對(duì)PNP問(wèn)題的研究主要包括兩個(gè)方面：設(shè)計(jì)運(yùn)算速度快、穩(wěn)定的算法，來(lái)尋找PNP問(wèn)題的所有解或部分解。對(duì)多解現(xiàn)象的研究。即找出在什么條件下有1個(gè)、2個(gè)、3個(gè)或者4個(gè)解。

　　PNP問(wèn)題的研究集中在對(duì)P3P問(wèn)題、P4P問(wèn)題、P5P問(wèn)題的研究上。這是因?yàn)槿绻麅H使用兩個(gè)特征點(diǎn)即P2P問(wèn)題有無(wú)限組解，其物理意義是僅有兩個(gè)點(diǎn)不能確定兩點(diǎn)在攝像機(jī)坐標(biāo)系下的位置。而特征點(diǎn)的個(gè)數(shù)應(yīng)該大于五，PNP問(wèn)題變成了經(jīng)典的DLT問(wèn)題，是可以線性求解的。目前，人們對(duì)P3P、P4P 問(wèn)題已研究的比較清楚，并有如下結(jié)論：P3P 問(wèn)題最多有4個(gè)解，且解的上限可以達(dá)到，對(duì)于P4P問(wèn)題，當(dāng)4個(gè)控制點(diǎn)共面時(shí)，問(wèn)題有唯一解，當(dāng)4個(gè)控制點(diǎn)不共面時(shí)，問(wèn)題最多可能有5個(gè)解，且解的上限可以達(dá)到。對(duì)于P5P問(wèn)題，當(dāng)5個(gè)控制點(diǎn)中任意3點(diǎn)不共線時(shí)，則P5P問(wèn)題最多可能有兩個(gè)解，且解的上限可以達(dá)到。

3 直線特征定位

　　當(dāng)前，基于模型單目視覺(jué)定位的模型特征分為點(diǎn)、直線與高級(jí)幾何特征等幾類。相對(duì)來(lái)說(shuō)，目前對(duì)于基于點(diǎn)特征的單目視覺(jué)定位方法研究較多，對(duì)于基于直線特征的單目視覺(jué)定位方法的研究還比較少。在某些特定的環(huán)境中，采用直線特征進(jìn)行定位比采用點(diǎn)特征進(jìn)行定位具有一定的優(yōu)勢(shì)。直線特征的優(yōu)勢(shì)表現(xiàn)在以下幾方面：首先，自然環(huán)境的圖像包含很多的直線特征。其次，在圖像上直線特征比點(diǎn)特征的提取精度更高。最后，直線特征抗遮擋能力比較強(qiáng)。同時(shí)相對(duì)于更高級(jí)的幾何特征，直線特征也具有優(yōu)勢(shì)，具體表現(xiàn)在以下幾方面：首先，在周圍自然環(huán)境的圖像中，直線比其他的高級(jí)幾何特征更常見(jiàn)，同時(shí)也更容易提取。其次，直線的數(shù)學(xué)表達(dá)式更簡(jiǎn)單，處理起來(lái)效率更高。因此綜合來(lái)看，在某些方面采用直線特征進(jìn)行視覺(jué)定位具有其它特征所不具有的一些優(yōu)勢(shì)，在實(shí)現(xiàn)高精度、實(shí)時(shí)自主定位方面有著廣泛的應(yīng)用前景。

　　對(duì)于空間恢復(fù)，至少需要非共線的三個(gè)特征點(diǎn)來(lái)獲得唯一解。如果使用直線，則需要三條直線，三條直線不同時(shí)平行且不和光心共面。目前，理論上研究最多的是利用三線定位的問(wèn)題，即Perspective Projection of Three Lines，以下簡(jiǎn)稱P3L問(wèn)題，如圖2所示。

圖2 直線的透視投影

　　對(duì)于P3L問(wèn)題，大部分學(xué)者是通過(guò)圖像直線和攝像機(jī)光心構(gòu)成的投影平面的法向量和物體直線垂直來(lái)建立數(shù)學(xué)模型。這種方法要求確定物體位姿的三條直線不同時(shí)平行且不和光心共面，進(jìn)而建立由三條直線構(gòu)成的三個(gè)非線性方程。Horaud等 [3]，Dhome等[4]，Chen [5]，Liu等[6]都是使用的這種方法。其數(shù)學(xué)模型可以描述如下：假設(shè)攝像機(jī)坐標(biāo)系和物體坐標(biāo)系之間的旋轉(zhuǎn)矩陣為，已知空間直線在物體坐標(biāo)系下的方向向量為，經(jīng)過(guò)旋轉(zhuǎn)變換到攝像機(jī)坐標(biāo)系下的方向向量為：。由數(shù)學(xué)模型得到關(guān)于旋轉(zhuǎn)矩陣的關(guān)系式為：。因此只要通過(guò)三條直線的投影方程，就能通過(guò)解方程組求得到矩陣的三個(gè)參量，即可以求得矩陣。這種方法有效地解決了使用直線特征如何進(jìn)行視覺(jué)定位的問(wèn)題，其中的不足之處是非線性方程組比較復(fù)雜，定位誤差偏大。

　　基于直線特征進(jìn)行單目視覺(jué)定位，大部分的研究集中在對(duì)定位數(shù)學(xué)模型的求解問(wèn)題上。目前，求解的方法主要有兩種，一種是閉式解，一種是數(shù)值解。對(duì)于閉式解方法，Dhome[4]和Chen[5]由空間任意三條線通過(guò)建立特殊的模型坐標(biāo)系推導(dǎo)出一個(gè)八次多項(xiàng)式，這個(gè)八次多項(xiàng)式可以由閉式解的方法來(lái)確定物體的位姿。Radu Horaud[3]對(duì)于非共面的三條直線得到一個(gè)四次多項(xiàng)式，最后可以由迭代的方法也可以由閉式解的方法確定物體的位姿。閉式解方法的優(yōu)點(diǎn)是實(shí)時(shí)性好，適合應(yīng)用在實(shí)時(shí)系統(tǒng)中，缺點(diǎn)是存在多解問(wèn)題，定位誤差偏大。許多學(xué)者提出來(lái)各種不同的迭代方法來(lái)解決閉式解的多解問(wèn)題，也就是數(shù)值解方法。

　　對(duì)于數(shù)值解方法，Yuan[7]建議把R參數(shù)從T參數(shù)中分離出來(lái)，集中計(jì)算R參數(shù)。R旋轉(zhuǎn)矩陣是通過(guò)正交矩陣來(lái)表示，解是通過(guò)六個(gè)二次多項(xiàng)式的公共根來(lái)表示，這個(gè)公共根通過(guò)牛頓迭代梯度法得到，然而作者注意到在使用牛頓迭代梯度法時(shí)會(huì)出現(xiàn)局部最優(yōu)解，只有給迭代方法合適的初值才能得到全局最小值。Lowe等[8]使用牛頓迭代法估計(jì)物體相對(duì)于攝像機(jī)的方向和位置參數(shù)，以模型投影和圖像之間距離的平方和作為誤差函數(shù)，然后對(duì)誤差函數(shù)計(jì)算最小值。和Yuan的方法一樣，Lowe等[8]注意到牛頓迭代法的一些問(wèn)題，并且在以后的文章中他研究了怎樣處理初值和穩(wěn)定性問(wèn)題，提供好的初值，算法的穩(wěn)定性是可以保證的。Liu等[6]使用交替迭代方法來(lái)求解視覺(jué)參數(shù)。一條直線的對(duì)應(yīng)可以由兩個(gè)點(diǎn)的對(duì)應(yīng)來(lái)確定，作者注意到，使用線特征對(duì)應(yīng)，旋轉(zhuǎn)參數(shù)很容易從位置參數(shù)中分離出來(lái)，一旦旋轉(zhuǎn)參數(shù)確定下來(lái)了，對(duì)平移參數(shù)的求解是線性問(wèn)題，旋轉(zhuǎn)參數(shù)用歐拉角來(lái)表示。作者把誤差函數(shù)線性化，他們注意到當(dāng)三個(gè)角度都比三十度小的時(shí)候，該方法效果好。數(shù)值解方法的優(yōu)點(diǎn)是定位精度較高。其缺點(diǎn)是在優(yōu)化過(guò)程中容易出現(xiàn)局部極小值，并不能保證解的唯一性；計(jì)算量偏大，迭代時(shí)間較長(zhǎng)，不適合應(yīng)用在實(shí)時(shí)系統(tǒng)中。綜合來(lái)看，現(xiàn)有的直線特征單目視覺(jué)定位算法在定位精度和實(shí)時(shí)性上很難滿足實(shí)際工程應(yīng)用的需要，有待進(jìn)一步的提高，因此，探討并研究定位精度高、實(shí)時(shí)性好的直線特征單目視覺(jué)定位算法非常有必要。

4 高級(jí)幾何特征定位

　　高級(jí)幾何特征包括圓，橢圓，二次曲線等。對(duì)于基于模型的單目視覺(jué)定位問(wèn)題，很多學(xué)者作了這方面的研究工作。通常，他們使用點(diǎn)或直線的投影作為基元，由三個(gè)圖像點(diǎn)或三條圖像直線以及在物體坐標(biāo)下點(diǎn)或直線之間的相對(duì)位置關(guān)系，確定模型的姿態(tài)。有時(shí)，基于模型單目視覺(jué)定位問(wèn)題的模型采用曲線表面的物體，所以使用曲線進(jìn)行曲線表面物體的定位成為另外一個(gè)積極研究的方向。

　　使用曲線定位的好處是：首先，自然界許多物體的表面上有曲線特征；其次，曲線包含三維物體的全局位姿信息；最后，對(duì)曲線的表示是對(duì)稱矩陣，因此數(shù)學(xué)處理起來(lái)很方便。在很多情況下，我們可以獲得閉式解，從而避免了非線性搜索。對(duì)比于其它兩種特征，不足的地方是自然界中還是點(diǎn)特征和直線特征更普遍存在，具有廣泛的適用性。
對(duì)于曲線表面的物體，一些學(xué)者提出了使用曲線進(jìn)行定位的方法，如圖3所示。當(dāng)用曲線進(jìn)行姿態(tài)估計(jì)時(shí)，一定要對(duì)復(fù)雜的非線性系統(tǒng)進(jìn)行求解。Forsyth等[9]對(duì)于共面曲線提出一種定位方法，這種方法是對(duì)兩個(gè)四次多項(xiàng)式進(jìn)行求解。Ma Songde[10]提出，對(duì)于兩個(gè)非共面曲線，它的姿態(tài)可以對(duì)有六個(gè)二次多項(xiàng)式組成的非線性系統(tǒng)進(jìn)行求解得到；當(dāng)兩個(gè)空間曲線共面時(shí)，可以得到物體姿態(tài)的閉式解。

圖3 曲線的透視投影

　　圓和橢圓是曲線的一種。文獻(xiàn)[11]提出一種對(duì)圓特征進(jìn)行定位，如圖4所示，屬于代數(shù)方法。在文獻(xiàn)[12]中，提出一種新的使用圓特征進(jìn)行定位的方法，屬于幾何方法。

圖4 圓的透視投影

5 結(jié)論

　　基于模型的單目視覺(jué)定位方法研究是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要問(wèn)題?？梢詰?yīng)用在多方面，包括機(jī)器人自主導(dǎo)航、陸地和空間移動(dòng)機(jī)器人定位、視覺(jué)伺服、攝像機(jī)校正、目標(biāo)跟蹤、視覺(jué)監(jiān)測(cè)、物體識(shí)別、零部件裝配等。

　　本文根據(jù)基于模型的單目視覺(jué)定位方法所使用的定位特征類型把定位方法進(jìn)行了分類，并且詳細(xì)介紹了各種特征定位方法的研究現(xiàn)狀。

　　對(duì)于基于點(diǎn)特征的定位方法，很多研究者進(jìn)行了深入廣泛的研究，目前的研究成果已經(jīng)比較成熟。對(duì)于基于直線特征和基于高級(jí)幾何特征的定位方法，目前的研究不是很多。在定位精度和實(shí)時(shí)性方面還很難滿足實(shí)際工程應(yīng)用的需要，在方法上有待于進(jìn)一步改進(jìn)和完善。在實(shí)際工程應(yīng)用中，探討并研究基于直線特征和基于高級(jí)幾何特征的高精度、實(shí)時(shí)性好的定位算法具有一定的研究?jī)r(jià)值。