機(jī)器視覺(jué)中的攝像機(jī)標(biāo)定和自標(biāo)定分析

機(jī)器視覺(jué)的基本任務(wù)之一是從攝像機(jī)獲取圖像信息并計(jì)算三維空間中物體的幾何信息，以由此重建和識(shí)別物體。而空間物體表面 某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過(guò)實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)過(guò)程被稱為攝像機(jī)定標(biāo)(或稱為標(biāo)定)。標(biāo)定過(guò)程就是確定攝像機(jī)的幾何和光學(xué)參數(shù)，以及攝像機(jī)相對(duì)于世界坐標(biāo)系的方位。由于標(biāo)定精度的大小，直接影響著計(jì)算機(jī)視覺(jué)(機(jī)器視覺(jué))的精度。因此，只有做好了攝像機(jī)標(biāo)定工作，后續(xù)工作才能正常展開(kāi)，可以說(shuō)，提高標(biāo)定精度也是當(dāng)前科研工作的重要方面。

攝像機(jī)通過(guò)成像透鏡將三維場(chǎng)景投影到攝像機(jī)二維像平面上，這個(gè)投影可用成像變換 (即攝像機(jī)成像模型)來(lái)描述。攝像機(jī)成像模型分為線形模型和非線性模型。針孔成像模型就屬于線形攝像機(jī)模型，本文就討論在這種模型下，某空間點(diǎn)與其圖像投 影點(diǎn)在各種坐標(biāo)系下的變換關(guān)系。圖1所示為三個(gè)不同層次的坐標(biāo)系在針孔成像模型下的關(guān)系。其中(Xw，Yw，Zw)為世界坐標(biāo)系，(x，y，z)為攝像機(jī) 坐標(biāo)系，XfQfYf為以像素為單位的圖像坐標(biāo)系，XOY為以毫米為單位的圖像坐標(biāo)系。

圖像中某點(diǎn)在以毫米為單位的圖像坐標(biāo)系中的坐標(biāo)與其在以像素為單位的圖像坐標(biāo)系中的坐標(biāo)的變換關(guān)系如下：

空間某點(diǎn)在世界坐標(biāo)系中的坐標(biāo)與其在攝像機(jī)坐標(biāo)系中的坐標(biāo)變換關(guān)系如下：

其中，為3&TImes;3正交單位矩；t為三維平移向量；M2為4&TImes;4矩陣。

由于針孔成像模型有如下關(guān)系：

所以，將(1)，(2)代入上式的齊次坐標(biāo)和矩陣表示可得：

其中，M1為攝像機(jī)內(nèi)參數(shù)，M2為攝像機(jī)外參數(shù)。確定某一攝像機(jī)參數(shù)稱為攝像機(jī)定標(biāo)。

總的來(lái)說(shuō)，攝像機(jī)標(biāo)定可以分為傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法兩大類。傳統(tǒng)攝像機(jī)標(biāo)定的基本方法是在一定的攝像機(jī)模型下，通過(guò)對(duì)特定標(biāo)定參照物 進(jìn)行圖像處理，并利用一系列數(shù)學(xué)變換公式計(jì)算及優(yōu)化，來(lái)求取攝像機(jī)模型內(nèi)部參數(shù)和外部參數(shù)。然而，該方法在場(chǎng)景未知和攝像機(jī)任意運(yùn)動(dòng)的一般情況下，其標(biāo)定 很難實(shí)現(xiàn)。20世紀(jì)90年代初，F(xiàn)augeras，Luong，Maybank等人首次提出了攝像機(jī)自標(biāo)定方法。這種自標(biāo)定法利用攝像機(jī)本身參數(shù)之間的約 束關(guān)系來(lái)標(biāo)定，而與場(chǎng)景和攝像機(jī)的運(yùn)動(dòng)無(wú)關(guān)，所以更為靈活。

2.1 基于3D立體靶標(biāo)的攝像機(jī)標(biāo)定
基于3D立體靶標(biāo)進(jìn)行攝像機(jī)標(biāo)定是將一個(gè)3D立體靶標(biāo)放置在攝像機(jī)前，靶標(biāo)上每一個(gè)小方塊 的頂點(diǎn)均可作為特征點(diǎn)。每個(gè)特征點(diǎn)相對(duì)于世界坐標(biāo)系的位置在制作時(shí)應(yīng)精確測(cè)定。攝像機(jī)獲得靶標(biāo)上特征點(diǎn)的圖像后，由于表現(xiàn)三維空間坐標(biāo)系與二維圖像坐標(biāo)系 關(guān)系的方程是攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)的非線性方程，如果忽略攝像機(jī)鏡頭的非線性畸變并把透視變換矩陣中的元素作為未知數(shù)，來(lái)給定一組三維控制點(diǎn)和對(duì)應(yīng)的 圖像點(diǎn)，那么，就可以利用直接線性變換法來(lái)求解透視變換矩陣中的各個(gè)元素。所以，由靶標(biāo)上特征點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)，即可計(jì)算出攝像機(jī)的內(nèi)外參數(shù)。

2.2 基于2D平面靶標(biāo)的攝像機(jī)標(biāo)定
該方法又稱為張正友標(biāo)定法，這是一種適合應(yīng)用的新型靈活方法。該方法要求攝像機(jī)在兩個(gè)以上不同的方位拍攝一個(gè)平面靶標(biāo)，攝像機(jī)和2D平面靶標(biāo)都可以自由 移動(dòng)，且內(nèi)部參數(shù)始終不變，假定2D平面靶標(biāo)在世界坐標(biāo)系中的Z=0，那么，通過(guò)線性模型分析就可計(jì)算出攝像機(jī)參數(shù)的優(yōu)化解，然后用基干最大似然法進(jìn)行非 線性求精。在這個(gè)過(guò)程中得出考慮鏡頭畸變的目標(biāo)函數(shù)后就可以求出所需的攝像機(jī)內(nèi)、外部參數(shù)。這種標(biāo)定方法既具有較好的魯棒性，又不需昂貴的精制標(biāo)定塊，很 有實(shí)用性。但是，張正友方法在進(jìn)行線性內(nèi)外參數(shù)估計(jì)時(shí)，由于假定模板圖像上的直線經(jīng)透視投影后仍然為直線，進(jìn)而進(jìn)行圖像處理，這樣，實(shí)際上會(huì)引入誤差，所 以，嘎方法在廣角鏡畸變比較大的情況誤差較大。

2.3 基于徑向約束的攝像機(jī)標(biāo)定
Tsai(1986)給出了一種基 于徑向約束的兩步法標(biāo)定方法，該方法的核心是先利用RAC(徑向一致約束)條件用最小二乘法解超定線性方程，以求出除tτ(攝像機(jī)光軸方向的平移)外的其 他像機(jī)外參數(shù)，然后再在攝像機(jī)有和無(wú)透鏡畸變等兩種情況下求解攝像機(jī)的其他參數(shù)。Tsai方法的精度比較高，適用于精密測(cè)量，但它對(duì)設(shè)備的要求也很高，不 適用于簡(jiǎn)單的標(biāo)定。這種方法的精度是以設(shè)備的精度和復(fù)雜度為代價(jià)的。
 

不依賴于標(biāo)定參照物，僅利用攝像機(jī)在運(yùn)動(dòng)過(guò)程中周圍環(huán)境圖像與圖像之間的對(duì)應(yīng)關(guān)系來(lái)對(duì)攝像機(jī)進(jìn)行的標(biāo)定的方法稱為攝像機(jī)自標(biāo)定方法。目前已有的自標(biāo)定技 術(shù)大致可以分為基于主動(dòng)視覺(jué)的攝像機(jī)自標(biāo)定技術(shù)、直接求解Kruppa方程的攝像機(jī)自標(biāo)定方法、分層逐步標(biāo)定法、基于二次曲面的自標(biāo)定方法等幾種。

3.1 基于主動(dòng)視覺(jué)的自標(biāo)定法
所謂主動(dòng)視覺(jué)系統(tǒng)，是指攝像機(jī)被固定在一個(gè)可以精確控制的平臺(tái)上，且平臺(tái)的參數(shù)可以從計(jì)算機(jī)精確讀出，只需控制攝像機(jī)作特殊的運(yùn)動(dòng)來(lái)獲得多幅圖像，然后 利用圖像和已知的攝像機(jī)運(yùn)動(dòng)參數(shù)來(lái)確定攝像機(jī)的內(nèi)外參數(shù)。其代表性的方法是馬頌德提出的基于兩組三正交運(yùn)動(dòng)的線性方法，后來(lái)?xiàng)铋L(zhǎng)江，李華等人提出了改進(jìn)的 方案，即分別是基于4組平面正交以及5組平面正交運(yùn)動(dòng)并利用圖像中的極點(diǎn)信息來(lái)線性標(biāo)定攝像機(jī)參數(shù)。此種自標(biāo)定方法算法簡(jiǎn)單，可以獲得線性解，不足之處在 于必須有可以精確控制的攝像機(jī)運(yùn)動(dòng)平臺(tái)。

3.2 基于Kruppa方程的自標(biāo)定方法
Faugeras,Luong,Maybank等提出的自標(biāo)定方法是直接基于求解Kruppa方程的一種方法，該方法利用絕對(duì)二次曲線像和極線變換的概念 推導(dǎo)出Kruppa方程。基于Kxuppa方程的自標(biāo)定方法不需要對(duì)圖像序列做射影重建，而是對(duì)兩圖像之間建立方程，這個(gè)方法在某些很難將所有圖像統(tǒng)一到 一致的射影框架場(chǎng)合會(huì)比分層逐步標(biāo)定法更具優(yōu)勢(shì)，但代價(jià)是無(wú)法保證無(wú)窮遠(yuǎn)平面在所有圖像對(duì)確定的射影空間里的一致性，當(dāng)圖像序列較長(zhǎng)時(shí)，基于Kruppa 方程的自標(biāo)定方法可能不穩(wěn)定。且其魯棒性依賴于給定的初值。

3.3 分層逐步標(biāo)定法
近年來(lái)，分層逐步標(biāo)定法已成為自 標(biāo)定研究中的熱點(diǎn)，并在實(shí)際應(yīng)用中逐漸取代了直接求解Kruppa方程的方法。分層逐步標(biāo)定法首先要求對(duì)圖像序列做射影重建，再通過(guò)絕對(duì)二次曲線(面)施 加約束，最后定出仿射參數(shù)(即無(wú)窮遠(yuǎn)平面方程)和攝像機(jī)內(nèi)參數(shù)。分層逐步標(biāo)定法的特點(diǎn)是在射影標(biāo)定的基礎(chǔ)上，以某一幅圖像為基準(zhǔn)做射影對(duì)齊，從而將未知數(shù) 數(shù)量縮減，再通過(guò)非線性優(yōu)化算法同時(shí)解出所有未知數(shù)。不足之處在于非線性優(yōu)化算法的初值只能通過(guò)預(yù)估得到，而不能保證其收斂性。由于射影重建時(shí)，都是以某 參考圖像為基準(zhǔn)，所以，參考圖像的選取不同，標(biāo)定的結(jié)果也不同相。

3.4 基于二次曲面的自標(biāo)定方法
Triggs是 最早將絕對(duì)二次曲面的概念引入自標(biāo)定的研究中來(lái)的，這種自標(biāo)定方法與基于Kruppa方程的方法在本質(zhì)上是相同的，它們都利用絕對(duì)二次曲線在歐氏變換下的 不變性。但在輸入多幅圖像并能得到一致射影重建的情況下，基于二次曲面的自標(biāo)定方法會(huì)更好一些，其根源在于二次曲面包含了無(wú)窮遠(yuǎn)平面和絕對(duì)二次曲線的所有 信息，且基于二次曲面的自標(biāo)定方法又是在對(duì)所有圖像做射影重建的基礎(chǔ)上計(jì)算二次曲面的，因此，該方法保證了無(wú)窮遠(yuǎn)平面對(duì)所有圖像的一致性。

傳統(tǒng)的攝像機(jī)標(biāo)定需要標(biāo)定參照物。為了提高計(jì)算精度，還需確定非線性畸變校正參數(shù)。攝像機(jī)自標(biāo)定相對(duì)于傳統(tǒng)方法有更好的靈活性和實(shí)用性，通過(guò)十多年的不懈努力，理論上的問(wèn)題已基本解決，目前研究的重點(diǎn)是如何提高標(biāo)定算法的魯棒性以及如何很好地用這些理論來(lái)解決實(shí)際視覺(jué)問(wèn)題。為了提高魯棒性，建議更多的使用分層逐步自標(biāo)定方法，并應(yīng)對(duì)自標(biāo)定的結(jié)果進(jìn)行 線性優(yōu)化。