全景圖像實(shí)時(shí)展開(kāi)在FPGA上的實(shí)現(xiàn)

目前，全景技術(shù)的研究主要將注意力集中在集合變換算法和鏡頭矯正算法的改進(jìn)，對(duì)實(shí)時(shí)性問(wèn)題研究較少。本系統(tǒng)利用FPGA對(duì)圓形極坐標(biāo)圖像進(jìn)行實(shí)時(shí)展開(kāi)。

　　系統(tǒng)總體設(shè)計(jì)

　　本系統(tǒng)在以EP2C70 FPGA芯片為核心的DE2-70開(kāi)發(fā)板上實(shí)現(xiàn)，系統(tǒng)主要模塊如圖1所示。

　　(1)視頻采集模塊：將ADV7180芯片輸出的數(shù)字視頻信號(hào)采集到SDRAM中緩存，并獲取相應(yīng)的控制信號(hào)。

　　(2)VGA控制模塊：將已經(jīng)處理好的數(shù)字視頻信號(hào)輸出到ADV7123，之后進(jìn)入VGA顯示器進(jìn)行顯示，并生成VGA控制信號(hào)和坐標(biāo)信號(hào)。

　　(3)展開(kāi)算法模塊：利用VGA控制模塊產(chǎn)生的坐標(biāo)信號(hào)對(duì)極坐標(biāo)數(shù)字視頻信號(hào)進(jìn)行展開(kāi)操作，生成矩形視頻信號(hào)。

　　系統(tǒng)模塊設(shè)計(jì)

　　根據(jù)系統(tǒng)框圖，本系統(tǒng)可分為以下幾個(gè)主要模塊：視頻采集模塊、展開(kāi)算法模塊和VGA控制模塊。系統(tǒng)時(shí)鐘為ADV7180產(chǎn)生的27MHz像素時(shí)鐘，保證了采集與處理的同步進(jìn)行。

　　視頻采集模塊

　　視頻采集模塊接收由ADV7180芯片串行輸出的格式為ITU-R BT.656、分辨率為720×525的數(shù)字視頻信號(hào)，并提取信號(hào)中有效像素信息，同時(shí)將其轉(zhuǎn)換為分辨率為640×480的數(shù)字視頻信號(hào)，存入SDRAM中，之后，再提取緩存中數(shù)據(jù)轉(zhuǎn)換為適合VGA顯示的RGB信號(hào)傳輸?shù)胶罄m(xù)模塊。

　　ITU-R BT.656解碼器

　　ITU-R BT.656協(xié)議以27MHz速率復(fù)用傳送數(shù)字視頻數(shù)據(jù)，其順序是：Cb，Y，Cr，Y，Cb，Y，Cr，?? 其中，Cb，Y，Cr 這三個(gè)字指的是同一個(gè)像素的亮度和色差信號(hào)，之后的Y 對(duì)應(yīng)于下一個(gè)像素的亮度。Y、Cb、Cr在傳輸中數(shù)據(jù)量的比為Y:Cb:Cr=4:2:2。另外，信號(hào)同時(shí)包括相應(yīng)的場(chǎng)、行信號(hào)。ITU-R BT.656解碼器的目的是將ADV7180芯片產(chǎn)生的ITU-R BT.656協(xié)議數(shù)據(jù)流中的8位像素信息提取出來(lái)，并根據(jù)協(xié)議中的控制信號(hào)生成相應(yīng)的行列掃描信號(hào)與像素有效信號(hào)。在提取像素信息的同時(shí)，將數(shù)據(jù)存儲(chǔ)順序變換為：Y，Cb，Y，Cr，Y，Cb，Y，Cr??。在存入SDRAM時(shí)，偶數(shù)地址存儲(chǔ){Y，Cb}，奇數(shù)地址存儲(chǔ){Y，Cr}。

　　SDRAM控制器

　　SDRAM控制器采集ITU-R BT.656解碼器輸出的像素信號(hào)，將其存入DE2-70開(kāi)發(fā)板上的IS42S16160B SDRAM中。系統(tǒng)將其設(shè)計(jì)為一個(gè)四端口控制器，包括兩個(gè)讀口和兩個(gè)寫(xiě)口，并且使用108MHz時(shí)鐘驅(qū)動(dòng)SDRAM控制器和SDRAM芯片，保證在分頻之后，每一個(gè)讀寫(xiě)端口的頻率為27MHz，與像素時(shí)鐘同步。

由于ADV7180產(chǎn)生的視頻數(shù)據(jù)流是隔行掃描數(shù)據(jù)，分為奇數(shù)場(chǎng)和偶數(shù)場(chǎng)，所以SDRAM控制器除了對(duì)數(shù)據(jù)流進(jìn)行存儲(chǔ)，還要在讀取數(shù)據(jù)時(shí)進(jìn)行去交織操作。SDRAM控制器的雙讀口設(shè)計(jì)可以出色地完成去交織任務(wù)。在讀取數(shù)據(jù)時(shí)，利用VGA的行掃描信號(hào)控制這兩個(gè)讀口分別讀?。寒?dāng)VGA控制器掃描到奇數(shù)行時(shí)，由第一個(gè)讀口讀取相應(yīng)奇數(shù)行數(shù)據(jù);否則，由第二個(gè)讀口讀取相應(yīng)偶數(shù)行數(shù)據(jù)。之后，再合并這兩個(gè)讀口讀取的數(shù)據(jù)得到逐行掃描的、分辨率為640×480的視頻數(shù)據(jù)流。

　　YCbCr到RGB轉(zhuǎn)換模塊

　　本系統(tǒng)的最終目的是將視頻流輸出到VGA顯示器進(jìn)行顯示，而從SDRAM讀取得到的數(shù)據(jù)是YCbCr422格式，不符合VGA顯示要求，所以需要將其轉(zhuǎn)換為RGB數(shù)據(jù)格式。

　　首先將YCbCr422格式轉(zhuǎn)換為YCbCr444格式。在每一個(gè)時(shí)鐘上跳沿，判斷當(dāng)前VGA列掃描信號(hào)，若當(dāng)前列為奇數(shù)，則將SDRAM讀口得到的16位YCbCr信號(hào)的前8位賦值給Y作為當(dāng)前像素的Y值，后8位賦值給Cr作為當(dāng)前像素的Cr值，Cb保持不變;若當(dāng)前列為偶數(shù)，則YCbCr的前8位仍為當(dāng)前像素的Y值，后8位為當(dāng)前像素的Cb值，Cr保持不變。這樣就保證了輸出的Y、Cb、Cr三個(gè)信號(hào)是當(dāng)前像素的對(duì)應(yīng)描述信號(hào)。

　　在確定了每個(gè)像素對(duì)應(yīng)的YCbCr值之后，就可以通過(guò)如下公式計(jì)算得到對(duì)應(yīng)的RGB值。

DE2-70上的EP2C70 FPGA芯片內(nèi)嵌了150個(gè)乘法器塊，每一個(gè)乘法器塊可以配置為兩個(gè)9×9位的乘法器或者一個(gè)18×18位的乘法器。所以本系統(tǒng)使用QuartusⅡ中集成的MegaWizard Plug-In Manager配置乘加器模塊用于實(shí)現(xiàn)YCbCr顏色空間到RGB顏色空間的轉(zhuǎn)換。另外，上述轉(zhuǎn)換公式涉及浮點(diǎn)運(yùn)算，在Verilog中不易實(shí)現(xiàn)，所以將公式中各浮點(diǎn)值左移9位變?yōu)檎麛?shù)，從而公式調(diào)整為：

展開(kāi)算法模塊為本系統(tǒng)的核心模塊，利用EP2C70內(nèi)嵌的M4K存儲(chǔ)器和正余弦生成器實(shí)現(xiàn)了極坐標(biāo)視圖到直接坐標(biāo)視圖的實(shí)時(shí)展開(kāi)。

　　人眼視角約為120°?？紤]到人眼觀察的習(xí)慣，系統(tǒng)將圓形的極坐標(biāo)視圖分割成為第一、二、三、四象限四個(gè)部分，每部分90°，由使用者選取感興趣的部分進(jìn)行展開(kāi)，這樣既符合人眼觀察的習(xí)慣，又節(jié)省了空間。

　　視頻分塊

　　全景極坐標(biāo)視圖在顯示器上顯示時(shí)類似于圖5，其中矩形代表整個(gè)顯示器顯示的內(nèi)容，分辨率為640×480，圓形代表全景圖像出現(xiàn)的位置，半徑大約為240個(gè)像素，所以可以按圖5中虛線部分將視頻每一幀分為4塊，每一塊分辨率為240×240。系統(tǒng)使用VGA控制器生成的行列掃描信號(hào)標(biāo)定當(dāng)前像素的位置，當(dāng)像素位置位于全景圖像區(qū)域內(nèi)時(shí)，則將像素值存入M4K存儲(chǔ)器，否則繼續(xù)搜索下一個(gè)滿足條件的像素。

　　M4K存儲(chǔ)器設(shè)計(jì)

　　M4K存儲(chǔ)器是內(nèi)嵌在EP2C70中的存儲(chǔ)器塊，其中每一塊容量達(dá)到4096bit，可配置為真雙口存儲(chǔ)器，在EP2C70芯片上共有250塊M4K存儲(chǔ)器塊。本系統(tǒng)使用了209塊M4K存儲(chǔ)器塊，借助其高尋址精度，實(shí)現(xiàn)圖像的實(shí)時(shí)展開(kāi)。

　　M4K存儲(chǔ)器寫(xiě)地址

　　將數(shù)據(jù)寫(xiě)入M4K存儲(chǔ)器時(shí)，可以將數(shù)據(jù)流按照?qǐng)D像顯示順序全部存入，這樣就需要生成0~360°的所有正余弦查找表;同時(shí)，由于存入了全部圖像信息，將會(huì)有1/4左右的無(wú)效像素點(diǎn)，浪費(fèi)了寶貴的存儲(chǔ)器資源。系統(tǒng)利用M4K存儲(chǔ)器精確的尋址操作將第二、三、四象限的信息在存入時(shí)進(jìn)行翻轉(zhuǎn)，使得存入M4K存儲(chǔ)器的圖像僅顯示為第一象限的特性，則只需要生成0~90°的正余弦表就可以完成對(duì)整幅圖像的展開(kāi)計(jì)算。其次，固定攝像頭之后，圓形全景圖像在顯示器中的位置是固定的，所以可以確定每一行有效像素的坐標(biāo)范圍。當(dāng)行列掃描信號(hào)在此范圍之內(nèi)，則將該像素值存入M4K存儲(chǔ)器中，否則，繼續(xù)尋找下一個(gè)符合條件的像素點(diǎn)。所以，對(duì)第i象限的第M行第N個(gè)像素，如果為有效像素，則存入M4K存儲(chǔ)器的地址按如下規(guī)則計(jì)算：

這里的M和N取值范圍均為[0,239]，Invalid_pixel(K)表示在第K行第一個(gè)有效像素之前所有無(wú)效像素點(diǎn)總數(shù)。

M4K存儲(chǔ)器讀地址

　　M4K存儲(chǔ)器的讀操作完成了全景圖像的展開(kāi)。本系統(tǒng)采用極坐標(biāo)與直角坐標(biāo)的對(duì)應(yīng)關(guān)系實(shí)現(xiàn)全景圖像展開(kāi)。如圖6所示，全景圖像中的點(diǎn)P(x,y)在矩形圖像中對(duì)應(yīng)的點(diǎn)為P’(x’,y’)，則x’,y’與x,y的對(duì)應(yīng)關(guān)系應(yīng)為：



其中xΔ為橫坐標(biāo)方向角度步長(zhǎng)，yΔ為縱坐標(biāo)方向上的半徑步長(zhǎng)，分別由以下參數(shù)確定：

　　之前對(duì)不同象限圖像的翻轉(zhuǎn)存儲(chǔ)操作已經(jīng)簡(jiǎn)化了M4K中數(shù)據(jù)的讀取，所以只需要0~90°的正余弦查找表，查找表長(zhǎng)度為640。在VGA顯示器上的第M行第N個(gè)像素，其對(duì)應(yīng)像素值在M4K存儲(chǔ)器中的地址按如下規(guī)則進(jìn)行計(jì)算：

其中sin_table(N)和cos_table(N)為正余弦查找表中第N列對(duì)應(yīng)的正余弦值。

　　VGA控制模塊

　　VGA控制模塊根據(jù)系統(tǒng)時(shí)鐘生成行同步信號(hào)和場(chǎng)同步信號(hào)，同時(shí)接收前端模塊生成的RGB像素信號(hào)，并參照VGA顯示標(biāo)準(zhǔn)對(duì)VGA顯示進(jìn)行控制。本系統(tǒng)采用640×480的顯示分辨率，幀速為64.4fps。

　　系統(tǒng)性能

　　本系統(tǒng)每一幀畫(huà)面分辨率為640×480，像素時(shí)鐘為27MHz，在不考慮實(shí)時(shí)顯示而只考慮存儲(chǔ)的條件下，一秒鐘內(nèi)可存儲(chǔ)87.89幀圖像。另外，如果忽視人眼觀察習(xí)慣，一次性展開(kāi)整幅圖像，幀速將降低為原來(lái)的四分之一，即21.97fps，展開(kāi)圖像分辨率提高到2560×480。

　　總結(jié)

　　本文以Terasic公司的DE2-70開(kāi)發(fā)板為平臺(tái)，實(shí)現(xiàn)了對(duì)反射式全景攝像機(jī)采集的全景視頻流的實(shí)時(shí)展開(kāi)，系統(tǒng)結(jié)構(gòu)清晰，具有較高的穩(wěn)定性和可操作性。系統(tǒng)時(shí)鐘為27MHz，顯示分辨率為640×480，幀速達(dá)到64.4fps，達(dá)到了實(shí)時(shí)性的要求。