基于顏色相似和位移一致的運(yùn)動(dòng)目標(biāo)歸并算法研究

0引言

運(yùn)動(dòng)目標(biāo)的檢測(cè)方法主要有基于運(yùn)動(dòng)學(xué)信息的幀差法、背景減法、光流法和依賴于單幀特征信息的檢測(cè)方法或?qū)深惙椒ńY(jié)合^[1] 。幀差法^[2]和背景減法^[3]檢測(cè)過程的最后一步是通過分割二值圖像獲得目標(biāo)輪廓,由于相機(jī)抖動(dòng)、光照變化、目標(biāo)運(yùn)動(dòng)不連貫、靜止背景遮擋等原因,差分閾值后的二值圖像會(huì)出現(xiàn)離散現(xiàn)象,基于二值圖像的目標(biāo)分割會(huì)將一個(gè)目標(biāo)誤分為多個(gè)小目標(biāo)。當(dāng)前,區(qū)域連通性分析多用于醫(yī)學(xué)圖像、車牌字母、工件計(jì)數(shù)等領(lǐng)域^[4],其目的是將粘連、堆疊的目標(biāo)進(jìn)行分離。在離散目標(biāo)歸并領(lǐng)域, 目前研究文獻(xiàn)較少,分離與歸并本是一對(duì)問題,在歸并研究上可以借鑒分離的研究方法和思想。

離散目標(biāo)歸并是完整檢測(cè)的重要一步,文獻(xiàn)[4]依據(jù)像素級(jí)距離信息和特征相似信息對(duì)圖像塊進(jìn)行整合。文獻(xiàn)[5]利用HSI空間中色調(diào)、飽和度、亮度分量信息的相似性與基本形態(tài)學(xué)操作結(jié)合,定義了一種彩色形態(tài)學(xué)處理方法用于圖像邊緣提取,能夠較好地保存邊緣信息。在遙感圖像方面,文獻(xiàn)[6]基于 YCbCr顏色空間對(duì)亮度、藍(lán)色色度、紅色色度分量進(jìn)行閾值化,初步確定候選陰影區(qū)域,基于候選區(qū)域提取紋理特征用于陰影消融;文獻(xiàn)[7]利用Ycbcr顏色空間特征來表征大豆粒子外觀品質(zhì)特性,對(duì)大豆進(jìn)行精細(xì)分類。文獻(xiàn)[8]提出了一種復(fù)雜布局分析的混合技術(shù),為了連接相鄰區(qū)域和檢測(cè)分割線,將形態(tài)學(xué)操作應(yīng)用于前景和背景,輪廓跟蹤用于提取形狀和大小信息以及連接部件的分類。

本文以幀差后的運(yùn)動(dòng) 目標(biāo)二值圖像為起點(diǎn),分別從小 目標(biāo)區(qū)域?yàn)V除、離散目標(biāo)的質(zhì)心歐幾里得距離判定、HSI空間顏色特征相似度計(jì)算、前后幀離散目標(biāo)位移一致性評(píng)價(jià)等方面進(jìn)行歸并方法研究。

1 HSI空間顏色相似性

相機(jī)獲取的圖像是RGB顏色空間,每個(gè)通道都包含同種信息,HSI顏色空間更符合生物視覺系統(tǒng)^[9],H、S、I分別代表色調(diào)、飽和度、亮度,兩空間轉(zhuǎn) 換可表示:

式中:B表示藍(lán)色分量;G表示綠色分量;R表示紅色分量;θ為色調(diào)角度。

設(shè)一離散區(qū)域Ω,V={v ?_H，v ?_s，v ?_I}表示在HSI顏色空間下Ω的每個(gè)像素點(diǎn)的顏色矢量,進(jìn)一步計(jì)算區(qū)域Ω內(nèi)總體顏色特征矢量U={v ?_H，v ?_s，v ?_I,σH,σS,σI},其中v ?_H，v ?_s，v ?_I分別表示區(qū)域內(nèi)各分量均值,σH,σS,σI表示各分量的標(biāo)準(zhǔn)差。在一幀圖像中會(huì)出現(xiàn)多個(gè)離散目標(biāo)區(qū)域,則整幀圖像的顏色特征表示為U={u1,u2,… ,un},n為單幀圖像中離散目標(biāo)區(qū)域的數(shù)量。

各離散目標(biāo)的顏色相似度測(cè)算是離散目標(biāo)是否歸并的重要依據(jù),通常來講,不同類型目標(biāo)在顏色特征上有較大差異,但離散目標(biāo)顏色特征和完整目標(biāo)顏色特征具有相似性,同屬一個(gè)整體目標(biāo)的各離散目標(biāo)之間距離較短,顏色特征也具有相似性。

式中:d_H、d_s、d_I為定義的色度、飽和度、亮度的相似測(cè)度函數(shù),均以e為底數(shù)的減函數(shù)定義;下標(biāo)i,j表示任意兩個(gè)離散目標(biāo);a,b,c分別為各分量測(cè)度參數(shù),均在區(qū)間(0,+∞)保證了測(cè)度函數(shù)遞減性,對(duì)于同樣的兩個(gè)顏色向量,因?yàn)閰?shù)不同表現(xiàn)出不同的相似性,符合生物感知世界的模糊性。

以分量差值的絕對(duì)值為變量,保證定義域大于等于零,將其值域歸一化到[0,1]區(qū)間內(nèi),差值的絕對(duì)值越小,計(jì)算結(jié)果越向1趨近,各分量相似性越高,同屬一個(gè)目標(biāo)的概率越大;否則,屬于同一目標(biāo)的概率越小。

顏色總體特征的相似性由三個(gè)分量相似性共同決定:

D(ui,uj)∈[0,1],該值接近1時(shí),表示兩個(gè)離散目標(biāo)的顏色信息更加接近,同屬于一個(gè)整體目標(biāo)的概率大。

2上下幀位移一致性

運(yùn)動(dòng) 目標(biāo)在前后幀中所處的位置會(huì)有移動(dòng),但是其顏色特征保持穩(wěn)定。設(shè)當(dāng)前幀和前一幀的顏色特征向量分別是Uc,UP,上下幀相似性矩陣如下:

其中,M、K分別為當(dāng)前幀和前一幀離散目標(biāo)數(shù)量,對(duì)相似性矩陣元素做二值化處理:

式中:D(u_cm,u_Pk)表示兩區(qū)域的顏色特征相似性;Tb 表示顏色相似閾值;o(u)表示區(qū)域的質(zhì)心,p1 (x1,y1),p2(x2,y2)分別為o(u_Pm)和o(u_ck)的坐標(biāo),Euc[o(u_cm),o(u_ck)]表示兩質(zhì)心間歐幾里得距離,以表征目標(biāo)在前后幀的位移距離;T_D2表示當(dāng)前幀和前一幀兩兩離散目標(biāo)的歐幾里得距離閾值。

二值化要同時(shí)滿足兩個(gè)條件:1)顏色特征相似性高于T_b;2)雖然運(yùn)動(dòng)目標(biāo)在前后幀中會(huì)發(fā)生位移,但是由于兩幀間隔時(shí)間較短,位移距離應(yīng)小于T_D2。

當(dāng)A_b中每列存在兩個(gè)及以上值為1的元素,即前一幀中的一個(gè)離散目標(biāo)在當(dāng)前幀中對(duì)應(yīng)多個(gè)相似目標(biāo),那么對(duì)應(yīng)的當(dāng)前幀目標(biāo)之間也具有較高的相似性。若存在多個(gè)顏色特征相似且距離較近的目標(biāo),例如正在會(huì)車的同款車輛,此時(shí)會(huì)將多個(gè)物體歸并在一起。通常情況下,一個(gè)完整目標(biāo)的各部分位移的大小和方向應(yīng)該一致,因此應(yīng)將離散目標(biāo)在上下幀的位移信息考慮進(jìn)來。

δ表示從o₁位移到o₂ 的位移方向,以正右方為0°,逆時(shí)針增加至360°。定義位移向量R={r1,r2,…,rl},其中r={δ,E_uc,x2,y2},l是A_b中元素值為1的。評(píng)價(jià)位移向量ri,rj一致性依據(jù):

式中:dx,dy表示質(zhì)心點(diǎn)在水平和垂直方向的移動(dòng)距離;d(ri,rj)由兩個(gè)方向移動(dòng)距離差值合成,當(dāng)其小于閾值TM則認(rèn)為兩目標(biāo)位移具有一致性。

3 歸并步驟

步驟1,讀入原圖像src及所對(duì)應(yīng)的二值圖像 src_b,并將原圖像src由RGB顏色空間轉(zhuǎn)換為HSI空間得到src_hsi。

步驟2,對(duì)二值圖像src_b進(jìn)行膨脹操作,然后查找輪廓,對(duì)輪廓面積小于閾值Ts的區(qū)域,將區(qū)域內(nèi)所有像素設(shè)置為0,得到最新src—b,達(dá)到濾除小 目標(biāo)作用,膨脹操作還會(huì)對(duì)微小距離的離散目標(biāo)進(jìn)行歸并。

步驟3,對(duì)src_b再次查找輪廓并找到其最小外接矩形框和質(zhì)心,將矩形框映射到原圖像src中,計(jì)算 HSI顏色空間下映射區(qū)域顏色特征U,判斷是否為初始幀,若為初始幀,則同時(shí)保存為當(dāng)前幀和前一幀。否則,更新為當(dāng)前幀數(shù)據(jù)。

步驟4,計(jì)算當(dāng)前幀兩兩離散目標(biāo)之間的歐幾里得距離E_uc[o(u_i),o(u_j)],當(dāng)其值小于當(dāng)前幀中兩個(gè)離散目標(biāo)的歐氏距離閾值T_D1時(shí),近一步計(jì)算其顏色特征相似性,當(dāng)D(u_i,u_j)大于相似度閾值T_C1則認(rèn)為兩個(gè)離散目標(biāo)間相似度高,可視為同一目標(biāo)。

步驟5,依據(jù)當(dāng)前幀和前一幀的顏色特征向量 U_C,U_P,求解上下幀相似矩陣A,并對(duì)矩陣二值化得到A_b,對(duì)元素值為1所對(duì)應(yīng)的離散區(qū)域進(jìn)行位移一致性評(píng)價(jià),當(dāng)d(ri,rj)小于閾值TM則認(rèn)為目標(biāo)在運(yùn)動(dòng)方向和距離上保持一致,可以歸并為同一目標(biāo)。

步驟6,在src_b1上,將判定為同一目標(biāo)的各離散區(qū)域通過連接線完成目標(biāo)歸并,查找src_b1輪廓并獲得外接矩形框。

步驟7,將當(dāng)前幀的顏色特征信息更新為前一幀數(shù)據(jù)。重新回到步驟1對(duì)下一幀圖像做同樣處理。

4 實(shí)驗(yàn)結(jié)果及分析

選取三段視頻序列驗(yàn)證算法的效果和適用性能,視頻1為靜態(tài)相機(jī)下監(jiān)控視頻,視頻2為運(yùn)動(dòng)相機(jī)下所拍攝的視頻,視頻3為運(yùn)動(dòng)相機(jī)所拍攝,但視頻中存在多個(gè)距離相近、顏色特征相似的運(yùn)動(dòng)目標(biāo)。通過VS2017和OpenCV 4.1編程實(shí)現(xiàn)驗(yàn)證,在PC (CPU 為8核3.5 GHz,內(nèi)存8 GB)上運(yùn)行。

實(shí)驗(yàn)1:基于HSI顏色特征相似性對(duì)離散目標(biāo)進(jìn)行第一次歸并。本文中相似度測(cè)度參數(shù)a、b、c均設(shè)為10,歐氏距離閾值T_D1設(shè)為30,相似度閾值T_C1設(shè)為0.75。如圖1所示,第一行視頻目標(biāo)的離散程度低,濾除小目標(biāo)后的二值圖像已經(jīng)呈現(xiàn)出比較完整的人體輪廓。第二行視頻人與相機(jī)同時(shí)運(yùn)動(dòng),相機(jī)運(yùn)動(dòng)補(bǔ)償不足或過度補(bǔ)償導(dǎo)致目標(biāo)不連貫,離散程度大,由于目標(biāo)上下著裝顏色一白一黑,其顏色相似度低,將上下半身分別歸并,人體仍然是離散狀態(tài)。由此可見,當(dāng)一個(gè)完整目標(biāo)各部分顏色對(duì)比度較強(qiáng)時(shí),僅依據(jù)顏色特征相似度歸并能力有限。第三行視頻飛機(jī)漆裝顏色單一,基于顏色相似度歸并效果較好。三架飛機(jī)為同一顏色,由于T_D1設(shè)置比較小,飛機(jī)之間沒有出現(xiàn)歸并。

實(shí)驗(yàn)2:基于上下幀位移一致性進(jìn)行歸并,本文中將T_D2設(shè)置為80,T_b設(shè)為0.6,T_M設(shè)為30。第二次歸并是在第一次歸并后進(jìn)行,對(duì)于一個(gè)完整目標(biāo),各部分的位移距離和方向具有一致性,在視頻2中體現(xiàn)明顯,第一次歸并后,人體上下半身仍然分離,第二次歸并后,上下半身歸并為一體,人體輪廓檢測(cè)完整,如圖2所示。

定義準(zhǔn)確率P=N_t/N,其中N為目標(biāo)總數(shù)量,N_t為完整檢測(cè)目標(biāo)的數(shù)量。準(zhǔn)確率P1表示直接對(duì)二值圖像查找輪廓進(jìn)行目標(biāo)檢測(cè),P2表示對(duì)離散目標(biāo)歸并后再查找目標(biāo)輪廓,由表1可知,歸并后目標(biāo)完整檢測(cè)的準(zhǔn)確率有了大幅提高,平均提高27個(gè)百分點(diǎn)。

5結(jié)束語

本文為提高基于二值圖像目標(biāo)檢測(cè)的正確率,提出了一種基于HSI空間顏色相似度和上下幀位移一致性的目標(biāo)歸并方法,首先濾除小目標(biāo)區(qū)域,然后基于顏色特征的相似度對(duì)離散目標(biāo)進(jìn)行第一次歸并,在此基礎(chǔ)上,結(jié)合離散目標(biāo)在前后幀中位移的一致性進(jìn)行第二次歸并,達(dá)到將離散目標(biāo)合體的效果。

采用三段不同場(chǎng)景不同拍攝條件的視頻對(duì)方法進(jìn)行驗(yàn)證,結(jié)果表明了方法的有效性。圖像的內(nèi)涵信息是豐富的,本文只考慮了顏色特征和位移一致性,未來的研究中可加入更多的圖像特征,例如紋理特征、梯度特征等。

[參考文獻(xiàn)]

[1]ROZANTSEVA,LEPETITV,FUAP.Detectingflying objectsusingasinglemovingcamera [J].IEEE TransactionsonPattern Analysis andMachineIntelligence,2017,39(5): 879—892.

[2]王智文,王宇航,蔣聯(lián)源,等.基于關(guān)聯(lián)幀差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤[J].現(xiàn)代電子技術(shù),2021,44(2):174—178.

[3]戚亞明,陳樹越,孫磊.基于改進(jìn)ViBe算法的雙流CNN跌倒檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì),2023,44(6):1812—1819.

[4]康世英,姚斌.快速連通域標(biāo)記算法在堆疊棒材計(jì)數(shù)中的應(yīng)用研究[J].機(jī)械與電子,2018,36(11):29—33.

[5]何曉軍,徐愛功,李玉.利用HSI空間相似性的彩色形態(tài)學(xué)圖像處理方法[J].計(jì)算機(jī)科學(xué),2019,46(4):285—292.

[6]方嵐,于鳳芹.去除鬼影及陰影的視覺背景提取運(yùn)動(dòng) 目標(biāo)檢測(cè)算法[J].激光與光電子學(xué)進(jìn)展,2019,56 (13): 71—78.

[7]林萍,何堅(jiān)強(qiáng),鄒志勇,等.基于可見光譜圖的大豆外觀品質(zhì)判別方法[J].光學(xué)學(xué)報(bào),2019,39(8):208—215.

[8] VASILOPOULOS N,KAVALLIERATOUE.Complex layout ana—lysisbasedon contour classificationandmorpho—logicaloperations [J].EngineeringApplications ofArtificialIntelligence,2017,65:220—229.

[9]宋瑞霞,李達(dá),王小春.基于HSI色彩空間的低照度圖像增強(qiáng)算法[J].圖學(xué)學(xué)報(bào),2017,38(2):217—223.

2024年第14期第13篇