機器視覺之LBP-TOP詳解

之前介紹過機器視覺中常用到的一種特征：LBP

LBP可以有效地處理光照變化，在紋理分析，紋理識別方面被廣泛應(yīng)用。

但是LBP 只能處理單張的二維圖像，對于視頻或者圖像序列，如何用LBP來提取特征，捕捉視頻序列的運動信息呢。今天我們就介紹一種稱為 LBP-TOP 的特征，是芬蘭奧盧大學(xué)的 Guoying Zhao 等人提出來的，最早是用來處理動態(tài)紋理的識別，但是現(xiàn)在已經(jīng)被廣泛用在基于視頻的人臉表情識別上面。

LBP-TOP 是 LBP 從二維空間到三維空間的拓展，LBP-TOP 的全稱為: local binary patterns from three orthogonal planes, 這里的three orthogonal planes 指的就是三個正交平面，我們知道，單張的圖像只有X, Y兩個方向，而一個視頻或者圖像序列除了X,Y 方向之外，還有一個沿著時間軸 T 的方向， 而 X-Y, X-T 和 Y-T 三個方向是相互正交的?？梢钥纯慈缦碌膱D：

圖片來自參考文獻 [1]

一個圖像序列，給出三個正交平面的紋理圖，X-Y 就是我們正?？吹降膱D像，X-T 是每一行沿著時間軸掃描而過的紋理，Y-T 是每一列沿著時間軸掃描而過的圖像，簡單來說，我們可以在這三個平面都提取 LBP 特征，然后把三個平面的 LBP 特征連接起來，就是 LBP-TOP。 如下圖所示：

圖片來自參考文獻 [1]

所以說 LBP-TOP 是 LBP 從二維到三維的拓展，與LBP 相比，LBP-TOP 不僅考慮了 X-Y 平面的紋理信息，還考慮了 X-T, Y-T的紋理信息，而X-T，Y-T 的紋理信息，記錄著重要的動態(tài)紋理。

從之前介紹的LBP 我們知道，提取LBP特征，采用 uniform code 編碼的話，會生成一個 59 維的數(shù)組，記錄著 LBP 的直方圖信息，那么 LBP-TOP特征，在三個正交平面都提取LBP，最終會生成一個 59&TImes;3 的數(shù)組，特征的維數(shù)一下增加了三倍。很多時候，我們會把圖像分塊，一個圖像分成 4&TImes;4 個blocks, 每個block都會生成一個 59&TImes;3 的數(shù)組，最后生成的特征的維數(shù)是 4&TImes;4×59×3=2832, 所以LBP-TOP 是一種高維特征。

LBP-TOP 源代碼可以在奧盧大學(xué)的官網(wǎng)下載

聲明：博客上用到的圖片都來自參考文獻[1], 只能用于學(xué)習交流，嚴禁用于任何商業(yè)目的，如需轉(zhuǎn)載或引用，請注明文獻[1]為出處。