基于V4L2的視頻驅動開發(fā)(1)
作者:劉洪濤,華清遠見嵌入式學院講師。
編寫基于V4L2視頻驅動主要涉及到以下幾個知識點:
●????攝像頭方面的知識
????????????????要了解選用的攝像頭的特性,包括訪問控制方法、各種參數(shù)的配置方法、信號輸出類型等。
●????Camera解碼器、控制器
????????????????如果攝像頭是模擬量輸出的,要熟悉解碼器的配置。最后數(shù)字視頻信號進入camera控制器后,還要熟悉camera控制器的操作。
●????V4L2的API和數(shù)據(jù)結構
????????????????編寫驅動前要熟悉應用程序訪問V4L2的方法及設計到的數(shù)據(jù)結構。
●????V4L2的驅動架構
????????????????最后編寫出符合V4L2規(guī)范的視頻驅動。
本文介紹基于S3C2440硬件平臺的V4L2視頻驅動開發(fā)。攝像頭采用OmniVision公司的OV9650和OV9655。主要包含以下幾個方面的內容:
視頻驅動的整體驅動框架
●????3C2440 camera控制器+ov9650(ov9655)
????????●????V4L2API及數(shù)據(jù)結構
????????●????V4L2驅動框架
????????●????ov9650(ov9655)+s3c2440+V4L2實例
一、 視頻驅動的整體框架
視頻驅動的整體框架見下圖:
二、S3C2440 camera控制器+ov9650(ov9655)
(1)S3C2440 camera控制器介紹
S3C2440支持ITU-RBT601/656格式的數(shù)字圖像輸入,支持的2個通道的DMA,Preview通道和Codec通道,參見下圖。
Preview通道可以將YCbCr4:2:2格式的圖像轉換為RGB(16bit或24bit)格式的數(shù)據(jù),并存放于為PreviewDMA分配的內存中,最大分辨率為640*480。主要用于本地液晶屏顯示。如果將PreviewDMA的內存和Framebuffer內存重疊的話,就可以實現(xiàn)采集直接輸出到液晶屏上了。
Codec通道可以輸出YCbCr4:2:0或YCbCr4:2:2格式到為CodecDMA分配的內存中。最大分辨率為4096*4096。主要用于圖像的編解碼處理。
上圖中的windowcut功能是指在圖像可以先做一個裁剪。通過設置CIWDOFST完成此功能,見下圖。圖像進入P、C通道后,各自的scaler單元還可以對其進行縮放、旋轉等處理。
S3C2440camera控制器支持乒乓存儲。為了防止采集和輸出之間的沖突,采用了乒乓存儲方式。每次采集一幀后,自動轉到下一個存儲區(qū)。如果你因為內存空間不足,不想使用此功能的話,可以將四個區(qū)域設置到同一塊空間。
在做圖像處理時,需要關注到最后存儲區(qū)中的圖像格式,如codec通道硬件自動把Y、Cb、Cr分離存儲。
S3C2440 camera 控制器Last IRQ功能的使用,也是需要掌握的。如果處理不好,輸出的圖像效果會受影響。
控制器會在每個VSYNC下降沿判斷ImgCptEn信號等命令。如果在下降沿發(fā)現(xiàn)ImgCptEn信號有效,則產(chǎn)生IRQ中斷。然后才開始一幀圖像的真正采集。而如果在VSYNC下降沿判斷到ImgCptEn為低電平且之前LastIRQEn沒有使能,則不會產(chǎn)生任何中斷,且不會再進行下一幀的采集。如果你想在ImgCptEn關閉后,一幀采集完后產(chǎn)生一個中斷通知你,那么就需要在最后一次中斷產(chǎn)生前(stopcapturing后的vysnc下將沿)使能lastirq就可以了。
我在移植linux驅動時就遇到了一個LastIRQ的問題?,F(xiàn)象是輸出圖像上面總是有一條比其它部分反應慢。采集運動圖像,就能看出現(xiàn)象。查看代碼是因為沒有設立lastirq,因為每次如果不在lastirq產(chǎn)生的情況下讀取,圖像緩沖中的數(shù)據(jù)是不穩(wěn)定的,可能照成圖像不完整。修改代碼支持lastirq后,問題解決。
Camera控制器時鐘設置也是需要注意的,ov9650需要Camera控制器為其提供時鐘。
提供給外部攝像頭的時鐘是由UPLL輸出時鐘分頻得到的。而CAMIF的時鐘是由HCLK提供的。本例中,提供給ov9650的時鐘為24M。
(2)ov9650(ov9655)設置方法
OV9650是OmniVision公司的COMS攝像頭,130萬像素,支持SXVGA、VGA、QVGA、CIF等圖像輸出格式。最大速率在SXVGA時為15fps,在VGA時為30fps。
OV9650攝像頭時序如下圖:
上圖中D[9:2]用于8-bitYUV或者RGB565/RGB555(D[9]MSB、D[2]LSB)。D[9:0]用于10-bitRGB。本例中使用8-bit YUV模式。
我手邊開發(fā)板的Camera和S3C2440的接線原理圖如下(對應camera中具體的信號名稱參見前文的驅動整體架構圖)。
注:GPG12用于PWEN信號
OV9650攝像頭設置方法是通過SCCB總線設置
SCCB可以看作是一種簡化的I2C總線,可以使用IO模擬SCCB時序。
(3)編寫ARM測試代碼測試camera功能
在Keil環(huán)境下編寫一個測試代碼完成從攝像頭采集圖像輸出到液晶屏。下面列出程序的流程。
(4)編寫測試代碼過程中常見的問題
●????攝像頭寄存器的配置
因為攝像頭有很多寄存器,可能一下無法理解里面所有的配置含義,所以開始時希望得到一份可用的配置。但往往從別人的測試代碼中拿到配置后,仍然無法使用。我這里列出幾個可能的原因:(1)攝像頭中的圖像輸出格式和你在camera控制器中設置的不一致,同一個攝像頭可以設置多種輸入格式,如:YCbYCr或CbYCrY。(2)圖像輸出的一些時序和你的camera控制器設置不一致,攝像頭可以設置一些時序,如:圖像數(shù)據(jù)在CAMPCLK的上升沿有效還是下降沿有效。(3)注意輸出圖像的格式和Framebuffer控制器的匹配,如字節(jié)順序等問題。
●????Ov9650和ov9655的使用區(qū)別
這里主要列出兩者之間在復位信號上有差別,ov9650是高電平復位,而ov9655是低電平復位。