基于 FPGA 的低成本、低延時成像系統(tǒng)

副標題：優(yōu)秀的IC/FPGA開源項目(三)-低成本、低延時成像系統(tǒng)

《優(yōu)秀的IC/FPGA開源項目》是新開的系列，旨在介紹單一項目，會比《優(yōu)秀的 Verilog/FPGA開源項目》內(nèi)容介紹更加詳細，包括但不限于綜合、上板測試等。兩者相輔相成，互補互充~

目前商用領(lǐng)域的成像系統(tǒng)還是以嵌入式ASIC為主（成品時間快，性價比高），對于一些軍工、醫(yī)學等特殊領(lǐng)域還是以FPGA為主，在特殊領(lǐng)域里延遲是最先考慮的問題（成本不是主要問題），所以今天介紹一下使用FPGA實現(xiàn)低延遲的成像系統(tǒng)，這里說明一下，整個系統(tǒng)調(diào)試比較麻煩（和sensor有關(guān)），很大可能調(diào)試不出圖像，所以大家只需要知道有這個架構(gòu)即可，有需求可以自己調(diào)試。

低延遲架構(gòu)

我們這次使用的是AMD-Xilinx FPGA，大部分的圖像處理都有IP可以使用，在官方文檔中有相關(guān)的架構(gòu)，具體如下：

上面的架構(gòu)是比較通用的架構(gòu)，官方也有例程可以參考，但是上面架構(gòu)多了一個VDMA，這就導致視頻傳輸?shù)臅r候有1到幾幀的延遲，這對于低延遲、高分辨率的情形肯定是不能容忍的。所以官方對于特殊情況建議使用下面的架構(gòu)：

去掉了VDMA，但是對于時鐘系統(tǒng)要去更高，對于視頻輸入輸出在不同時鐘域情況下是使用不了的，所以整體要求比較高。但是砍掉了VDMA和DDR，所以整體成本會低很多。關(guān)于沒有VDMA情況下的各個IP的設(shè)置及測試可以看下面的文章《不使用VDMA情況下使用AXI4總線實現(xiàn)視頻輸入輸出（低延遲首選）》。

FPGA系統(tǒng)架構(gòu)設(shè)計

我們還是參考上面的架構(gòu)來設(shè)計我們的系統(tǒng)。

當我們與圖像sensor對接時，我們通常會以不同的格式接收圖像，例如 MIPI 、并行接口，在我們接收視頻之前，我們需要先配置sensor按照我們的需求運行。通常，sensor需要通過 I2C 或 SPI 進行配置。

這次演示的平臺：

7系列FPGA
MT9M114 sensor

sensor 的接口非常簡單，可以分為視頻接口和配置接口（IIC）。

視頻接口由 10 位數(shù)據(jù)（分為 8 位和 2 位）、幀和行有效、像素時鐘和參考時鐘 (24 MHz) 組成。
配置接口由連接到sensor的 I2C 和復位IO組成。

該解決方案的架構(gòu)如下：軟核處理器（MicroBlaze）通過 I2C 配置sensor。雖然圖像處理路徑將在 FPGA 中實現(xiàn)，但由于這是一種低成本應用，該解決方案不會使用 DDR 存儲器中實現(xiàn)外部幀緩沖區(qū)，而是圖像處理流水線將完全在 FPGA 中實現(xiàn)。

Sensor中由于我們配置的是RAW數(shù)據(jù)，所以還需要使用Sensor Demosaic和Gamma（基本成像IP）IP。

該設(shè)計還將使用軟核處理器來控制視頻時序和圖像處理路徑的其他相關(guān)配置任務(wù)。