國產(chǎn)FPGASOC雙目視覺處理系統(tǒng)開發(fā)實(shí)例-米爾安路DR1M90開發(fā)板

時(shí)間：2025-02-20 17:32:45

關(guān)鍵字： FPGA 視覺處理系統(tǒng) 核心板

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]本系統(tǒng)基于米爾MYC-YM90X核心板構(gòu)建，基于安路飛龍DR1M90處理器，搭載安路DR1 FPGA SOC 創(chuàng)新型異構(gòu)計(jì)算平臺，充分發(fā)揮其雙核Cortex-A35處理器與可編程邏輯（PL）單元的協(xié)同優(yōu)勢。通過AXI4-Stream總線構(gòu)建的高速數(shù)據(jù)通道（峰值帶寬可達(dá)12.8GB/s），實(shí)現(xiàn)ARM與FPGA間的納秒級（ns）延遲交互，較傳統(tǒng)方案提升了3倍的傳輸效率，極大地提升了系統(tǒng)整體性能。

1. 系統(tǒng)架構(gòu)解析

本系統(tǒng)基于米爾MYC-YM90X核心板構(gòu)建，基于安路飛龍DR1M90處理器，搭載安路DR1 FPGA SOC 創(chuàng)新型異構(gòu)計(jì)算平臺，充分發(fā)揮其雙核Cortex-A35處理器與可編程邏輯（PL）單元的協(xié)同優(yōu)勢。通過AXI4-Stream總線構(gòu)建的高速數(shù)據(jù)通道（峰值帶寬可達(dá)12.8GB/s），實(shí)現(xiàn)ARM與FPGA間的納秒級（ns）延遲交互，較傳統(tǒng)方案提升了3倍的傳輸效率，極大地提升了系統(tǒng)整體性能。

國產(chǎn)化技術(shù)亮點(diǎn)：

全自主AXI互連架構(gòu)，支持多主多從拓?fù)?，確保系統(tǒng)靈活性與可擴(kuò)展性

硬核處理器與PL單元共享DDR3控制器，提高內(nèi)存帶寬利用率（可升級至DDR4）

動(dòng)態(tài)時(shí)鐘域隔離技術(shù)（DCIT），確?？鐣r(shí)鐘域的數(shù)據(jù)交互穩(wěn)定性，避免時(shí)序錯(cuò)誤

國產(chǎn)SM4加密引擎硬件加速模塊，為數(shù)據(jù)加密任務(wù)提供硬件級別的支持，提升加密處理效率

圖一系統(tǒng)架構(gòu)框圖

如圖一所示，系統(tǒng)架構(gòu)通過“低內(nèi)聚，高耦合”的設(shè)計(jì)思想，通過模塊化的設(shè)計(jì)方式，完成了以下工作。

1. 通過I2C對OV5640攝像頭進(jìn)行分辨率，輸出格式等配置。

2. 雙目圖像數(shù)據(jù)進(jìn)行三級幀緩存，F(xiàn)IFO——DMA——DDR。

3. 客制化低延遲ISP（開發(fā)者根據(jù)場景需求加入）

4. VTC驅(qū)動(dòng)HDMI輸出顯示

2. 系統(tǒng)程序開發(fā)

2.1 DR1固件架構(gòu)設(shè)計(jì)

GUI設(shè)計(jì)界面，類Blockdesign設(shè)計(jì)方式，通過AXI總線，連接DR1的ARM核與定制化外設(shè)，包括以太網(wǎng)，RAM模塊，PL DMA和VTC。

圖二 FPGA底層架構(gòu)框圖

2.2 雙目視覺處理流水線

2.2.1 傳感器配置層

為實(shí)現(xiàn)高效的傳感器配置，本系統(tǒng)采用混合式I2C配置引擎，通過PL端硬件I2C控制器實(shí)現(xiàn)傳感器參數(shù)的動(dòng)態(tài)加載。與純軟件方案相比，該硬件加速的配置速度提升了8倍，顯著降低了配置延遲。

該配置引擎支持多分辨率與高幀率動(dòng)態(tài)切換，適應(yīng)不同應(yīng)用場景需求。

2.2.2 數(shù)據(jù)采集管道

系統(tǒng)構(gòu)建了三級緩存體系，確保數(shù)據(jù)處理的高效性和實(shí)時(shí)性：

像素級緩存：采用雙時(shí)鐘FIFO（寫時(shí)鐘74.25MHz，讀時(shí)鐘100MHz），實(shí)現(xiàn)數(shù)據(jù)的穩(wěn)定緩存和傳輸。

行緩沖：使用BRAM的乒乓結(jié)構(gòu)（每行1920像素×16bit），減少數(shù)據(jù)延遲。

幀緩存：通過DDR3-1066 1GB內(nèi)存支持四幀循環(huán)存儲，確保圖像的持續(xù)流暢展示。

2.2.3. 異構(gòu)計(jì)算調(diào)度

系統(tǒng)通過AXI-DMA（Direct Memory Access）實(shí)現(xiàn)零拷貝數(shù)據(jù)傳輸，優(yōu)化內(nèi)存和外設(shè)間的數(shù)據(jù)交換：

寫通道：PL→DDR，采用突發(fā)長度128、位寬128bit的高速數(shù)據(jù)傳輸

讀通道：DDR→HDMI，配合動(dòng)態(tài)帶寬分配（QoS等級可調(diào)），確保不同帶寬需求的動(dòng)態(tài)適配

2.2.4 VTC顯示引擎深度優(yōu)化

PL DMA輸出顯示優(yōu)化

顯示時(shí)序的優(yōu)化對高質(zhì)量圖像輸出至關(guān)重要。通過VTC（Video Timing Controller），本系統(tǒng)能夠?qū)崿F(xiàn)多模式自適應(yīng)輸出。

axi_hdmi_tx#( .ID(0), .CR_CB_N(0), .DEVICE_TYPE(17),// 17 for DR1M .INTERFACE("16_BIT"), .OUT_CLK_POLARITY (0)) axi_hdmi_tx_inst ( .hdmi_clk (pll_clk_150),//.hdmi_clk (clk1_out), .hdmi_out_clk (hdmi_clk ), .hdmi_16_hsync (hdmi_hs ), .hdmi_16_vsync (hdmi_vs ), .hdmi_16_data_e (hdmi_de), .hdmi_16_data (/*hdmi_data*/),// .hdmi_16_data (hdmi_data ), .hdmi_16_es_data (hdmi_data), .hdmi_24_hsync (), .hdmi_24_vsync (), .hdmi_24_data_e (), .hdmi_24_data (/*{r_data,g_data,b_data}*/), .hdmi_36_hsync (), .hdmi_36_vsync (), .hdmi_36_data_e (), .hdmi_36_data (), .vdma_clk (pll_clk_150 ), .vdma_end_of_frame (dma_m_axis_last ), .vdma_valid (dma_m_axis_valid ), .vdma_data (dma_m_axis_data ), .vdma_ready (dma_m_axis_ready), .s_axi_aclk (S_AXI_ACLK ), .s_axi_aresetn (S_AXI_ARESETN ), .s_axi_awvalid (axi_ds5_ds5_awvalid ), .s_axi_awaddr (axi_ds5_ds5_awaddr ), .s_axi_awprot (axi_ds5_ds5_awprot ), .s_axi_awready (axi_ds5_ds5_awready ), .s_axi_wvalid (axi_ds5_ds5_wvalid ), .s_axi_wdata (axi_ds5_ds5_wdata ), .s_axi_wstrb (axi_ds5_ds5_wstrb ), .s_axi_wready (axi_ds5_ds5_wready ), .s_axi_bvalid (axi_ds5_ds5_bvalid ), .s_axi_bresp (axi_ds5_ds5_bresp ), .s_axi_bready (axi_ds5_ds5_bready ), .s_axi_arvalid (axi_ds5_ds5_arvalid ), .s_axi_araddr (axi_ds5_ds5_araddr ), .s_axi_arprot (axi_ds5_ds5_arprot ), .s_axi_arready (axi_ds5_ds5_arready ), .s_axi_rvalid (axi_ds5_ds5_rvalid ), .s_axi_rresp (axi_ds5_ds5_rresp ), .s_axi_rdata (axi_ds5_ds5_rdata ), .s_axi_rready (axi_ds5_ds5_rready));

動(dòng)態(tài)時(shí)序生成器

通過PL-PLL動(dòng)態(tài)調(diào)整像素時(shí)鐘，確保顯示無卡頓、無閃爍，誤差控制在<10ppm內(nèi)。

3. 硬件連接與測試

硬件連接

米爾的安路飛龍板卡采用2 X 50 PIN 連接器設(shè)計(jì)，可靈活插拔多種子卡，配合子卡套件，可擴(kuò)展成多種形態(tài)，多種應(yīng)用玩法。

圖三使用模組、底板、子卡和線纜搭建硬件系統(tǒng)（使用米爾基于安路飛龍DR1M90開發(fā)板）

顯示測試

實(shí)測雙目顯示清晰，無卡幀，閃屏。

圖四輸出顯示效果

系統(tǒng)集成

在FPGA硬件描述文件的基礎(chǔ)上，進(jìn)一步在Linux下實(shí)現(xiàn)雙攝，為復(fù)雜系統(tǒng)調(diào)度應(yīng)用鋪平道路。

內(nèi)核加載5640驅(qū)動(dòng)下通過dma搬運(yùn)ddr數(shù)據(jù)，在應(yīng)用層中通過v4l2框架顯示到HDMI上，完整數(shù)據(jù)流如下：

FPGA DDR → AXI-DMA控制器 → Linux DMA引擎 → 內(nèi)核dma_buf → V4L2 vb2隊(duì)列 → mmap用戶空間 → 應(yīng)用處理

三路DMA設(shè)備樹HDMI、camera1、camera2代碼片段：

//hdmi soft_adi_dma0: dma@80400000{ compatible ="adi,axi-dmac-1.00.a"; reg =<0x00x804000000x00x10000>; interrupts =<GIC_SPI 83 IRQ_TYPE_LEVEL_HIGH>; clocks =<&axi_dma_clk>;#dma-cells = <1>; status ="okay"; adi,channels {#size-cells = <0>;#address-cells = <1>; dma-channel@0{ reg =<0>; adi,source-bus-width =<32>; adi,source-bus-type =<0>; adi,destination-bus-width =<64>; adi,destination-bus-type =<1>;};};};// cam1 mipi_adi_dma0: dma@80300000{ compatible ="adi,axi-dmac-1.00.a"; reg =<0x00x803000000x00x10000>; interrupts =<GIC_SPI 82 IRQ_TYPE_LEVEL_HIGH>; clocks =<&axi_dma_clk>;#dma-cells = <1>; status ="okay"; adi,channels {#size-cells = <0>;#address-cells = <1>; dma-channel@0{ reg =<0>; adi,source-bus-width =<128>; adi,source-bus-type =<1>; adi,destination-bus-width =<64>; adi,destination-bus-type =<0>;};};};//cam2 mipi_adi_dma1: dma@80700000{ compatible ="adi,axi-dmac-1.00.a"; reg =<0x00x807000000x00x10000>; interrupts =<GIC_SPI 86 IRQ_TYPE_LEVEL_HIGH>; clocks =<&axi_dma_clk>;#dma-cells = <1>; status ="okay"; adi,channels {#size-cells = <0>;#address-cells = <1>; dma-channel@0{ reg =<0>; adi,source-bus-width =<128>; adi,source-bus-type =<1>; adi,destination-bus-width =<32>; adi,destination-bus-type =<0>;};};};

雙路i2c OV5640設(shè)備樹配置代碼片段

camera@3c{ compatible ="ovti,ov5640"; pinctrl-names ="default"; // pinctrl-0 = <&pinctrl_ov5640>; reg =<0x3c>; clocks =<&ov5640_clk>; clock-names ="xclk"; // DOVDD-supply = <&vgen4_reg>; /* 1.8v */ // AVDD-supply = <&vgen3_reg>; /* 2.8v */ // DVDD-supply = <&vgen2_reg>; /* 1.5v */ powerdown-gpios =<&portc 8 GPIO_ACTIVE_HIGH>; reset-gpios =<&portc 7 GPIO_ACTIVE_LOW>; port { /* Parallel bus endpoint */ ov5640_out_0: endpoint { remote-endpoint =<&vcap_ov5640_in_0>; bus-width =<8>; data-shift =<2>;/* lines 9:2 are used */ hsync-active =<0>; vsync-active =<0>; pclk-sample =<1>; }; }; };

性能測試

性能實(shí)測數(shù)據(jù)。

4. 場景化應(yīng)用擴(kuò)展

該方案可廣泛應(yīng)用于以下領(lǐng)域：

智能駕駛：前視ADAS系統(tǒng)，包含車道識別和碰撞預(yù)警

工業(yè)檢測：高速AOI（自動(dòng)光學(xué)檢測）流水線，提升檢測精度和效率

醫(yī)療影像：內(nèi)窺鏡實(shí)時(shí)增強(qiáng)顯示，支持多視角成像

機(jī)器人導(dǎo)航：SLAM（同步定位與地圖構(gòu)建）點(diǎn)云加速處理，提升機(jī)器人自主導(dǎo)航能力

通過安路TD 2024.10開發(fā)套件，開發(fā)者能夠快速移植和定制化開發(fā)，具體包括：

使用GUI圖形化設(shè)計(jì)約束工具，簡化硬件開發(fā)過程

調(diào)用預(yù)置的接口與處理器IP，加速產(chǎn)品開發(fā)上市時(shí)間，專注應(yīng)用和算法的處理

進(jìn)行動(dòng)態(tài)功耗分析（DPA）與仿真，確保系統(tǒng)的穩(wěn)定性與高效性

0. One More Thing…

這里，回到我們原點(diǎn)，回到我們開發(fā)設(shè)計(jì)國產(chǎn) FPGA SOC的初衷，芯片也好，模組也好，都只是開始，無論是FPGA，SOC，或者SOM，**都是為了以更快，更好，平衡成本，體積，開發(fā)周期，開發(fā)難度，人員配置等等綜合因素，做出的面向解決問題的選擇，最終結(jié)果是降低成本和產(chǎn)品力的平衡。**安路飛龍系列的問世，讓我們很欣喜看見國產(chǎn)SOC FPGA的崛起，希望和業(yè)界開發(fā)者一起開發(fā)構(gòu)建國產(chǎn)SOC FPGA生態(tài)，**所以選擇將系列教程以知識庫全部開源，共同無限進(jìn)步！**