基于Linux的虛擬試妝系統(tǒng)設計

隨著社會的進步，人們對自身形象愈加重視，化妝成為女性一門必修課。如何選擇合適的化妝品對于不少女性來說是一項難題。近幾年針對該問題提出了多種虛擬試妝解決方案。包括通過瀏覽器進行本地與遠程服務器交互方案及使用Visual C++開發(fā)上位機軟件[1]等。
    以Altera公司的SoPC技術和Linux操作系統(tǒng)為基礎，設計了一款嵌入式虛擬試妝系統(tǒng)。該系統(tǒng)在SD卡中存儲信息，通過攝像頭采集用戶面部圖像，用戶可通過觸摸屏瀏覽、選擇商品對影像進行上妝，并查看試妝效果，最終達到選購化妝品的目的。系統(tǒng)具有體積小巧、方便易用等特點，適合于各種商場的化妝品柜臺。
1 系統(tǒng)總體結構設計
    系統(tǒng)以DE2-70為核心板，外接PS2鍵盤錄入信息，通過擴展口分別接入LTM觸摸屏和D5M 500萬像素攝像頭。為使用Linux操作系統(tǒng)，構建了基于帶MMU的Nios II處理器的SoPC。通過SDRAM運行內(nèi)核和RAM文件系統(tǒng)，使用SSRAM作為顯示緩存，將硬件編程代碼燒入EPCS，而將壓縮的內(nèi)核、文件系統(tǒng)與引導代碼一起燒入Flash。系統(tǒng)采用Altera大學計劃IP中的PS2 Controller和Video IPs分別管理PS2接口和觸摸屏的顯示部分，自行編寫硬件模塊實現(xiàn)觸摸屏的配置、攝像頭采集和SSRAM多路復用。此外，系統(tǒng)還使用SPI模式管理SD/MMC卡以及第三方IP管理網(wǎng)絡物理芯片。系統(tǒng)結構框圖如圖1所示。
2 系統(tǒng)硬件設計
2.1 運行Linux的最小系統(tǒng)搭建
    Linux操作系統(tǒng)對SoPC系統(tǒng)的構建有特殊要求，包括帶MMU處理器設置、全功能定時器啟用、通信終端設定等。表1總結了基于Linux系統(tǒng)所需要添加的SoPC組件以及關鍵設置[2]。
2.2 影像采集和存儲方案設計
    圖2所示為本系統(tǒng)使用的影像采集和存儲方案。在SoPC系統(tǒng)外，通過Cam_CFG_CAP模塊配置和采集攝像頭數(shù)據(jù)，經(jīng)由SSRAM_WRITE模塊合成指定格式數(shù)據(jù)并生成SSRAM寫時序送入SSRAM_2PORT進行仲裁；SSRAM_2PORT既接收SSRAM_WRITE的數(shù)據(jù)寫入SSRAM的指定區(qū)域，又允許SSRAM Controller訪問SSRAM獲取相應數(shù)據(jù)。

    (1)SSRAM_WRITE
    該模塊分別提取Cam_CFG_CAP傳入RGB分量的高5、6、5 bit數(shù)據(jù)，拼接成16 bit數(shù)據(jù)，讀入兩個像素合成32 bit，同時生成對應的21 bit SSRAM地址，將其傳遞給SSRAM_2PORT。
    (2)SSRAM_2PORT
    該模塊對來自SoPC系統(tǒng)的SSRAM控制器和SSRAM_WRITE的讀寫請求做出仲裁。在CPU讀請求有效期間，SSRAM_2PORT模塊讀取SSRAM中的數(shù)據(jù)發(fā)送給Avalon總線；超出讀請求有效期則接收SSRAM_WRITE模塊圖像數(shù)據(jù)寫入SSRAM。在該模塊中添加兩個DCFIFO分別作為實時圖像數(shù)據(jù)及其對應地址的緩沖空間，實現(xiàn)不同時鐘域的數(shù)據(jù)同步。
3 系統(tǒng)軟件設計
3.1 開發(fā)包修改及內(nèi)核配置
    系統(tǒng)采用NiosWiki社區(qū)發(fā)布的nios2-linux-20090929.tar內(nèi)核開發(fā)包作為軟件開發(fā)基礎。SoPC系統(tǒng)構建好后，通過“sopc-create-header-files --single custom_fpga.h”生成自定義硬件對應的C語言頭文件，將該文件拷貝到“nios-linux/linux-2.6/arch/nios/include/asm/”路徑中。開發(fā)包通過custom_fpga.h和nios.h兩個文件中的宏定義管理SoPC組件與Linux內(nèi)核驅(qū)動代碼對設備的映射，同時通過config.c文件內(nèi)置了大量設備的驅(qū)動支持，由內(nèi)核配置生成的config.h文件和nios.h以及custom_fpga.h共同控制。圖3所示為這三個文件之間的關系。

[!--empirenews.page--]

    默認的內(nèi)核開發(fā)包并不能直接使用，需針對本系統(tǒng)進行移植修改，主要內(nèi)容如下：
    (1)custom_fpga.h中的串口宏定義和config.c中使用的宏定義不同，將config.c中關于串口0的宏定義UART0_*改為UART_0_*。
    (2)/dev/mmcblk* 系列設備的主設備號與注冊時不一致，導致掛載操作失敗，解決辦法是將"nios2-linuxuClinux-dist/vendor/Altera/nios2/device-table.txt"中關于mmcblk*的主設備號修改為179。
    圖4所示為本系統(tǒng)進行的內(nèi)核配置。

    在所有配置中，需要特別注意以下幾點：
    (1)內(nèi)核配置菜單中，需將默認的“Nios II Configuration--->Nios II FPGA Configuration（MMU DEFAULT）”修改為“Nios II FPGA Configuration（CUSTOM_FPGA）”。
    (2)為防止內(nèi)核解壓縮內(nèi)容覆蓋內(nèi)核壓縮文件，設置“Nios II Configuration--->Link address offset for booting”為0x00F00000。
3.2 應用程序開發(fā)
3.2.1 圖形庫移植
    FTK是Funny Tool Kit的縮寫，是一個專門為嵌入式系統(tǒng)開發(fā)的圖形庫，其核心代碼只有幾百KB，在傳統(tǒng)控件基礎上可開發(fā)自定義控件，具有主題設置功能[3]。FTK支持Linux系統(tǒng)，因此在發(fā)行版Linux操作系統(tǒng)上安裝FTK函數(shù)庫只需下載相應代碼，編譯安裝即可。而Nios II平臺移植FTK需解決以下幾個問題：
    (1)Nios II平臺下png和jpeg編解碼函數(shù)庫無法使用，同時FTK的bmp解碼函數(shù)采用定義整形指針的方式，如“(*(unsigned int*)0x01000000)”對內(nèi)存進行訪問會觸發(fā)異常中斷。解決方法為移除FTK對png和jpeg格式的支持并修改ftk_image_bmp_decoder.c代碼，將4字節(jié)指針訪問修改為4個單字節(jié)指針訪問。
    (2)Nios II平臺通過觸摸屏設備進行人機交互。解決辦法：內(nèi)核開發(fā)包中開啟tslib函數(shù)庫而FTK源代碼進行configure配置時添加“--enable-tslib”參數(shù)。
3.2.2 交互界面設計
    虛擬試妝系統(tǒng)包含唇彩試妝和自由試妝兩大功能。在唇彩試妝功能中，用戶首先要選擇進行試妝所需的唇部影像，然后用戶需手動確定唇部區(qū)域，接著進入商品挑選環(huán)節(jié)。自由試妝同樣也要經(jīng)歷以上步驟。圖5所示為試妝軟件功能界面劃分的思路及程序流程圖。

    FTK界面開發(fā)包含以下幾部分工作：
    (1)調(diào)用ftk_init進行初始化。調(diào)用ftk_app_window_create函數(shù)創(chuàng)建窗口，設置控件的大小及位置；
    (2)使用類似ftk_XXX_set_clicked_listener函數(shù)關聯(lián)控件和響應函數(shù)。試妝系統(tǒng)每個功能下均有多個界面通過按鈕進入，因此在響應函數(shù)中需通過調(diào)用ftk_app_window_create或ftk_dialog_create創(chuàng)建新的界面；
    (3)設計自定義控件，包括用戶瀏覽圖片控件、描唇控件等。
    FTK應用程序要在系統(tǒng)硬件平臺上運行，RAM文件系統(tǒng)中至少需要具備四部分內(nèi)容：FTK動態(tài)函數(shù)庫、tslib函數(shù)庫、FTK配置文件(字體、主題、輸入法)以及應用程序。動態(tài)函數(shù)庫在編譯后會出現(xiàn)在RAM文件系統(tǒng)的lib目錄中，而FTK配置文件需通過修改rc腳本使Linux內(nèi)核初始化完畢后從SD卡中拷貝到內(nèi)存中。圖6總結了FTK應用程序在Nios II平臺上運行必備條件及設置方法。

    詳細介紹了本系統(tǒng)的硬件架構和Linux開發(fā)方法，側重闡述了Linux系統(tǒng)運行的最小SoPC系統(tǒng)搭建，利用Altera大學計劃IP構建觸摸屏顯示子系統(tǒng)、攝像頭影像采集和存儲模塊的實現(xiàn)以及Linux內(nèi)核配置和應用程序開發(fā)的重要細節(jié)。采用移植的FTK圖形庫完成虛擬試妝軟件編寫。實踐表明，該系統(tǒng)運行穩(wěn)定流暢，效果良好。
參考文獻
[1] 祝秀萍，劉文峰，張海峰．人臉虛擬化妝系統(tǒng)的研究[J]．計算機與信息技術，2008(8)：38－42．
[2] Kyledunn．Creating a Nios II design with an MMU[EB/OL]．http://www.alterawiki.com/wiki/Creating_a_Nios_II_Design_with_an_MMU，2011．
[3] 李先靜．FTK開發(fā)者郵件列表[EB/OL]．https://groups.google.com/group/funnytoolkit，2011．