基于眼動生理特征的視覺隨動系統(tǒng)
人體的體感控制是智能控制設備的一個典型的研究方向，其典型的代表就是基于人體表現(xiàn)的運動控制，已被廣泛應用于游戲及體育訓練等很多方面。盡管業(yè)界廣泛認為基于腦波控制是體感控制的最有效措施，但由于腦波信息的復雜性使得相關技術仍舊停留在實驗室研究階段。視頻信息是人類獲取外界信息的主要渠道，相應的眼球運動也具有典型的行為模式特征，其運動范圍小，釋義明顯，因而基于眼球興趣移動信息的控制也被業(yè)界廣泛關注，相應的產(chǎn)品在國外也有一定表現(xiàn)。
眼動儀是用于記錄人在處理視覺信息時的眼動軌跡特征的一種設備，根據(jù)角膜和瞳孔的反光原理設計的眼動儀有：美國應用科學實驗室(ASL)生產(chǎn)的504型和501型眼動儀、加拿大SR公司生產(chǎn)的eyelinkII型頭盔式眼動儀、法國的Metrovision公司生產(chǎn)的Mon VOGl型和Mon VOG2型眼動儀、美國Fourward Optical Technology公司生產(chǎn)的第六代雙普金野眼動儀以及德國SMI公司生產(chǎn)的MEye Track型眼動儀等等。美國LC技術公司生產(chǎn)的eye gaze communication system也是用這個原理生產(chǎn)的眼動儀，它可以幫助那些不能用手進行計算機鍵盤操作的病人用眼睛代替手來操作鍵盤。
根據(jù)電流記錄法原理生產(chǎn)的眼動儀有法國Metrovision公司生產(chǎn)研制的Model Mon EOG眼動儀，這種眼動儀可以記錄水平和垂直方向的眼動情況。
根據(jù)電磁感應原理生產(chǎn)的眼動儀有荷蘭SKALAR公司生產(chǎn)的磁感應眼動記錄系統(tǒng)。該系統(tǒng)被廣泛應用于神經(jīng)生理學、閱讀、神經(jīng)病學和視覺研究中。
另外，瑞典托比公司和中國聯(lián)想集團3月1日在德國漢諾威2011年信息和通信技術博覽會上共同推出世界上第一款用眼睛控制的筆記本電腦。該電腦的焦點總能聚集在用戶正在注視的屏幕位置上,其眼控功能可以與鍵盤和鼠標聯(lián)動以提高使用電腦的速度。
目前結合視頻場景觀測，腦波及眼動監(jiān)測的人體研究設備發(fā)展迅速，相關研究具有較強的科研價值。
研究的目的與意義項目以人眼的興趣移動為研究對象，設計相應的硬件系統(tǒng)同步遠端攝像頭的移動、對焦，經(jīng)過視頻眼鏡顯示遠端攝像頭采集的圖像。
項目控制以眼球興趣移動作為控制判決依據(jù)，符合人眼觀察特點，對于基于視覺興趣的環(huán)境信息控制研究具有一定意義，運用前景廣泛。設計系統(tǒng)具備兩路眼動視頻監(jiān)測及眼球運動的實時檢測能力，同時可實現(xiàn)相應的遠端視頻圖像獲取及云臺移動、攝像頭對焦同步，具有完整的高速處理系統(tǒng)特點，整體數(shù)據(jù)吞吐能力超過100Mb/S，同步速率達到10次/S。
方案設計和實施計劃系統(tǒng)設計本作品的系統(tǒng)設計示意圖如圖1所示：
圖1 系統(tǒng)設計圖
系統(tǒng)按照功能分為4個模塊：
云臺模塊，由云臺、攝像頭和步進電機組成，主要功能是控制云臺攝像頭的水平轉動、俯仰運動和自動對焦，并采集圖像；視頻眼鏡模塊，由視頻眼鏡及其控制板，內(nèi)置兩個微型攝像頭組成，主要功能是用于顯示云臺攝像頭采集的圖像并通過內(nèi)部放置的兩個微型攝像頭采集人眼圖像；圖像處理及顯示平臺，采用Intel低功耗ATOM系列處理器平臺，安裝Windows XP操作系統(tǒng)，由液晶顯示屏顯示界面，主要功能是顯示工作界面，實現(xiàn)人眼運動識別并返回計算結果；主控制板，采用FPGA為主處理芯片，帶有高速存儲器和串口、視頻接口、云臺接口等，它是整個系統(tǒng)的核心控制模塊，主要功能是負責與云臺、圖像處理平臺和視頻眼鏡之間的數(shù)據(jù)交互，管理整個系統(tǒng)的數(shù)據(jù)流和控制流；工作流程整個工作流程如下圖所示：
圖2 工作流程
通過視頻眼鏡內(nèi)部的兩個微型攝像頭采集人眼圖像，圖像處理平臺實現(xiàn)人眼的運動識別，主控制板根據(jù)圖像處理結果控制云臺攝像頭的移動和自動對焦，并將攝像頭采集的圖像在視頻眼鏡中顯示；繼續(xù)對人眼進行監(jiān)控判斷，形成不斷循環(huán)的閉環(huán)運行流程。
研究的主要內(nèi)容模塊組成云臺模塊云臺模塊由云臺、電機模塊、攝像頭和外接口組成，它的功能是控制電機的轉動從而實現(xiàn)攝像頭的水平和垂直方向的運動，同時把攝像頭采集的圖像輸出。
云臺采用PTS-3030CQ型號的吊裝云臺（圖4-1-1-1），內(nèi)置兩個24V交流電機，水平旋轉角度最大為355度，俯仰角度范圍為-5度到50度。由于該云臺需要交流供電，不滿足本項目要求，所以將原有的交流電機更換成直流步進電機。圖 4-1-1-1
電機模塊由兩個12V直流兩相步進電機（圖4-1-1-2）和配套的電機驅動器組成。步進電機的步距角為1.8度，最大靜力矩約為3600 g*cm，如圖1-2所示。驅動器的驅動電壓小于40V，驅動電流0.8—5V可調，細分數(shù)可由撥碼開關設定1/2，1/4，1/8，1/16。圖4-1-1-2
攝像頭采用彩色一體化攝像機（圖4-1-1-3），成像元件是SONY CCD image sensor，PAL制信號輸出，22倍光學變焦，同時有自動聚焦和手動聚焦兩種模式，可以通過RS485協(xié)議對攝像頭進行相關控制，攝像頭所需電源為12V直流電壓，200mA電流。圖4-1-1-3
外接口采用25針接插件，主要功能是整合云臺內(nèi)部所有控制線，方便與外部連接和使用。外接口定義如圖4-1-1-4所示。圖4-1-1-4
云臺模塊通過更換電機，安裝攝像頭，整合所有控制線到外接口從而實現(xiàn)對原有的云臺改裝，滿足本項目實際需要。
視頻眼鏡模塊視頻眼鏡模塊由headplay視頻眼鏡，兩個微型攝像頭和USB視頻采集卡改裝而成，兩個微型攝像頭放置在視頻眼鏡內(nèi)，同時其視頻線連接到USB視頻采集卡上，主要功能是一方面使用者戴上視頻眼鏡能觀看視頻，另一方面兩個內(nèi)置的微型攝像頭采集使用者左右眼圖像，通過USB視頻采集卡發(fā)送到上位機用于瞳孔定位和識別。
視頻眼鏡采用headplay視頻眼鏡（如圖4-1-2-1、4-1-2-2、4-1-2-3所示），它的顯示器類似PC的顯示設備，采用先進的LCOS硅基液晶，解析度高且省電，同時可提供640*480、800*600、1024*768三種規(guī)格分辨率，帶來52英寸的視覺感受；在顯示器的下方設置有2組可調滑塊，用戶可根據(jù)實際佩戴需求調節(jié)焦距和左右屏幕的距離。另外這款視頻眼鏡具有豐富的外圍接口，提供AV、S-video、VGA三種接口，并支持PAL、NTSC和SECAM格式；同時支持CF、USB設備，能讀取圖像、音頻和視頻，并具備視頻解碼能力，支持MP3、MPEG3、MPEG4、AVI、JPEG等。圖4-1-2-1
圖4-1-2-2
圖4-1-2-3
微型攝像頭采用XL-3010CP4超微型攝像頭（圖4-1-2-3），尺寸僅為12mm*12mm，1/4 SONY CCD，PAL制（582*500）視頻輸出，12V直流電壓和100mA電流供電，圖4-1-2-3
USB視頻采集卡采用一路easycap視頻采集卡（圖4-1-2-4），輸入接口有AV、S端子和音頻輸入，可將采集的視頻和音頻通過USB口傳輸?shù)诫娔X上播放或存儲。圖4-1-2-4
圖像處理及顯示平臺圖像處理平臺采用IEI Technology Corp的WAFER-945GSE母板（圖4-1-3-1,4-1-3-2），主要功能是處理USB視頻采集卡采集的左右眼圖像，識別人眼的運動方向，并把計算結果通過串口發(fā)送到信號處理板。
WAFER-945GSE母板基于Intel Atom系列低功耗處理平臺，1.6GHZ的時鐘頻率，533MHz前端總線和512KB L2 cache，同時外圍接口豐富，如網(wǎng)口，串口，USB口，VGA，LVDS等。本項目中在該板上安裝XP精簡版操作系統(tǒng)，運行VC程序實現(xiàn)圖像接收、處理和結果發(fā)送功能。
圖4-1-3-1
圖4-1-3-2
主控制板主控制板采用FPGA為主處理芯片，帶有高速存儲器和串口、視頻接口、云臺接口，通過各個接口與圖像處理平臺、視頻眼鏡和云臺之間實現(xiàn)數(shù)據(jù)交互，管理整個系統(tǒng)的數(shù)據(jù)流和控制流。
下圖是主控制板設計圖：
實物圖（第一版）如下圖所示，第二版已經(jīng)投出。
主要芯片介紹：
XC3S1200：可編程邏輯器件（FPGA）FPGA 的優(yōu)點：易于實現(xiàn)并行處理；易于實現(xiàn)流水線操作；通過開發(fā)工具在計算機上完成設計，電路設計周期短；對硬件系統(tǒng)可靠性高，程序跑飛可能性不大；規(guī)模越來越大，實現(xiàn)功能越來越強，同時可以實現(xiàn)系統(tǒng)集成；可反復修改邏輯。FPGA在系統(tǒng)中起橋接作用，又是系統(tǒng)的主控者，由它來完成外圍芯片的控制，及數(shù)據(jù)的傳輸。
XILINX公司的FPGA目前分為2大類：Spartan類和Virtex類，前者主要面向低成本的中低端應用，是目前業(yè)界成本最低的一類FPGA；后者主要面向高端應用，屬于業(yè)界的頂級產(chǎn)品。這兩個系列的差異僅限于芯片的規(guī)模和專用模塊上，都采用了先進的0.13、90甚至65制造工藝，具有相同的卓越品質。
目前，比較流行的FPGA類型是Spartan3E系列，其家族列表如下：
綜合考慮各系列FPGA的塊RAM容量和最大可用I/O數(shù)以及處理速度等指標，選用中Spartan3E系列的XC3S1200E，其封裝為FG676。
SAA7113:8位視頻解碼芯片SAA7113是飛利浦公司視頻解碼系列芯片的一種，非常具有代表性，在很多視頻產(chǎn)品如電視卡、MPEG2、MPEG4中都有應用，熟悉了7113的原理后，對其它系列芯片SAA7114、7115、7118就會很容易理解。SAA7113的主要作用是把輸入的模擬視頻信號解碼成標準的“VPO”數(shù)字信號，相當于一種“A/D”器件。7113兼容全球各種視頻標準。
ADV7179:8位視頻編碼芯片ADV7179適合各種優(yōu)先考慮封裝空間的視頻應用，如第三代移動電話或數(shù)碼相機等，提供視頻輸出功能。該器件采用緊湊的芯片級封裝，尺寸僅為6 mm x 6mm，并提供適用于CCIR656標準視頻輸入的選項，內(nèi)含或不含嵌入式時序信息。視頻性能不受影響。它具有高級濾波功能（SSAF濾波器）和最高達-80 dB的專業(yè)級視頻信噪比(SNR)，可在小屏幕上實現(xiàn)出色的顯示質量。
(4)SP3220:串口通信芯片
SP3220E包含一個高效電荷泵，工作于3.3V電壓時，只需0.1μF電容即可操作。該電荷泵允許SP3220E在+3.3V到+5.0V的電壓范圍內(nèi)發(fā)送符合RS-232協(xié)議的信號。SP3220E的ESD保護使得收發(fā)器的管腳可承受±15kV的人體放電模式和IEC1000-4-2氣隙放電模式。
SP3220E包含低功耗關斷模式，該模式下驅動器輸出和電荷泵將被禁止。關斷狀態(tài)下，電源電流低于1μA。
上位機程序采用VC6.0開發(fā)環(huán)境和OpenCV圖像處理庫編寫，主要功能是通過處理人眼圖像，識別人眼的運動，從而判別人眼注視方向。并將計算結果通過串口返回給主控制板。
界面效果圖程序流程圖瞳孔定位算法本算法主要基于圖像的灰度分布來定位人眼瞳孔和輪廓，根據(jù)左右眼瞳孔和輪廓的位置來判斷人眼的注視方向，具體步驟如下所示:
第一步，將左右眼圖像轉換成320*240的圖像；
第二步，選擇合適的閾值將灰度圖像二值化，使眼部輪廓清晰地呈現(xiàn)出來，然后從圖像的四周開始向內(nèi)尋找眼部輪廓找，并用矩形畫出眼部輪廓；
第三步，將圖像轉換成灰度圖像，選擇合適大小的區(qū)域，在眼部輪廓中尋找灰度最小的那塊區(qū)域，取該區(qū)域的中心設為檢測到的瞳孔位置；
第四步，根據(jù)左右眼瞳孔與眼睛的輪廓的位置關系和移動情況，設定合適的閾值來判斷人眼的注視方向（上、下、左、右、平視）；
第五步，將計算結果發(fā)送給主控制板，由主控制板控制云臺電機的轉動帶動云臺攝像頭的轉動。
FPGA程序設計程序分為串口接收與云臺控制部分和視頻處理部分。兩部分程序并行運行，相互保持獨立。
2.2.1
串口接收與云臺控制部分
通用板處理后結果用串口發(fā)送到串口接收與云臺控制模塊，此處對命令進行譯碼，分別進行云臺電機的運動控制和攝像頭的拉遠拉近以及聚焦的控制。
2.2.2
視頻處理部分
先配置編碼芯片和解碼芯片，對視頻輸入信號進行行，列，場的分辨。視頻處理主要包括字符疊加，顏色的改變，二值處理等等，處理完的視頻信號疊加上行場信號進行輸出。
2.3硬件電路設計
主芯片采用BGA封裝，其他芯片為SMA表貼封裝，電路板為八層，信號線寬為5mil，電源線寬30mil，板厚2mm, 為了保證信號完整性，其中4層為信號走線層，兩層地層，兩層電源層，信號層之間用地層或電源層隔開，相鄰信號層走線盡量保持垂直。
設計性能指標雙路人眼圖像的分辨率為320x240，平均處理速度為10幀/秒；視頻眼鏡雙路VGA視頻顯示，分辨率為640x480，幀頻為25幀/秒；水平方向視場范圍為0到355度，豎直方向視場范圍為-5到50度，水平轉動和俯仰運動的最小角度是0.9度；水平方向視場最大轉速約為20度/s,垂直方向視場最大轉速約為10度/s；；創(chuàng)新點和結論將遠端攝像頭與人眼的觀察動作同步，實現(xiàn)觀察范圍和對象的自動調整，整個控制過程符合人體用眼習慣，方便快捷;將專用系統(tǒng)平臺（硬件和軟件自行設計）和通用系統(tǒng)平臺（軟件設計）高效聯(lián)合使用；模塊化設計，方便二次開發(fā)，可作為高校學習和實驗的平臺。成果的應用前景醫(yī)療電子領域在現(xiàn)場手術和遠程醫(yī)療中，利用高性能攝像頭可以輔助醫(yī)生準確精細進行手術，同時操作更加方便、人性化；
車輛駕駛駕駛者可利用該系統(tǒng)通過人眼的移動控制車輛的行駛方向，為殘疾人群駕駛車輛提供可能；
探測和監(jiān)控將該系統(tǒng)組裝在機器人上，用于在極端環(huán)境或者對人體有害的環(huán)境等條件下遠程控制機器人探測目標；
消費電子領域基于視覺信息的人機交互可應用于3D游戲和家庭影院；
軍事領域可應用于頭盔顯示器，在車輛、飛機駕駛員以及單兵作戰(zhàn)時的命令傳達、戰(zhàn)場觀察、地形查看、夜視系統(tǒng)顯示、車輛和飛機的炮瞄系統(tǒng)等；
心理學科學研究通過設置特定視頻場景并實時獲得眼球動作,一定程度上可獲得測試者心理表現(xiàn)的信息，相應的技術結合腦電及心電的監(jiān)測可以促進對人體系統(tǒng)信息反映及心里活動的研究；
實驗平臺模塊化設計，可作為高校課程實驗和課外創(chuàng)新活動的平臺，學生可以編寫自己的算法實現(xiàn)不同的功能。
雖然我國在此領域的研究和開發(fā)工作已經(jīng)開展，但是目前國內(nèi)市場上尚無具有完全自主知識產(chǎn)權的同類產(chǎn)品。由于其在民用和軍用方面的廣泛和重要的應用，其經(jīng)濟效益十分可觀。
下載文檔
