基于PERCLOS的汽車司機(jī)疲勞監(jiān)控方法的研究

一. 疲勞程度的檢測方法
    司機(jī)疲勞駕駛是引發(fā)交通事故的一個(gè)重要因素。美國國家公路交通安全局（NHTSA）最近幾年調(diào)查[1]顯示：每年平均有56000起車禍與疲勞駕駛相關(guān)，造成40000人受傷，1544人死亡（占交通事故死亡總?cè)藬?shù)的3.7％），調(diào)查還顯示有27％的受訪者表示有過開車打瞌睡的經(jīng)歷。公安部交通管理局1999年與2000年的統(tǒng)計(jì)結(jié)果表明：由于駕駛疲勞產(chǎn)生的交通事故只占1.4%和1.15%；產(chǎn)生的死亡率分別是2.5%和2.23%；但是疏忽大意、判斷錯(cuò)誤、措施不當(dāng)三項(xiàng)相加分別是18.8%和20.29%，產(chǎn)生的死亡率是18.6%和20.84%；在這三項(xiàng)事故原因中可能夾雜著駕駛疲勞。因此有必要研制一套能夠判別司機(jī)的疲勞程度的警報(bào)裝置?，F(xiàn)在許多國家正積極進(jìn)行這方面的研究。法國的一些研究機(jī)構(gòu)在聯(lián)手研制一種監(jiān)測司機(jī)注意力下降的系統(tǒng)，它可以通過聲音或光信號(hào)提醒司機(jī)。負(fù)責(zé)這項(xiàng)技術(shù)開發(fā)的法國圖盧茲西門子VDO汽車公司希望能在2006年給汽車安裝上這套裝置。這項(xiàng)研究工作已經(jīng)在去年上馬，總投資是1700萬法郎，主要是對車上安裝這一套裝置的可行性進(jìn)行研究。目前司機(jī)疲勞的生理特征的檢測方法較多，可分為接觸式檢測和非接觸式的檢測兩大類，主要有以下幾種：
     １．疲勞產(chǎn)生的腦電變化大腦皮層興奮與抑制時(shí)，其腦電圖上的表現(xiàn)是不相同的。興奮時(shí)，腦電圖表現(xiàn)為低波幅、快活動(dòng)（稱β波，頻率在13Hz以上）；抑制時(shí)，腦電圖表現(xiàn)為高波幅、慢活動(dòng)（稱θ波，頻率為4-7Hz）；高度抑制，如深睡時(shí)，出現(xiàn)高幅更慢的波（稱δ波，頻率為0.5-4Hz）；清醒情況下，安靜閉目時(shí)為α波（頻率為8-13Hz）。根據(jù)腦電圖的頻率分布和波形，可推測大腦活動(dòng)的功能狀態(tài)，從而推測是否存在心理疲勞。但是腦電圖容易受外界因素的干擾且個(gè)體間的生理反映差距較大，價(jià)格過高，因此難以在實(shí)際中使用。
    ２．頭部姿勢。疲勞時(shí)頭部會(huì)經(jīng)常向下傾斜，據(jù)統(tǒng)計(jì)[２]：對于大部分人，頭部位置與疲勞度的相關(guān)系數(shù)在0.8左右。而少數(shù)人疲勞時(shí)頭部姿勢基本不會(huì)變化相關(guān)系數(shù)呈現(xiàn)負(fù)值。該方法可作為疲勞檢測的輔助手段。
    ３．方向盤的轉(zhuǎn)動(dòng)幅度及方向盤的握緊力。司機(jī)疲勞程度加深時(shí)，方向盤的大轉(zhuǎn)動(dòng)幅度次數(shù)增多，握緊方向盤的力量變大。這種方法的優(yōu)點(diǎn)是成本低。美國已研制出一種磁卡方向盤監(jiān)視系統(tǒng)，靠監(jiān)視方向盤的動(dòng)作和規(guī)律來檢測司機(jī)的精神狀態(tài)，這是目前唯一低價(jià)位的產(chǎn)品。
    ４．道路追蹤器。在車上安裝一個(gè)攝像頭，它的視野與司機(jī)相同。司機(jī)疲勞駕駛時(shí)車輛會(huì)經(jīng)常會(huì)越過公路中間的白線。車輛離開白線的時(shí)間和偏離程度可以在一定程度反映司機(jī)的疲勞程度。這種測量的缺點(diǎn)是要求白線足夠清晰，并且晚上測量容易受到光線的影響而失敗。
    ５．瞳孔計(jì)。奧地利的科學(xué)家經(jīng)過測試：精神振奮者的瞳孔直徑變化頻率平均為每分鐘5至10次，而長時(shí)間未睡眠休息者的瞳孔直徑變化頻率平均每分鐘可達(dá)15次。他們已經(jīng)開發(fā)出了便攜式紅外線振動(dòng)記錄檢測儀。這種儀器能夠準(zhǔn)確記錄司機(jī)瞳孔直徑的變化頻率，供檢測者判斷司機(jī)的疲勞程度及其駕車的危險(xiǎn)性。
    ６．PERCLOS。檢測眼皮下垂程度。

二.  PERCLOS方法的原理
    PERCLOS指在一定的時(shí)間內(nèi)眼睛閉合時(shí)所占的時(shí)間比例。在具體試驗(yàn)中有p70，p80, em三種測量方式。
    P70: 眼皮蓋過瞳孔的面積超過70%所占的時(shí)間比例。
    P80: 眼皮蓋過瞳孔的面積超過80%所占的時(shí)間比例。
    Em: 眼皮蓋過瞳孔的面積超過50%所占的時(shí)間比例。
    FHWA[３]曾經(jīng)檢測PARCLOS，頭部姿勢的變化，腦電圖等方法的測試結(jié)果與疲勞的關(guān)系程度。他們讓試驗(yàn)者在42小時(shí)的實(shí)驗(yàn)過程中不能睡眠，每兩個(gè)小時(shí)做20分鐘的疲勞程度測試。該測試要求試驗(yàn)者在半秒類對屏幕上出現(xiàn)的亮條作出判斷并按鍵，每二十分鐘統(tǒng)計(jì)失誤次數(shù)。該次數(shù)反映客觀上真實(shí)的疲勞程度，作為其他測量方式準(zhǔn)確性的衡量尺度。測量其他的生理特征值。將測量值與客觀疲勞程度作相關(guān)運(yùn)算。結(jié)果顯示PERCLOS中P80與客觀疲勞程度的相關(guān)系數(shù)最大，而EEG和頭部姿勢的變化個(gè)體間的差異很大。另外PERCLOS的另一個(gè)優(yōu)點(diǎn)是可以實(shí)現(xiàn)非接觸式檢測，不會(huì)影響駕駛。但是PERCLOS的檢測基于機(jī)器視覺，圖像處理的實(shí)時(shí)性實(shí)現(xiàn)比較困難。本文提出了一種適合于疲勞檢測的圖像處理方法。

三. 圖像采集系統(tǒng)的設(shè)計(jì)
    首先考慮司機(jī)的駕駛環(huán)境，檢測系統(tǒng)必須在夜晚或光線較弱的情況下正常工作，因此必須采用自帶光源的攝像系統(tǒng)。本系統(tǒng)采用自帶紅外發(fā)光管的紅外攝像機(jī)來采集圖像這樣不僅保證充足的照明而且紅外光線不可見，不會(huì)影響司機(jī)的駕駛。為了減少外界環(huán)境的干擾，降低圖像處理的復(fù)雜程度，應(yīng)當(dāng)盡量濾波背景圖像。圖像采集系統(tǒng)選用950nm近紅外線發(fā)光管做光源，選用索尼950nm紅外濾鏡過濾950nm窄帶波段以外的光譜。由于發(fā)光管發(fā)出的是950nm左右的窄帶的紅外線，而濾光片只能通過950nm左右的窄帶紅外線，可見光和其他波長的紅外線被過濾，因此可以近似認(rèn)為采集圖像的光源只含有950nm的紅外光源。如圖1為用自然光拍攝的圖像，圖像的陰影較大，眼睛區(qū)域的定位難度很大，圖2為用本系統(tǒng)采集的紅外圖像，圖中司機(jī)的臉部比較清晰，離光源較遠(yuǎn)的物體幾乎被過濾掉。圖像的處理難度較小?？紤]到圖像分析的實(shí)時(shí)性問題，以及在分析眼睛的大小時(shí)，眼睛的面積不能太小。我們選擇合適的分辨率，將采集的圖像的大小設(shè)定為320*240。司機(jī)的臉部圖像的大小調(diào)整在大致1萬象素左右。最后攝像機(jī)的dv圖像通過1394卡傳到計(jì)算機(jī)并由計(jì)算機(jī)控制紅外序列圖像的采集。系統(tǒng)的原理框圖如圖3所示

四. 臉部區(qū)域的提取
    由于采集系統(tǒng)過濾了大量的背景，可以假設(shè)采集的圖像滿足以下兩個(gè)先驗(yàn)條件：
    1)臉部的面積在圖像中所占的比例較大，如果用合理的閾值分割圖像，將分割后的二值圖像中值為1的區(qū)域按連通區(qū)域面積從大到小排序,臉部的面積可以排在前兩位。
    2)司機(jī)頭部的運(yùn)動(dòng)量較其他地方大。
    因此本文采用的做法是：先用合適的閾值分割方法得到圖像im2的二值圖像binim，然后求它與前一幀圖像im1的差分圖像difim（difim為im1和im2差值的絕對值取一定的閾值分割后的二值圖像），計(jì)算binim中面積最大的兩塊連通區(qū)域s1，s2；在差分圖像difim中計(jì)算兩塊區(qū)域的運(yùn)動(dòng)量，選取其中運(yùn)動(dòng)量較大的一個(gè)區(qū)域。計(jì)算該區(qū)域的上邊界和左右邊界，下邊界的選取使得臉部的區(qū)域?yàn)檎叫巍?br />    由于臉部姿勢變化時(shí)圖像的光線變化較大，用固定的閾值分割不可行。本文用類別方差自動(dòng)門限法對圖像做二值化處理，該方法的原理如下：

組合分析這些類別方差，可以衡量不同的門限導(dǎo)出的類別的分離性能?？梢赃x用的準(zhǔn)則有

五. 圓頻率變換和眼睛的定位及面積計(jì)算
    圓頻率變換的濾波方法[4]是Shinjiro Kawato和 Jun Ohya提出的一種用于分析人臉姿勢的方法。它的特點(diǎn)是不直接定位眼睛，而是通過定位兩只眼睛的連線的中點(diǎn)即眉心的位置來分析人臉的姿勢。該方法的特點(diǎn)是運(yùn)算速度快，能夠滿足實(shí)時(shí)處理的要求。本文利用這種方法作為眼睛定位的一個(gè)步驟，以減少下一步眼睛定位的搜索范圍。
   以點(diǎn)(x,y)為圓心，以一定的半徑畫圓，將圓周上的點(diǎn)依次存入數(shù)組，設(shè)數(shù)組為

取圓頻率濾波的半徑r＝len/4。
    定位出眉心后，本文用以下的方法步驟定位瞳孔中心并計(jì)算瞳孔的面積。
    1． 根據(jù)該點(diǎn)估計(jì)眼睛和眉毛所在的大致區(qū)域，選取距離眉心上下各20個(gè)象素，水平方向的距離在[7,40]的圖像區(qū)域。
    2． 在選取的圖像區(qū)域內(nèi)作水平積分投影即G(y)= ，對G(y)作均值濾波，眼睛和眉毛處的積分比較小，而二者中間的眼瞼亮度相對較大，因此我們計(jì)算G(y)中兩個(gè)波谷之間的波峰作為眼睛區(qū)域的上邊界，取上邊界加15作為下邊界。
    3． 在眼睛區(qū)域內(nèi)做廣義對稱變換計(jì)算瞳孔中心，由于眼睛的區(qū)域較小，雖然廣義對稱變換的時(shí)間復(fù)雜度為( )，其中n為圖像的象素總和，m為模型的大小，但是計(jì)算的區(qū)域較小，因此不會(huì)影響實(shí)時(shí)性。這里本文用橢圓模型定位瞳孔的中心，橢圓的長軸a＝6，短軸b＝3廣義對稱變換的原理參考文獻(xiàn)[５]。
    4． 將瞳孔中心上下5個(gè)象素，左右10個(gè)象素區(qū)域的灰度變換到[0,1],取0.4為閾值分割圖像。計(jì)算瞳孔的面積。

                         圖5

    為了進(jìn)一步提高處理速度，本文并不對每一幀圖像做上述步驟處理而是在定位出眼睛的中心位置后估計(jì)下一幀眼睛和眉毛的區(qū)域，用積分投影和廣義對稱的方法定位眼睛的中心，只有當(dāng)連續(xù)兩幀眼睛周圍的亮度差值太大時(shí)才在整個(gè)圖像范圍內(nèi)用上述的所有步驟定位眼睛。如圖5顯示了右眼的定位和瞳孔面積計(jì)算的過程。

六.　實(shí)驗(yàn)結(jié)果及結(jié)論
本文的實(shí)驗(yàn)在MATLAB7.0，C41.7GCPU，256MB內(nèi)存的環(huán)境下進(jìn)行。MATLAB7.0增加了與視頻設(shè)備接口通訊的工具箱，，通過1394卡可以與dv攝像機(jī)通訊，實(shí)時(shí)捕捉和檢索圖像序列。本文采用MATLAB直接讀取視頻中的圖像并進(jìn)行處理，圖像處理的速度在每秒8～12幀，在臉部不是過于偏離鏡頭造成背光嚴(yán)重的情況下能夠準(zhǔn)確定位瞳孔中心。當(dāng)然采用單一的檢測手段有一定的局限性，例如有些人睡覺時(shí)眼睛不閉合，有些人喜歡帶墨鏡，此時(shí)PERCLOS方法就會(huì)失效。，采用多種疲勞判別方式的綜合可以提高判別的準(zhǔn)確度，例如綜合眼皮的眨動(dòng)次數(shù)，頭部姿勢以及汽車在行駛時(shí)的橫向速度的變化情況。為了提高系統(tǒng)疲勞檢測的有效性，多種疲勞判別方式綜合判定是我們對系統(tǒng)改進(jìn)的研究方向。