一種基于遷移極速學(xué)習(xí)機(jī)的人體行為識(shí)別模型

引 言

基于智能手機(jī)進(jìn)行人體行為識(shí)別是移動(dòng)情景識(shí)別的一個(gè)重要研究方向，在健康監(jiān)控、行為檢測(cè)、老年人監(jiān)管等方面有廣泛應(yīng)用[1]。在構(gòu)建行為識(shí)別模型時(shí)，利用智能手機(jī)中內(nèi)置的三軸加速度傳感器，對(duì)人們多種日常行為的加速度數(shù)據(jù)進(jìn)行采集，并通過(guò)機(jī)器學(xué)習(xí)的方法，構(gòu)建用戶行為識(shí)別模型[2]。

由于每個(gè)用戶的行為都有自身的特點(diǎn)和習(xí)慣，加之手機(jī)放置位置和方向的不確定性及多樣性，導(dǎo)致不同用戶的行為加速度數(shù)據(jù)特征的數(shù)據(jù)分布差異較大，以至于識(shí)別模型的不適用性大大增加。為了解決識(shí)別模型的自適應(yīng)性問(wèn)題，并且以最小的代價(jià)獲得較大收獲，這就需要利用遷移學(xué)習(xí)對(duì)通用模型進(jìn)行修改。

為了解決通用行為模型在面對(duì)新用戶時(shí)的不適用問(wèn)題， 本文提出了TrELM 算法實(shí)現(xiàn)遷移學(xué)習(xí)。該方法是一種基于參數(shù)遷移的方法，通過(guò)對(duì)ELM 的目標(biāo)函數(shù)進(jìn)行修改，引入一個(gè)可以表示兩域差異的遷移學(xué)習(xí)量，實(shí)現(xiàn) ELM 模型的遷移學(xué)習(xí)。利用TrELM 算法實(shí)現(xiàn)通用模型的遷移，首先利用ELM 分類器構(gòu)建通用行為識(shí)別模型，可以得到源域中識(shí)別模型的輸出權(quán)值向量 βS ；之后通過(guò)對(duì)新用戶的少量行為樣本進(jìn)行學(xué)習(xí)，修改通用模型的輸出向量為 βt，實(shí)現(xiàn)對(duì)通用模型的修改， 完成具有遷移學(xué)習(xí)功能的行為識(shí)別模型。

1 已有研究

Dai 提出了一種 TrAdaBoost 方法[3]，該方法的假設(shè)前提為源域和目標(biāo)域?qū)嵗龜?shù)據(jù)的特征和標(biāo)記相同，但數(shù)據(jù)分布不同。該方法利用AdaBoost 方法構(gòu)建了一個(gè)數(shù)據(jù)樣本權(quán)值自動(dòng)調(diào)整的機(jī)制，在迭代過(guò)程中對(duì)源域和目標(biāo)域的數(shù)據(jù)采取不同的權(quán)重調(diào)整機(jī)制，進(jìn)而可以實(shí)現(xiàn)減少有害數(shù)據(jù)對(duì)目標(biāo)域?qū)W習(xí)的影響。該方法雖然可以借助源域的部分?jǐn)?shù)據(jù)樣本作為輔助數(shù)據(jù)來(lái)在目標(biāo)域進(jìn)行學(xué)習(xí)，但是當(dāng)源域和目標(biāo)域的數(shù)據(jù)樣本相似性較差時(shí)，負(fù)遷移效果會(huì)增加。Jiang 等在文獻(xiàn) [4] 中的處理辦法是對(duì)源域數(shù)據(jù)樣本進(jìn)行領(lǐng)域適應(yīng)性的轉(zhuǎn)變，將產(chǎn)生負(fù)遷移效應(yīng)的源域樣本刪除后再進(jìn)行賦值，增加其在目標(biāo)域中的權(quán)值大小，最終可以利用具有預(yù)測(cè)標(biāo)簽的目標(biāo)域樣本對(duì)源域樣本的質(zhì)量進(jìn)行提升。

Dai 等人在文獻(xiàn) [5] 中提出翻譯特征遷移學(xué)習(xí)方法，該方法是一種較為基礎(chǔ)的特征遷移學(xué)習(xí)方法，主要通過(guò)對(duì)跨領(lǐng)域的特征進(jìn)行學(xué)習(xí)，用以解決訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)所屬特征空間不同的問(wèn)題，利用不相關(guān)的數(shù)據(jù)幫助目標(biāo)分類和聚類學(xué)習(xí)。

Lawrence 在文獻(xiàn) [6] 中提出了一種高效算法 MT-IVM， 該方法構(gòu)建了多任務(wù)的高斯過(guò)程，在其特性上獲取知識(shí)，以實(shí)現(xiàn)知識(shí)共享。Bonilla 在文獻(xiàn) [7] 中也研究了高斯過(guò)程下的多任務(wù)學(xué)習(xí)，提出了基于任務(wù)間自由形式的協(xié)方差矩陣，進(jìn)而模擬交互任務(wù)的依賴性，最終利用高斯過(guò)程中知識(shí)對(duì)任務(wù)間的相互關(guān)系進(jìn)行學(xué)習(xí)。Schwaighofer 等人構(gòu)建了基于高斯過(guò)程和貝葉斯算法的統(tǒng)一模型，以解決多任務(wù)學(xué)習(xí)問(wèn)題 [8]。在文獻(xiàn) [9] 中，Evgeniou 提出了一種以分層貝葉斯模型為前提的規(guī)則化框架，并實(shí)現(xiàn)了在遷移學(xué)習(xí)中的應(yīng)用，解決了多任務(wù)學(xué)習(xí)的問(wèn)題。該方法的實(shí)現(xiàn)基于如下假設(shè)，即在面臨每個(gè)任務(wù)時(shí)， 將SVMs 中的特征分為兩部分，一部分是所有任務(wù)都具有的共同體，另一部分是針對(duì)某個(gè)任務(wù)的專有部分，這種方法適用于具有較多樣本，且源域和目標(biāo)域樣本較為單一的情況。

Mihalkova 在文獻(xiàn) [10] 中提出了 TAMAR 算法，通過(guò)馬爾科夫邏輯網(wǎng)絡(luò)在相關(guān)聯(lián)領(lǐng)域間遷移相關(guān)知識(shí)。在馬爾科夫模型中，關(guān)聯(lián)領(lǐng)域的實(shí)體通過(guò)預(yù)測(cè)表現(xiàn)出來(lái)，他們的關(guān)聯(lián)性可由一階邏輯表示。該方法基于這樣一個(gè)事實(shí)，若兩個(gè)域是相關(guān)的，則存在一種從源域到目標(biāo)域的實(shí)體之間及關(guān)系的映射。TAMAR 算法分為兩個(gè)階段，首先構(gòu)造一個(gè)基于加權(quán)的對(duì)數(shù)似然度的從源域到目標(biāo)域的映射；之后利用 FORTE 算法修正目標(biāo)域的映射結(jié)構(gòu)，修改后的馬爾科夫邏輯網(wǎng)絡(luò)可以用作目標(biāo)域的關(guān)聯(lián)模型來(lái)使用。此外，Davis 等人構(gòu)建了二階馬氏邏輯， 實(shí)現(xiàn)相關(guān)知識(shí)的遷移學(xué)習(xí)，該方法根據(jù)反相馬爾科夫鏈的形式實(shí)現(xiàn)源域中某一樣本的架構(gòu)構(gòu)造，進(jìn)而可以在目標(biāo)域中獲取該樣本的公式。

本文所提出的 TrELM 算法結(jié)合了參數(shù)遷移方法，實(shí)現(xiàn)了ELM 在模型層面上的遷移學(xué)習(xí)功能。

2 基于遷移極速學(xué)習(xí)機(jī)的行為識(shí)別模型

目前，針對(duì)ELM 遷移學(xué)習(xí)方法的研究主要是基于實(shí)例遷移學(xué)習(xí)方法，基于參數(shù)的遷移學(xué)習(xí)大多是在SVM 結(jié)構(gòu)中實(shí)現(xiàn)的。遷移學(xué)習(xí)算法TL-SVM 通過(guò)對(duì) SVM 分類器進(jìn)行深入研究，從判別函數(shù) f（x）=wTx+b 中發(fā)現(xiàn)不同域間的差異體現(xiàn)在其 w 值上。通過(guò)構(gòu)造可以體現(xiàn)兩域間差異的項(xiàng) μ‖w － w ‖2，將其添加至SVM 目標(biāo)式中，根據(jù)一系列運(yùn)算規(guī)則，即可實(shí)現(xiàn)不同域間的遷移學(xué)習(xí)。

用ELM 構(gòu)建模型，會(huì)得到輸出權(quán)值向量 β，針對(duì)數(shù)據(jù)分布不同的領(lǐng)域，在其上訓(xùn)練的 ELM 模型中的 β 向量必然不同， 雖然模型構(gòu)建時(shí)輸入節(jié)點(diǎn)加權(quán)值向量以及偏差向量均是隨機(jī)賦值的，但其模型構(gòu)建理論可以說(shuō)明，以不同域數(shù)據(jù)樣本構(gòu)建的多個(gè)ELM 分類模型間的差異，可以用輸出權(quán)值向量 β 表示。

鑒于SVM及ELM的相關(guān)性以及基于SVM的遷移學(xué)習(xí)研究，構(gòu)造 TrELM（Transfer Extreme Learning Machine）算 法模型。通過(guò)在 ELM 的目標(biāo)式中增加 μ‖βt － βS‖2 項(xiàng)，可以 表示兩個(gè)域間的差異，通過(guò)嚴(yán)密的數(shù)學(xué)公式推導(dǎo)求解后，可 以得到目標(biāo)域內(nèi)的 ELM 目標(biāo)式，進(jìn)而實(shí)現(xiàn)兩域間的遷移學(xué)習(xí)。 其中，‖βt － βS‖2 表示兩域分類器之間的差異程度，該值越 大則分類器間的差異越大，反之越小 ；參數(shù) μ 控制懲罰程度。 TrELM 算法原理如圖 1 所示。

3 實(shí)驗(yàn)結(jié)果 

項(xiàng)目組是以智能手機(jī)為背景的行為識(shí)別模型的遷移學(xué)習(xí)， 將九名測(cè)試者 p1至 p9 按其年齡分布分為 A、B、C 三組，其中， A 組成員為 p1-p3，年齡分布為 20-30 歲，相應(yīng)樣本集記 DA ； B 組成員為 p4-p6，年齡分布在 31-40 歲，相應(yīng)樣本集記 DB ； C 組成員為 p7-p9，年齡分布在 41-50 歲，相應(yīng)樣本集記 DC。 上述每個(gè)樣本集均按比例（1 ：3）分為兩部分，即 DA1、DA2， DB1、DB2 和 DC1、DC2。

為了論證方法的有效性，實(shí)驗(yàn)將分為遷移學(xué)習(xí)前和遷移 學(xué)習(xí)后模型的適應(yīng)性統(tǒng)計(jì)兩部分。第一部分分別以 DA、DB 和 DC 作為訓(xùn)練集，構(gòu)建 ELM 通用行為識(shí)別模型，之后對(duì)其余 兩個(gè)樣本集進(jìn)行測(cè)試，統(tǒng)計(jì)測(cè)試集正確率，以衡量未遷移學(xué) 習(xí)時(shí)的模型適應(yīng)性 ；第二部分是在第一部分的基礎(chǔ)上，以其 余樣本集中較少部分作為遷移學(xué)習(xí)訓(xùn)練樣本集，對(duì)模型進(jìn)行 TrELM 算法的自適應(yīng)性修改，以測(cè)試集正確率作為遷移學(xué)習(xí) 后的模型適應(yīng)性能力進(jìn)行統(tǒng)計(jì)。每組實(shí)驗(yàn)均進(jìn)行 20 次，統(tǒng)計(jì) 正確率的平均值。

在構(gòu)建通用行為識(shí)別模型時(shí)，由于 ELM 算法的輸入權(quán)值 向量是隨機(jī)賦值的，故只需要確定隱藏層節(jié)點(diǎn)數(shù)即可。目前統(tǒng) 一規(guī)范確定隱藏層數(shù)量，只能靠經(jīng)驗(yàn)值確定。選取隱藏層參 數(shù)為 100，以達(dá)到構(gòu)建最優(yōu)網(wǎng)絡(luò)的目的。

另外，在 ELM 的輸出函數(shù)中，C 的取值范圍 [2^（-10），2^ （25）]，選取分類器性能最優(yōu)時(shí)的 C 值為 2^（18）。 

在遷移學(xué)習(xí)過(guò)程中，假設(shè) TrELM 算法的性能是由其相關(guān) 參數(shù) μ 和 Ct 確定的。令 μ 的取值范圍為 [0，1]，Ct 的取值范 圍為 [2^（-5），2^（20）] 。統(tǒng)計(jì)遷移訓(xùn)練集 20 次實(shí)驗(yàn)的平均 正確率如圖 2 所示。圖 2 中所示為三軸坐標(biāo)，坐標(biāo)系中每個(gè)點(diǎn) 表示取該點(diǎn)所在的 Ct 和 μ 值時(shí)，模型在遷移訓(xùn)練集上所得到 的正確率。由圖2可知，在保證 TrELM 算法性能最優(yōu)的前提下， 取 μ 為 0.4，Ct 為 2^（10）

表 1至表 6 為各交叉用戶組在模型遷移學(xué)習(xí)前后的行為 識(shí)別準(zhǔn)確率平均值的統(tǒng)計(jì)，上述兩部分實(shí)驗(yàn)的相關(guān)樣本集及 正確率統(tǒng)計(jì)結(jié)果分別列于各表中的第一行和第二行。

通過(guò)上述表格的第一行可以看出，對(duì)于所構(gòu)建的通用行 為模型，在面臨新用戶時(shí)，行為識(shí)別正確率較低，平均值最 低為 64.75%，說(shuō)明了對(duì)新用戶進(jìn)行行為識(shí)別時(shí)，通用模型的 不適應(yīng)性以及遷移學(xué)習(xí)的必要性。通過(guò)對(duì)比各表格中第一二行 的測(cè)試集正確率，可以看出，利用新用戶的行為數(shù)據(jù)進(jìn)行了 基于 TrELM 算法的模型遷移學(xué)習(xí)后，行為識(shí)別正確率有了明 顯提高，表 5 中正確率的增加幅度最大，為 24.63%，說(shuō)明了 TrELM 算法可以有效達(dá)到遷移學(xué)習(xí)的目的。 

另外，表 2 和表 5 中測(cè)試集正確率增加值要大于其余四 個(gè)表，這是由于當(dāng)所遷移到的目標(biāo)域用戶組年齡組成與源域訓(xùn) 練組差異較大時(shí)，兩組行為特征值的數(shù)據(jù)分布也會(huì)有較大不同，通用模型的不適應(yīng)性增大，在這種情況下進(jìn)行遷移學(xué)習(xí)， 可以得到更好的效果，識(shí)別正確率也會(huì)有較大提高。 

4 結(jié) 語(yǔ)

為了解決通用行為模型在面對(duì)新用戶時(shí)的不適用問(wèn)題， 本節(jié)提出了 TrELM 算法實(shí)現(xiàn)遷移學(xué)習(xí)。該方法是一種基于參 數(shù)遷移的方法，是通過(guò)對(duì) ELM 的目標(biāo)函數(shù)進(jìn)行修改，引入一 個(gè)可以表示兩域差異的遷移學(xué)習(xí)量，實(shí)現(xiàn) ELM 模型的遷移學(xué) 習(xí)。利用 TrELM 算法實(shí)現(xiàn)通用模型的遷移，首先利用 ELM 分類器構(gòu)建通用行為識(shí)別模型，可以得到源域中識(shí)別模型的 輸出權(quán)值向量 βS ；之后通過(guò)對(duì)新用戶的少量行為樣本進(jìn)行學(xué) 習(xí)，修改通用模型的輸出向量為 βt，實(shí)現(xiàn)對(duì)通用模型的修改， 完成具有遷移學(xué)習(xí)功能的行為識(shí)別模型。實(shí)驗(yàn)在真實(shí)數(shù)據(jù)集 上進(jìn)行，結(jié)果表明，該模型可以有效提高新用戶的行為識(shí)別 正確率。