微動(dòng)手勢(shì)識(shí)別,為何更接地氣?
手勢(shì)識(shí)別是一個(gè)理解和解釋手、臂姿態(tài)的運(yùn)動(dòng),是一個(gè)復(fù)雜的科學(xué)與工程交匯的技術(shù)領(lǐng)域。可以讓使用者在不穿戴任何輔助設(shè)備的前提下,以簡(jiǎn)單、自然、便捷的方式與電子設(shè)備交互,目前主要應(yīng)用于人機(jī)交互研發(fā)、人機(jī)界面設(shè)計(jì)領(lǐng)域,因其在人機(jī)交互應(yīng)用中不斷展現(xiàn)出的潛力,近年來逐步受到人們的關(guān)注。
不難發(fā)現(xiàn),手勢(shì)識(shí)別加微動(dòng)技術(shù)將是未來人機(jī)交互的發(fā)展趨勢(shì)。微動(dòng)采用多角度成像深度技術(shù),其原理是將不同角度的固定攝像頭得到的圖像或視頻流進(jìn)行比對(duì),根據(jù)攝像頭的角度偏差和圖像之間的差值,計(jì)算出目標(biāo)物體到攝像頭中心的距離。對(duì)此,作為在機(jī)器視覺、模式識(shí)別、嵌入式系統(tǒng)領(lǐng)域有深層次積累鋒時(shí)互動(dòng)科技,在手勢(shì)識(shí)別技術(shù)的研究和應(yīng)用方向上有獨(dú)到的造詣。
鋒時(shí)互動(dòng)科技聯(lián)合創(chuàng)始人張碩表示,現(xiàn)在常見的人機(jī)交互是語音識(shí)別,其實(shí)還有手勢(shì)識(shí)別這個(gè)技術(shù),它歸類于一個(gè)體感技術(shù),主要依靠于后續(xù)精度的大量提高,像寶馬7系和今年下半年的奧迪V8,在交互方面都采用了手勢(shì)識(shí)別。手勢(shì)跟語音一樣,只是一種交互的方式,并表示希望打通語音和體感兩種交互方式的隔閡,因?yàn)轶w感可能受到光線的影響,語音可能會(huì)有噪音,包括車內(nèi)環(huán)境的影響,當(dāng)兩種技術(shù)相結(jié)合,能不能產(chǎn)生出新的交互方式,更貼近自然的方式,這是未來追尋的目標(biāo)。
三個(gè)層面 看清微動(dòng)手勢(shì)識(shí)別
鋒時(shí)互動(dòng)旗下的微動(dòng)系列手勢(shì)識(shí)別產(chǎn)品及解決方案,采用基于視覺的手勢(shì)識(shí)別技術(shù),不需要使用者穿戴任何輔助設(shè)備。通過內(nèi)置在產(chǎn)品當(dāng)中的兩個(gè)定制光路攝像頭采集手部圖像信息,通過算法可以判斷出手部的不同姿態(tài)信息和不同手指的三維位置信息及其運(yùn)動(dòng)軌跡,再將之對(duì)應(yīng)到相應(yīng)的控制命令之上。主要有兩大特色:
其一,硬件層面。擁有獨(dú)立的圖形圖像處理芯片,核心算法不依賴于系統(tǒng)的硬件實(shí)現(xiàn);
其二,軟件層面。擁有中間件架構(gòu),用以連接硬件設(shè)備和軟件應(yīng)用程序,為在各種硬件平臺(tái)上開發(fā)的手勢(shì)識(shí)別應(yīng)用提供標(biāo)準(zhǔn)的數(shù)據(jù)接口。
因此,微動(dòng)可支持多種硬件平臺(tái)和操作系統(tǒng),具有很強(qiáng)的靈活性和可擴(kuò)展性。
為了滿足特殊行業(yè)客戶的需求,微動(dòng)手勢(shì)識(shí)別解決方案中也包含定制化服務(wù),讓手勢(shì)交互滲透到更多的領(lǐng)域當(dāng)中。微動(dòng)手勢(shì)識(shí)別解決方案包含三個(gè)層面:傳感器模組、中間件、應(yīng)用。
傳感器模組:是攝像頭傳感器與圖形圖像處理器的統(tǒng)稱,用以采集手部圖像數(shù)據(jù)并進(jìn)行高并發(fā)圖形圖像算法處理;
中間件:負(fù)責(zé)屏蔽不同系統(tǒng)之間的差異,當(dāng)前中間件可運(yùn)行在WindowsWin CEAndroidQnxLinux其他類型嵌入式系統(tǒng)之上,并在中間件中加入高級(jí)動(dòng)作指令算法,完成動(dòng)作指令拾取、運(yùn)動(dòng)軌跡檢測(cè)等功能;
應(yīng)用:VR游戲、車載電子、醫(yī)療等業(yè)務(wù)程序邏輯。
傳感器模組通過采集手部圖像數(shù)據(jù)進(jìn)行高并發(fā)圖形圖像處理后,將數(shù)據(jù)信息以幀為單位傳遞給中間件,在中間件層面,用戶可根據(jù)需求選擇不同的硬件實(shí)現(xiàn)和不同類型的操作系統(tǒng)。根據(jù)實(shí)際手勢(shì)需求,忽略與系統(tǒng)能共不相干的手勢(shì),通過中間件可實(shí)現(xiàn)對(duì)于應(yīng)用邏輯的數(shù)據(jù)驅(qū)動(dòng)和事件驅(qū)動(dòng)兩種程序設(shè)計(jì)方法。當(dāng)應(yīng)用得到中間件發(fā)出的事件后,應(yīng)立即在界面UI上,給予使用者相應(yīng)的反饋并執(zhí)行相應(yīng)的業(yè)務(wù)邏輯。三個(gè)層面之間的邏輯關(guān)系如下圖所示:
解決方案的效果是需要被實(shí)際的應(yīng)用來衡量,目的是為了讓用戶簡(jiǎn)單、高效的將自然的手勢(shì)識(shí)別交互應(yīng)用到其現(xiàn)有的虛擬現(xiàn)實(shí)游戲、車載電子或消費(fèi)級(jí)電子產(chǎn)品當(dāng)中。
強(qiáng)化產(chǎn)品 增強(qiáng)車載交互體驗(yàn)
首先,將微動(dòng)手勢(shì)識(shí)別解決方案包含在用戶的車載信息系統(tǒng)當(dāng)中,考慮到車載電子采用安卓Android系統(tǒng),所以選擇Android版本中間件連接手勢(shì)識(shí)別傳感器模組和客戶應(yīng)用,包含微動(dòng)手勢(shì)識(shí)別解決方案后的用戶系統(tǒng)體系結(jié)構(gòu)。如下圖所示:
其次,設(shè)計(jì)師將微動(dòng)手勢(shì)識(shí)別解決方案中現(xiàn)有的手勢(shì)庫中的動(dòng)作指令與用戶應(yīng)用功能進(jìn)行匹配。
最后,通過與軟件工程師溝通,中間件采用事件回調(diào)的方式觸發(fā)應(yīng)用的功能。即當(dāng)使用者做出與動(dòng)作設(shè)計(jì)相匹配的動(dòng)作指令時(shí),中間件調(diào)用現(xiàn)有的功能程序邏輯,完成操作。
微動(dòng)手勢(shì)識(shí)別解決方案擁有完善的動(dòng)作指令級(jí)、中間件可跨平臺(tái)并提供高級(jí)別的API接口,讓用戶的軟件工程師輕松、迅速地完成現(xiàn)有應(yīng)用功能與手勢(shì)交互的對(duì)接。整體研發(fā)過程中,手勢(shì)識(shí)別解決方案的體系結(jié)構(gòu)雖完全包含在系統(tǒng)體系當(dāng)中,但又是非緊密耦合的,保持著相對(duì)的獨(dú)立性。
除了滿足移動(dòng)位置的基本需求外,人們開始追求更舒適的駕駛感受和更多的娛樂體驗(yàn),諸如車內(nèi)空調(diào)、導(dǎo)航、車載電話、音樂系統(tǒng)。微動(dòng)推出的手勢(shì)控制技術(shù),可以讓駕駛員坐在車中,只需通過簡(jiǎn)單的手、臂動(dòng)作,就能完成對(duì)車內(nèi)信息的調(diào)節(jié)和控制。
在手勢(shì)識(shí)別領(lǐng)域中,手部特征數(shù)據(jù)可通過數(shù)據(jù)手套或攝像頭采集,采集的數(shù)據(jù)通過算法處理后,轉(zhuǎn)化為應(yīng)用軟件或硬件設(shè)備的輸入信息。微動(dòng)手勢(shì)識(shí)別解決方案的目標(biāo)是幫助用戶快速、高效地開發(fā)出基于視覺采集的手勢(shì)識(shí)別應(yīng)用,提供標(biāo)準(zhǔn)的手勢(shì)識(shí)別傳感器模組以及手勢(shì)動(dòng)作設(shè)計(jì)、界面UI設(shè)計(jì)、委托開發(fā)等服務(wù),降低應(yīng)用研發(fā)周期和成本,讓用戶更專注于自身業(yè)務(wù)流程的研發(fā)。