手勢(shì)識(shí)別算法新突破 uSens凌感發(fā)布新版Fingo SDK

硅谷三維人機(jī)交互公司uSens凌感近日發(fā)布新版Fingo SDK，在手勢(shì)算法底層進(jìn)行了突破性改進(jìn)，新增一系列雙手交互動(dòng)作，如握拳、手心寫字、十指交叉等，在同類產(chǎn)品中，率先實(shí)現(xiàn)對(duì)大面積遮擋的雙手交疊類手部動(dòng)作的識(shí)別，并可實(shí)現(xiàn)對(duì)十個(gè)手指的靈活細(xì)微運(yùn)動(dòng)的追蹤，技術(shù)全球領(lǐng)先，有效解決了在應(yīng)用中手勢(shì)操作的痛點(diǎn)問題。

uSens凌感在2017年2月正式公開發(fā)售其手部追蹤解決方案 -- Fingo。Fingo集成軟硬件為一體，硬件上通過兩個(gè)紅外攝像頭及三個(gè)紅外輔助燈追蹤手部動(dòng)作，軟件上基于計(jì)算機(jī)視覺及深度學(xué)習(xí)等算法，實(shí)現(xiàn)對(duì)雙手骨骼的識(shí)別，大部分常用手勢(shì)均可實(shí)現(xiàn)精準(zhǔn)低延遲識(shí)別。經(jīng)過半年的不斷優(yōu)化改進(jìn)，本次發(fā)布的新版SDK在手勢(shì)的整體穩(wěn)定性、精確度以及多樣化方面大幅提升，對(duì)常用手勢(shì)動(dòng)作進(jìn)行了深度優(yōu)化。

人的手部動(dòng)作靈活復(fù)雜，不僅有直接可見的清晰手型，也有握拳、手指交叉、左右手交疊等等對(duì)關(guān)節(jié)點(diǎn)有大幅遮擋的動(dòng)作，這些遮擋的部分如何精準(zhǔn)識(shí)別成為判斷手部追蹤技術(shù)的一個(gè)關(guān)鍵指標(biāo)。uSens凌感聯(lián)合創(chuàng)始人、CTO費(fèi)越博士介紹：“我們的手部追蹤指的是實(shí)現(xiàn)雙手的自然交互，不是識(shí)別幾種固定的手勢(shì)，也不是跟蹤五個(gè)指尖，而是通過對(duì)手部26個(gè)自由度的追蹤，通過深度學(xué)習(xí)等算法，對(duì)手部骨骼進(jìn)行識(shí)別。人是主動(dòng)性的，不是被動(dòng)的受限交互，這就不可避免的出現(xiàn)大家生活中常用的雙手交互的動(dòng)作，比如鼓掌、握手、雙手交叉換位等。為了給用戶創(chuàng)造自然沉浸的三維交互體驗(yàn)，我們認(rèn)為這部分雖然難度高，但有必要突破，其他方案目前還沒有涉及這部分，或者效果不佳。我們先行啟動(dòng)了在這個(gè)方向的研發(fā)和嘗試。”

uSens凌感新版手勢(shì)更新新增雙手交互動(dòng)作

uSens凌感高級(jí)技術(shù)總監(jiān)毛文濤主導(dǎo)手勢(shì)開發(fā)，他表示：“這次版本迭代，我們以實(shí)用、可用、好用為目標(biāo)。我們發(fā)現(xiàn)在行業(yè)實(shí)際應(yīng)用中，手勢(shì)操作有些痛點(diǎn)問題一直沒得到很好地解決，如：聾啞人溝通用的手語中有大量雙手交叉或交疊在一起的動(dòng)作，這類動(dòng)作目前市面上產(chǎn)品無法做到或表現(xiàn)不佳。VR社交、VR課程中，希望有一些類似小鍵盤的操作，學(xué)生或用戶長(zhǎng)時(shí)間手勢(shì)懸空操作會(huì)比較辛苦。針對(duì)這些問題，我們做了一些嘗試，在算法層進(jìn)行了改進(jìn)，比如實(shí)現(xiàn)了在手心上寫字、左右手交叉等一系列雙手觸碰的動(dòng)作，這樣可以提供另一只手的支撐，無需懸空操作，用戶體驗(yàn)大幅提升。”

uSens凌感的手部追蹤解決方案Fingo自今年年初推出后，已經(jīng)與國(guó)內(nèi)外AR VR類頭顯廠商進(jìn)行了深度合作，部分廠商已在規(guī)劃集成Fingo的交互頭顯，預(yù)計(jì)今年底或明年初將有產(chǎn)品面世。基于Fingo的注冊(cè)開發(fā)者不斷增加，行業(yè)覆蓋游戲、房地產(chǎn)、教育、汽車、展覽展示等。uSens凌感立足中國(guó)市場(chǎng)，目前已在北京、深圳、杭州設(shè)立運(yùn)營(yíng)、研發(fā)以及售后支持團(tuán)隊(duì)，重點(diǎn)支持中國(guó)客戶及本地開發(fā)者。