微軟研究讓Kinect學(xué)會讀口語和手語

據(jù)國外媒體報(bào)道，微軟的體感套件Kinect是一個潛力無限的設(shè)備，微軟研究中心正在進(jìn)行的一個研究項(xiàng)目就希望用Kinect進(jìn)行口語和手語的實(shí)時互譯。

微軟研究中心推出的Kinect手語翻譯器(Kinect Sign Language Translator)可以將手語和口語進(jìn)行互譯，而且是實(shí)時進(jìn)行。

簡而言之，Kinect進(jìn)行捕捉動作，之后靠機(jī)器學(xué)習(xí)和模式識別程序解析出這些動作的含義，Bing Translator技術(shù)則負(fù)責(zé)實(shí)際的翻譯工作。當(dāng)一個聾啞人用手語和一個說口語的正常人進(jìn)行對話時，這套系統(tǒng)可以捕捉交談雙方的對話內(nèi)容，視覺型號被轉(zhuǎn)換成書面文字，而口語則被實(shí)時翻譯并轉(zhuǎn)換成精準(zhǔn)的視覺信號。

這絕對是一項(xiàng)偉大的成就，不過這項(xiàng)研究還有很長的路要走。目前單單建立一個單詞的模式識別程序就需要整整五位研究人員的工作。目前為止，研究人員僅僅添加了300個中國手語單詞，而中國手語的單詞總數(shù)約有4000個。

吳國斌(音譯)是Kinect手語翻譯器項(xiàng)目的項(xiàng)目經(jīng)理，他表示識別部分目前是該項(xiàng)目最具挑戰(zhàn)性的地方。此前項(xiàng)目組曾嘗試過數(shù)據(jù)手套和網(wǎng)絡(luò)攝像頭，最終還是Kinect更適用于這一項(xiàng)目。

吳國斌表示，在中國有超過2000萬有聽力障礙的人，在全世界則有3.6億有聽力障礙的人。如果該項(xiàng)目的研究成果能正式面世，那么對于這些人無疑是一個福音。