搜狗發(fā)布唇語(yǔ)識(shí)別技術(shù),“讀唇”這事的商業(yè)價(jià)值是什么?
12月初的世界互聯(lián)網(wǎng)大會(huì)上,搜狗發(fā)布了一項(xiàng)“唇語(yǔ)識(shí)別”技術(shù)。唇語(yǔ)識(shí)別,簡(jiǎn)單說(shuō)就是通過(guò)圖像識(shí)別你的口型,轉(zhuǎn)寫(xiě)出你說(shuō)的內(nèi)容。
在國(guó)外的技術(shù)界,2016年谷歌和牛津大學(xué)的深度學(xué)習(xí)項(xiàng)目組曾經(jīng)共同研發(fā)唇語(yǔ)識(shí)別技術(shù),在那一年的視頻節(jié)目測(cè)試中,機(jī)器唇語(yǔ)識(shí)別的準(zhǔn)確率達(dá)到46.8%,高于人類(lèi)唇語(yǔ)專(zhuān)家12.4%的識(shí)別率。今年3月,數(shù)據(jù)可視化服務(wù)商海云數(shù)據(jù)也發(fā)布了類(lèi)似的唇語(yǔ)識(shí)別技術(shù)。
放在以往,閱讀唇語(yǔ)這件事在人們印象中,多是小說(shuō)里武俠和特工的特異功能。但當(dāng)我們要用機(jī)器解決這個(gè)問(wèn)題,就意味著它有足夠的商業(yè)空間,讓公司樂(lè)于把它批量的大規(guī)模應(yīng)用,做成產(chǎn)品。那么機(jī)器讀唇究竟有什么應(yīng)用價(jià)值?
接受36氪采訪時(shí)搜狗語(yǔ)音交互中心技術(shù)總監(jiān)陳偉表示,目前唇語(yǔ)識(shí)別的落地場(chǎng)景主要有兩種:其一,在多數(shù)語(yǔ)言場(chǎng)景下,攝像頭的覆蓋率遠(yuǎn)遠(yuǎn)高于麥克風(fēng),但通過(guò)攝像頭獲得的是圖像數(shù)據(jù),目前主要用于監(jiān)控簡(jiǎn)單的行為,但很難知道例如安防這類(lèi)場(chǎng)景中圖像中的人物在說(shuō)什么,使用唇語(yǔ)識(shí)別技術(shù)就可以通過(guò)嘴的動(dòng)作獲取大量?jī)?nèi)容信息。
其二,唇語(yǔ)識(shí)別可以作為輔助技術(shù),提升語(yǔ)音識(shí)別技術(shù)現(xiàn)階段的準(zhǔn)確率。搜狗的唇語(yǔ)識(shí)別技術(shù)目前在開(kāi)放的口語(yǔ)測(cè)試級(jí)上可以達(dá)到50%-60%的準(zhǔn)確率,在限定場(chǎng)景中可以達(dá)到90%。這個(gè)數(shù)字對(duì)于現(xiàn)階段的唇語(yǔ)識(shí)別技術(shù)而言,是不錯(cuò)的水準(zhǔn),但對(duì)于商用尚欠火候。畢竟各家大廠語(yǔ)音識(shí)別準(zhǔn)確率普遍達(dá)到97%后,依舊不能令消費(fèi)者完全滿意。不過(guò)唇語(yǔ)識(shí)別可以作為語(yǔ)音識(shí)別的輔助技術(shù)出現(xiàn),比如去彌合97%的語(yǔ)音識(shí)別率剩余那3%的臺(tái)階。
“提升語(yǔ)音識(shí)別的準(zhǔn)確率需要降低噪音,行業(yè)內(nèi)有兩條路在走,一條是通過(guò)麥克風(fēng)陣列等硬件方式做音頻信號(hào)的增強(qiáng),屏蔽噪音,另一條是加入‘多模態(tài)信息’,就比如唇語(yǔ)識(shí)別提供的視覺(jué)信息。”陳偉解釋稱(chēng)。
以下是采訪內(nèi)容:
問(wèn):相比麥克風(fēng)陣列提升語(yǔ)音識(shí)別準(zhǔn)確率,用唇語(yǔ)識(shí)別技術(shù)去解決,在技術(shù)上的提升空間是否更大?現(xiàn)實(shí)落地中是否面臨增加攝像頭會(huì)增加成本的問(wèn)題?
陳偉:我們做的事情不是說(shuō)馬上就要落地,對(duì)現(xiàn)階段來(lái)說(shuō),我認(rèn)為麥克風(fēng)陣列依然比唇語(yǔ)更靠譜,解決噪聲的問(wèn)題,落地的速度上,麥克風(fēng)序列都已經(jīng)是落地的階段了,而唇語(yǔ)陣列剛剛研發(fā)完成了第一步,后面要跟音頻做一些結(jié)合做一些進(jìn)一步降噪的工作,所以這個(gè)事面向的時(shí)間段是不一樣的,就是可能可是當(dāng)前的,但是唇語(yǔ)可能是明年,我們計(jì)劃在一年內(nèi)有一些落地的項(xiàng)目在做。
在噪聲的環(huán)境下,語(yǔ)音識(shí)別的可能不準(zhǔn)確率不止3%,甚至在40%、50%或0。這種情況下“唇語(yǔ)識(shí)別”比麥克風(fēng)識(shí)別強(qiáng),假如說(shuō)聲音非常的嘈雜,麥克風(fēng)陣列就算加了一些硬件也解決不了這個(gè)問(wèn)題,有它的一些局限性在,但是唇語(yǔ)相當(dāng)于繞過(guò)了噪聲,通過(guò)視覺(jué)的方式來(lái)解決。
問(wèn):現(xiàn)在唇語(yǔ)識(shí)別最剛需的場(chǎng)景是什么?
陳偉:安防其實(shí)也很剛需,我們現(xiàn)在花很多的精力去解決噪聲問(wèn)題,關(guān)于成本,其實(shí)加一個(gè)攝像頭不及加一個(gè)麥克風(fēng)陣列的成本高。
問(wèn):唇語(yǔ)識(shí)別會(huì)涉及到用戶隱私方面的限制嗎?
陳偉:目前的狀態(tài)還沒(méi)有到那個(gè)階段,我們還在探索這件事能和哪些剛需場(chǎng)景結(jié)合在一起。
問(wèn):“唇語(yǔ)識(shí)別”未來(lái)的應(yīng)用前景會(huì)有哪些?
陳偉:未來(lái)唇語(yǔ)可以放在安防,還有助殘上面,甚至對(duì)一些早期陌生的電影,以前的電影里面,就像卓別林的很多的電影沒(méi)有聲音,能不能給它配字幕,有很多新的東西,就是能不能從一個(gè)人的唇動(dòng)把字讀出來(lái),目前做的事很局限,我們限定在一些交互的剛需場(chǎng)景里面,所以在這些特定的剛需場(chǎng)景里面我們想把它放進(jìn)去,未來(lái)像我們車(chē)載、家居、機(jī)器人倒推唇語(yǔ)怎么跟它結(jié)合,但是并不是限定在這些場(chǎng)景。
問(wèn):你提到在限定場(chǎng)景唇語(yǔ)識(shí)別的準(zhǔn)確率能達(dá)到90%?
陳偉:這個(gè)是沒(méi)有問(wèn)題的,因?yàn)樵谙薅▓?chǎng)景下,比如說(shuō)我們現(xiàn)在有一個(gè)集合,我們可以對(duì)語(yǔ)音做一些增強(qiáng),這樣的話準(zhǔn)確率高很多,因?yàn)槲覀冇?0萬(wàn)詞,可能和垂直場(chǎng)景下幾千詞的交流這不是一個(gè)量級(jí)。
比如說(shuō)在車(chē)?yán)锩?,啟?dòng)音樂(lè)它的準(zhǔn)確率就很高,因?yàn)樵谔囟ǖ募侠锩妫覀冇?000多個(gè)命令詞,包括古詩(shī)和繞口令。這不是一個(gè)寫(xiě)死的狀態(tài),而是一個(gè)可以靈活操作的事情,而且這件事情其實(shí)是可以依賴任務(wù)去定制的,我們這個(gè)技術(shù)是通用的技術(shù)而不是限定的場(chǎng)景。
問(wèn):你覺(jué)得做這個(gè)過(guò)程的中最大的難點(diǎn)是什么?
陳偉:其實(shí)是泛化性。因?yàn)槲覀冎暗臄?shù)據(jù)都是來(lái)自網(wǎng)上爬取的新聞?lì)惖墓?jié)目,篩訊的都是類(lèi)似主持人這樣的,因?yàn)樗麄兪墙?jīng)過(guò)標(biāo)準(zhǔn)訓(xùn)練的人群,唇型的發(fā)音是標(biāo)準(zhǔn)的,但是很多普通人發(fā)音是不標(biāo)準(zhǔn)的。如果發(fā)音標(biāo)準(zhǔn)的主持人(識(shí)別準(zhǔn)確率)是60%,但是普通人的話像我們之前的那個(gè)階段可能就20%、30%,我們后來(lái)針對(duì)這個(gè)問(wèn)題去錄制了很多的普通人的一些數(shù)據(jù),把這樣的數(shù)據(jù)加進(jìn)來(lái)之后,在普通人的泛化性上得到很大的提升。