搜狗“知音”實(shí)時(shí)翻譯可實(shí)現(xiàn)語(yǔ)音識(shí)別與機(jī)器翻譯融合

在第三屆世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)上，搜狗在會(huì)上的一場(chǎng)語(yǔ)音實(shí)時(shí)翻譯“表演”引起了人們的關(guān)注。11月21日，搜狗正式推出了這個(gè)基于語(yǔ)音交互引擎“知音”的實(shí)時(shí)翻譯技術(shù)。

據(jù)介紹，搜狗語(yǔ)音實(shí)時(shí)翻譯技術(shù)是搜狗自研的機(jī)器同聲傳譯技術(shù)?；诖髷?shù)據(jù)和深度學(xué)習(xí)，該技術(shù)涵蓋了搜狗自主研發(fā)的語(yǔ)音識(shí)別、機(jī)器翻譯兩項(xiàng)重要技術(shù)，其準(zhǔn)確率能夠達(dá)到97%，支持最快400字每秒的高速聽(tīng)寫(xiě)，語(yǔ)音輸入日頻次可高達(dá)1.9億次。

搜狗機(jī)器翻譯融合端到端神經(jīng)機(jī)器翻譯技術(shù)以及基于實(shí)例的翻譯技術(shù)，使用的端到端神經(jīng)網(wǎng)絡(luò)翻譯模型通過(guò)編碼端獲取源端句子的分布式表示，利用注意力模型聚焦源端，使用循環(huán)神經(jīng)網(wǎng)絡(luò)生成翻譯結(jié)果。

在搜狗的整個(gè)翻譯系統(tǒng)中，第一個(gè)系統(tǒng)的功能是語(yǔ)音斷句。當(dāng)接受到一個(gè)特別長(zhǎng)的語(yǔ)音信號(hào)時(shí)，系統(tǒng)通過(guò)機(jī)器學(xué)習(xí)自動(dòng)判斷靜音與有效音；語(yǔ)音（1）與非語(yǔ)音（0）。判斷方法有兩種，第一是基于能量檢測(cè)的方式，能量小的是靜音，能量非常大的是有效音；第二就是基于深度學(xué)習(xí)模型的判斷，通過(guò)大量的數(shù)據(jù)進(jìn)行建模，建模之后可以通過(guò)模型自動(dòng)檢測(cè)，當(dāng)檢測(cè)到這個(gè)地方是屬于非語(yǔ)音的概率更高，系統(tǒng)便認(rèn)為它是非語(yǔ)音，當(dāng)語(yǔ)音概率高的時(shí)候就判定為語(yǔ)音。

第二個(gè)系統(tǒng)功能是語(yǔ)音識(shí)別，目的是將語(yǔ)音信號(hào)轉(zhuǎn)化為文本。語(yǔ)音和文本之間的影射通過(guò)一種概率目標(biāo)來(lái)描述，這個(gè)概率目標(biāo)希望給定當(dāng)前的語(yǔ)音信號(hào)，最大化輸出W的概率，輸出對(duì)應(yīng)的W區(qū)別就是最優(yōu)語(yǔ)音識(shí)別結(jié)果。

在語(yǔ)音識(shí)別整體框架下涉及到兩個(gè)非常重要的模型，一個(gè)是聲學(xué)模型，就是人在發(fā)音每個(gè)單元的時(shí)候這個(gè)模型和聲音信號(hào)之間的相似形；另一個(gè)是語(yǔ)言模型，描述的就是識(shí)別結(jié)果中詞和詞之間連接的可能性，從而更好地規(guī)范整個(gè)的輸出結(jié)果，更加通順、流暢。

整個(gè)翻譯運(yùn)行結(jié)構(gòu)是這樣的，第一部是編碼端的技術(shù)，基于神經(jīng)網(wǎng)絡(luò)技術(shù)，系統(tǒng)將采集到的語(yǔ)音信號(hào)錄入到一個(gè)編碼器，編碼器具備語(yǔ)譯功能，能夠提取語(yǔ)音中的特征語(yǔ)句并翻譯成整句。之后是進(jìn)入對(duì)齊模型，模型判斷哪些詞和哪些詞可以對(duì)應(yīng)在一起，并把這些詞語(yǔ)的特征貢獻(xiàn)到解碼端得出文本，起到一個(gè)端到端的影射作用。

第二部分是Decoder技術(shù)，從準(zhǔn)確率的實(shí)際評(píng)測(cè)來(lái)看，GRU的結(jié)構(gòu)會(huì)更輕便，而且運(yùn)算的速度更快，目前的同傳技術(shù)里面，搜狗使用雙向的GRU技術(shù)共同構(gòu)建編碼端的結(jié)構(gòu)。解碼端共同抽象以后接入到Softmax里面輸出結(jié)果。這便是整個(gè)搜狗實(shí)時(shí)翻譯的運(yùn)行流程。

搜狗語(yǔ)音實(shí)時(shí)翻譯技術(shù)可謂是將語(yǔ)音識(shí)別與機(jī)器翻譯有效結(jié)合了起來(lái)。未來(lái)，在技術(shù)改變生活的道路上，也希望更多的語(yǔ)音翻譯軟件能優(yōu)化語(yǔ)音實(shí)時(shí)翻譯的性能和效果，不斷給用戶(hù)帶來(lái)更加完善、實(shí)用的語(yǔ)音技術(shù)和產(chǎn)品，同時(shí)推動(dòng)整個(gè)語(yǔ)音行業(yè)乃至人工智能領(lǐng)域的技術(shù)革新和進(jìn)步。