目前語音識(shí)別的技術(shù)現(xiàn)狀是怎樣的

（文章來源：36kr）

目前，主流語音識(shí)別框架還是由 3 個(gè)部分組成：聲學(xué)模型、語言模型和解碼器，有些框架也包括前端處理和后處理。隨著各種深度神經(jīng)網(wǎng)絡(luò)以及端到端技術(shù)的興起，聲學(xué)模型是近幾年非常熱門的方向，業(yè)界都紛紛發(fā)布自己新的聲學(xué)模型結(jié)構(gòu)，刷新各個(gè)數(shù)據(jù)庫(kù)的識(shí)別記錄。由于中文語音識(shí)別的復(fù)雜性，國(guó)內(nèi)在聲學(xué)模型的研究進(jìn)展相對(duì)更快一些，主流方向是更深更復(fù)雜的神經(jīng)網(wǎng)絡(luò)技術(shù)融合端到端技術(shù)。

2018年，科大訊飛提出深度全序列卷積神經(jīng)網(wǎng)絡(luò)（DFCNN），DFCNN 使用大量的卷積直接對(duì)整句語音信號(hào)進(jìn)行建模，主要借鑒了圖像識(shí)別的網(wǎng)絡(luò)配置，每個(gè)卷積層使用小卷積核，并在多個(gè)卷積層之后再加上池化層，通過累積非常多卷積池化層對(duì)，從而可以看到更多的歷史信息。
?

2018年，阿里提出 LFR-DFSMN（Lower Frame Rate-Deep Feedforward Sequential Memory Networks）。該模型將低幀率算法和 DFSMN 算法進(jìn)行融合，語音識(shí)別錯(cuò)誤率相比上一代技術(shù)降低 20%，解碼速度提升 3 倍。FSMN 通過在 FNN 的隱層添加一些可學(xué)習(xí)的記憶模塊，從而可以有效的對(duì)語音的長(zhǎng)時(shí)相關(guān)性進(jìn)行建模。而 DFSMN 是通過跳轉(zhuǎn)避免深層網(wǎng)絡(luò)的梯度消失問題，可以訓(xùn)練出更深層的網(wǎng)絡(luò)結(jié)構(gòu)。

2019 年，百度提出了流式多級(jí)的截?cái)嘧⒁饬δＰ?SMLTA，該模型是在 LSTM 和 CTC 的基礎(chǔ)上引入了注意力機(jī)制來獲取更大范圍和更有層次的上下文信息。其中流式表示可以直接對(duì)語音進(jìn)行一個(gè)小片段一個(gè)小片段的增量解碼；多級(jí)表示堆疊多層注意力模型；截?cái)鄤t表示利用 CTC 模型的尖峰信息，把語音切割成一個(gè)一個(gè)小片段，注意力模型和解碼可以在這些小片段上展開。在線語音識(shí)別率上，該模型比百度上一代 Deep Peak2 模型提升相對(duì) 15% 的性能。

開源語音識(shí)別 Kaldi 是業(yè)界語音識(shí)別框架的基石。Kaldi 的作者 Daniel Povey 一直推崇的是 Chain 模型。該模型是一種類似于 CTC 的技術(shù)，建模單元相比于傳統(tǒng)的狀態(tài)要更粗顆粒一些，只有兩個(gè)狀態(tài)，一個(gè)狀態(tài)是 CD Phone，另一個(gè)是 CD Phone 的空白，訓(xùn)練方法采用的是 Lattice-Free MMI 訓(xùn)練。該模型結(jié)構(gòu)可以采用低幀率的方式進(jìn)行解碼，解碼幀率為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)聲學(xué)模型的三分之一，而準(zhǔn)確率相比于傳統(tǒng)模型有非常顯著的提升。

遠(yuǎn)場(chǎng)語音識(shí)別技術(shù)主要解決真實(shí)場(chǎng)景下舒適距離內(nèi)人機(jī)任務(wù)對(duì)話和服務(wù)的問題，是 2015 年以后開始興起的技術(shù)。由于遠(yuǎn)場(chǎng)語音識(shí)別解決了復(fù)雜環(huán)境下的識(shí)別問題，在智能家居、智能汽車、智能會(huì)議、智能安防等實(shí)際場(chǎng)景中獲得了廣泛應(yīng)用。目前國(guó)內(nèi)遠(yuǎn)場(chǎng)語音識(shí)別的技術(shù)框架以前端信號(hào)處理和后端語音識(shí)別為主，前端利用麥克風(fēng)陣列做去混響、波束形成等信號(hào)處理，以讓語音更清晰，然后送入后端的語音識(shí)別引擎進(jìn)行識(shí)別。

語音識(shí)別另外兩個(gè)技術(shù)部分：語言模型和解碼器，目前來看并沒有太大的技術(shù)變化。語言模型主流還是基于傳統(tǒng)的 N-Gram 方法，雖然目前也有神經(jīng)網(wǎng)絡(luò)的語言模型的研究，但在實(shí)用中主要還是更多用于后處理糾錯(cuò)。解碼器的核心指標(biāo)是速度，業(yè)界大部分都是按照靜態(tài)解碼的方式進(jìn)行，即將聲學(xué)模型和語言模型構(gòu)造成 WFST 網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含了所有可能路徑，解碼就是在該空間進(jìn)行搜索的過程。由于該理論相對(duì)成熟，更多的是工程優(yōu)化的問題，所以不論是學(xué)術(shù)還是產(chǎn)業(yè)目前關(guān)注的較少。