語音識(shí)別技術(shù)原理

語音識(shí)別技術(shù)?zhǔn)且环N將人類語音中的詞匯內(nèi)容轉(zhuǎn)換為計(jì)算機(jī)可讀的輸入的技術(shù)，其基本原理包括以下幾個(gè)步驟：

語音信號(hào)采集與預(yù)處理：首先，需要將人類語音通過麥克風(fēng)等設(shè)備轉(zhuǎn)換成數(shù)字信號(hào)。這一步通常涉及信號(hào)處理技術(shù)，如濾波和分幀，以去除背景噪聲和提高信號(hào)質(zhì)量。

特征提?。涸陬A(yù)處理之后，將語音信號(hào)分割成小段(稱為幀)，并對(duì)每一幀進(jìn)行特征提取。這個(gè)過程涉及將語音信號(hào)從時(shí)域轉(zhuǎn)換到頻域，提取能夠反映語音本質(zhì)特征的關(guān)鍵信息，如MFCC(Mel頻率倒譜系數(shù))等。

建立聲學(xué)模型：聲學(xué)模型是基于聲學(xué)特性計(jì)算語音信號(hào)特征向量在聲學(xué)特征上的得分。它包括所有文字的發(fā)音，用于識(shí)別語音信號(hào)與哪個(gè)聲學(xué)模型最匹配。234

建立語言模型：語言模型基于語言學(xué)理論，計(jì)算語音信號(hào)對(duì)應(yīng)的可能詞組序列的概率。它包括各種語言表達(dá)，如句子、文言文等。

解碼與識(shí)別：最后，根據(jù)聲學(xué)模型和語言模型的結(jié)果，對(duì)詞組序列進(jìn)行解碼，得到可能的文本表示。這個(gè)過程涉及將輸入語音信號(hào)的特征參數(shù)與模板庫(kù)中的特征參數(shù)進(jìn)行對(duì)比，以識(shí)別語音信號(hào)。

語音識(shí)別技術(shù)，也被稱為自動(dòng)語音識(shí)別(Automatic Speech Recognition，ASR)，其目標(biāo)是將人類的語音中的詞匯內(nèi)容轉(zhuǎn)換為計(jì)算機(jī)可讀的輸入，例如按鍵、二進(jìn)制編碼或者字符序列。與說話人識(shí)別及說話人確認(rèn)不同，后者嘗試識(shí)別或確認(rèn)發(fā)出語音的說話人而非其中所包含的詞匯內(nèi)容。2019年8月17日，北京互聯(lián)網(wǎng)法院發(fā)布《互聯(lián)網(wǎng)技術(shù)司法應(yīng)用白皮書》，該《白皮書》闡述了十大典型技術(shù)應(yīng)用，其中包括語音識(shí)別技術(shù)。隨著數(shù)據(jù)處理技術(shù)的進(jìn)步以及移動(dòng)互聯(lián)網(wǎng)的快速普及，計(jì)算機(jī)技術(shù)被廣泛地運(yùn)用到了社會(huì)的各個(gè)領(lǐng)域，隨之而來的則是海量數(shù)據(jù)的產(chǎn)生。其中，語音數(shù)據(jù)受到了人們?cè)絹碓蕉嗟闹匾?。語音識(shí)別是一門交叉學(xué)科。近二十年來。語音識(shí)別技術(shù)取得顯著進(jìn)步，開始從實(shí)驗(yàn)室走向市場(chǎng)。人們預(yù)計(jì)，未來10年內(nèi)，語音識(shí)別技術(shù)將進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費(fèi)電子產(chǎn)品等各個(gè)領(lǐng)域。語音識(shí)別聽寫機(jī)在一些領(lǐng)域的應(yīng)用被美國(guó)新聞界評(píng)為1997年計(jì)算機(jī)發(fā)展十件大事之一。很多專家都認(rèn)為語音識(shí)別技術(shù)是2000年至2010年間信息技術(shù)領(lǐng)域十大重要的科拄發(fā)展技術(shù)之一。語音識(shí)別技術(shù)所涉及的領(lǐng)域包括：信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽覺機(jī)理、人工智能等等。 [2]語音識(shí)別技術(shù)屬于人工智能方向的一個(gè)重要分支，涉及許多學(xué)科，如信號(hào)處理、計(jì)算機(jī)科學(xué)、語言學(xué)、聲學(xué)、生理學(xué)、心理學(xué)等，是人機(jī)自然交互技術(shù)中的關(guān)鍵環(huán)節(jié)。 [5]語音識(shí)別較語音合成而言，技術(shù)上要復(fù)雜，但應(yīng)用卻更加廣泛。語音識(shí)別ASR的最大優(yōu)勢(shì)在于使得人機(jī)用戶界面更加自然和容易使用。

語音識(shí)別的技術(shù)原理是什么?

~

語音識(shí)別主要基于深度學(xué)習(xí)的技術(shù)，其整個(gè)過程可以大致劃分為聲音信號(hào)處理、特征提取、聲音模型訓(xùn)練、語言模型訓(xùn)練和識(shí)別這幾個(gè)關(guān)鍵步驟。

首先，聲音信號(hào)處理。因?yàn)槲覀儼l(fā)出的聲音是連續(xù)的聲音波，為了方便后續(xù)處理，我們需要對(duì)這些連續(xù)信號(hào)進(jìn)行分段處理，這就是語音信號(hào)的預(yù)處理工作。要把連續(xù)的聲音切分成一小段一小段的，每一小段也叫一幀。

然后，進(jìn)行特征提取。這是提取出每一幀聲音的特征值，如頻率、能量等等。當(dāng)我們有了這些特征值，我們就可以把他們送到神經(jīng)網(wǎng)絡(luò)中去訓(xùn)練，然后用模型來進(jìn)行預(yù)測(cè)。

隨后是聲音模型訓(xùn)練，這是為了獲取發(fā)音的規(guī)律。通過大量的語音數(shù)據(jù)，用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到一個(gè)模型，這個(gè)模型能夠根據(jù)語音的特征，預(yù)測(cè)出這段語音最可能的發(fā)音。

在聲音模型訓(xùn)練之后，就是語言模型訓(xùn)練。語言模型主要是為了獲取語言的規(guī)律，比如哪些詞經(jīng)常會(huì)在一起出現(xiàn)，哪些詞后面會(huì)跟哪些詞等等。通過大量的文本數(shù)據(jù)進(jìn)行訓(xùn)練，得到一個(gè)能夠預(yù)測(cè)語句合理性的模型。

最后，識(shí)別就是根據(jù)聲音模型和語言模型，對(duì)輸入的語音進(jìn)行解碼，得出最可能的文字結(jié)果。

這個(gè)過程就好比我們學(xué)習(xí)一門新的語言。首先我們會(huì)把這種語言拆解成單詞，逐個(gè)學(xué)習(xí)并理解其意思。然后通過對(duì)該語言的熟練掌握，我們能夠理解并使用這門語言進(jìn)行溝通。語音識(shí)別無非就是讓機(jī)器做同樣的事情，只不過機(jī)器學(xué)習(xí)的方式是訓(xùn)練數(shù)據(jù)模型和神經(jīng)網(wǎng)絡(luò)。

語音識(shí)別是以語音為研究對(duì)象，通過語音信號(hào)處理和模式識(shí)別讓機(jī)器自動(dòng)識(shí)別和理解人類口述的語言。語音識(shí)別技術(shù)就是讓機(jī)器通過識(shí)別和理解過程把語 音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)。語音識(shí)別是一門涉及面很廣的交叉學(xué)科，它與聲學(xué)、語音學(xué)、語言學(xué)、信息理論、模式識(shí)別理論以及神經(jīng)生物學(xué)等學(xué)科都 有非常密切的關(guān)系。語音識(shí)別技術(shù)正逐步成為計(jì)算機(jī)信息處理技術(shù)中的關(guān)鍵技術(shù)，語音技術(shù)的應(yīng)用已經(jīng)成為一個(gè)具有競(jìng)爭(zhēng)性的新興高技術(shù)產(chǎn)業(yè)。

未知語音經(jīng)過話筒變換成電信號(hào)后加在識(shí)別系統(tǒng)的輸入端，首先經(jīng)過預(yù)處理，再根據(jù)人的語音特點(diǎn)建立語音模型，對(duì)輸入的語音信號(hào)進(jìn)行分析，并抽取所需的特 征，在此基礎(chǔ)上建立語音識(shí)別所需的模板。而計(jì)算機(jī)在識(shí)別過程中要根據(jù)語音識(shí)別的模型，將計(jì)算機(jī)中存放的語音模板與輸入的語音信號(hào)的特征進(jìn)行比較，根據(jù)一定 的搜索和匹配策略，找出一系列最優(yōu)的與輸入語音匹配的模板。然后根據(jù)此模板的定義，通過查表就可以給出計(jì)算機(jī)的識(shí)別結(jié)果。顯然，這種最優(yōu)的結(jié)果與特征的選 擇、語音模型的好壞、模板是否準(zhǔn)確都有直接的關(guān)系。

2、語音識(shí)別技術(shù)的發(fā)展歷史及現(xiàn)狀

1952年，AT&TBell實(shí)驗(yàn)室的Davis等人研制了第一個(gè)可十個(gè)英文數(shù)字的特定人語音增強(qiáng)系統(tǒng)一Audry系統(tǒng)1956年，美國(guó)普林斯 頓大學(xué)RCA實(shí)驗(yàn)室的Olson和Belar等人研制出能10個(gè)單音節(jié)詞的系統(tǒng)，該系統(tǒng)采用帶通濾波器組獲得的頻譜參數(shù)作為語音增強(qiáng)特征。1959 年，F(xiàn)ry和Denes等人嘗試構(gòu)建音素器來4個(gè)元音和9個(gè)輔音，并采用頻譜分析和模式匹配進(jìn)行決策。這就大大提高了語音識(shí)別的效率和準(zhǔn)確度。

從此計(jì)算機(jī) 語音識(shí)別的受到了各國(guó)科研人員的重視并開始進(jìn)入語音識(shí)別的研究。60年代，蘇聯(lián)的Matin等提出了語音結(jié)束點(diǎn)的端點(diǎn)檢測(cè)，使語音識(shí)別水平明顯上 升;Vintsyuk提出了動(dòng)態(tài)編程，這一提法在以后的識(shí)別中不可或缺。

60年代末、70年代初的重要成果是提出了信號(hào)線性預(yù)測(cè)編碼(LPC)技術(shù)和動(dòng)態(tài) 時(shí)間規(guī)整(DTW)技術(shù)，有效地解決了語音信號(hào)的特征提取和不等長(zhǎng)語音匹配問題;同時(shí)提出了矢量量化(VQ)和隱馬爾可夫模型(HMM)理論。語音識(shí)別技 術(shù)與語音合成技術(shù)結(jié)合使人們能夠擺脫鍵盤的束縛，取而代之的是以語音輸入這樣便于使用的、自然的、人性化的輸入方式，它正逐步成為信息技術(shù)中人機(jī)接口的關(guān) 鍵技術(shù)。

3、語音識(shí)別的方法

目前具有代表性的語音識(shí)別方法主要有動(dòng)態(tài)時(shí)間規(guī)整技術(shù)(DTW)、隱馬爾可夫模型(HMM)、矢量量化(VQ)、人工神經(jīng)網(wǎng)絡(luò)(ANN)、支持向量機(jī)(SVM)等方法。

動(dòng)態(tài)時(shí)間規(guī)整算法(Dynamic Time Warping，DTW)是在非特定人語音識(shí)別中一種簡(jiǎn)單有效的方法，該算法基于動(dòng)態(tài)規(guī)劃的思想，解決了發(fā)音長(zhǎng)短不一的模板匹配問題，是語音識(shí)別技術(shù)中出 現(xiàn)較早、較常用的一種算法。在應(yīng)用DTW算法進(jìn)行語音識(shí)別時(shí)，就是將已經(jīng)預(yù)處理和分幀過的語音測(cè)試信號(hào)和參考語音模板進(jìn)行比較以獲取他們之間的相似度，按 照某種距離測(cè)度得出兩模板間的相似程度并選擇最佳路徑。

隱馬爾可夫模型(HMM)是語音信號(hào)處理中的一種統(tǒng)計(jì)模型，是由Markov鏈 演變來的，所以它是基于參數(shù)模型的統(tǒng)計(jì)識(shí)別方法。由于其模式庫(kù)是通過反復(fù)訓(xùn)練形成的與訓(xùn)練輸出信號(hào)吻合概率最大的最佳模型參數(shù)而不是預(yù)先儲(chǔ)存好的模式樣 本，且其識(shí)別過程中運(yùn)用待識(shí)別語音序列與HMM參數(shù)之間的似然概率達(dá)到最大值所對(duì)應(yīng)的最佳狀態(tài)序列作為識(shí)別輸出，因此是較理想的語音識(shí)別模型。

矢量量化(Vector Quantization)是一種重要的信號(hào)壓縮方法。與HMM相比，矢量量化主要適用于小詞匯量、孤立詞的語音識(shí)別中。其過程是將若干個(gè)語音信號(hào)波形或 特征參數(shù)的標(biāo)量數(shù)據(jù)組成一個(gè)矢量在多維空間進(jìn)行整體量化。把矢量空間分成若干個(gè)小區(qū)域，每個(gè)小區(qū)域?qū)ふ乙粋€(gè)代表矢量，量化時(shí)落入小區(qū)域的矢量就用這個(gè)代表 矢量代替。矢量量化器的設(shè)計(jì)就是從大量信號(hào)樣本中訓(xùn)練出好的碼書，從實(shí)際效果出發(fā)尋找到好的失真測(cè)度定義公式，設(shè)計(jì)出最佳的矢量量化系統(tǒng)，用最少的搜索和 計(jì)算失真的運(yùn)算量實(shí)現(xiàn)最大可能的平均信噪比。

在實(shí)際的應(yīng)用過程中，人們還研究了多種降低復(fù)雜度的方法，包括無記憶的矢量量化、有記憶的矢量量化和模糊矢量量化方法。

人工神經(jīng)網(wǎng)絡(luò)(ANN)是20世紀(jì)80年代末期提出的一種新的語音識(shí)別方法。其本質(zhì)上是一個(gè)自適應(yīng)非線性動(dòng)力學(xué)系統(tǒng)，模擬了人類神經(jīng)活動(dòng)的原理，具有自 適應(yīng)性、并行性、魯棒性、容錯(cuò)性和學(xué)習(xí)特性，其強(qiáng)大的分類能力和輸入—輸出映射能力在語音識(shí)別中都很有吸引力。其方法是模擬人腦思維機(jī)制的工程模型，它與 HMM正好相反，其分類決策能力和對(duì)不確定信息的描述能力得到舉世公認(rèn)，但它對(duì)動(dòng)態(tài)時(shí)間信號(hào)的描述能力尚不盡如人意，通常MLP分類器只能解決靜態(tài)模式分 類問題，并不涉及時(shí)間序列的處理。盡管學(xué)者們提出了許多含反饋的結(jié)構(gòu)，但它們?nèi)圆蛔阋钥坍嬛T如語音信號(hào)這種時(shí)間序列的動(dòng)態(tài)特性。由于ANN不能很好地描述 語音信號(hào)的時(shí)間動(dòng)態(tài)特性，所以常把ANN與傳統(tǒng)識(shí)別方法結(jié)合，分別利用各自優(yōu)點(diǎn)來進(jìn)行語音識(shí)別而克服HMM和ANN各自的缺點(diǎn)。近年來結(jié)合神經(jīng)網(wǎng)絡(luò)和隱含 馬爾可夫模型的識(shí)別算法研究取得了顯著進(jìn)展，其識(shí)別率已經(jīng)接近隱含馬爾可夫模型的識(shí)別系統(tǒng)，進(jìn)一步提高了語音識(shí)別的魯棒性和準(zhǔn)確率。

支持向量機(jī)(Support vector machine)是應(yīng)用統(tǒng)計(jì)學(xué)理論的一種新的學(xué)習(xí)機(jī)模型，采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理(Structural Risk Minimization，SRM)，有效克服了傳統(tǒng)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法的缺點(diǎn)。兼顧訓(xùn)練誤差和泛化能力，在解決小樣本、非線性及高維模式識(shí)別方面有許多 優(yōu)越的性能，已經(jīng)被廣泛地應(yīng)用到模式識(shí)別領(lǐng)域。

4、語音識(shí)別系統(tǒng)的分類

語音識(shí)別系統(tǒng)可以根據(jù)對(duì)輸入語音的限制加以分類。如果從說話者與識(shí)別系統(tǒng)的相關(guān)性考慮，可以將識(shí)別系統(tǒng)分為三類：(1)特定人語音識(shí)別系統(tǒng)。僅考慮對(duì)于專人的話音 進(jìn)行識(shí)別。(2)非特定人語音系統(tǒng)。識(shí)別的語音與人無關(guān)，通常要用大量不同人的語音數(shù)據(jù)庫(kù)對(duì)識(shí)別系統(tǒng)進(jìn)行學(xué)習(xí)。(3)多人的識(shí)別系統(tǒng)。通常能識(shí)別一組人的 語音，或者成為特定組語音識(shí)別系統(tǒng)，該系統(tǒng)僅要求對(duì)要識(shí)別的那組人的語音進(jìn)行訓(xùn)練。

如果從說話的方式考慮，也可以將識(shí)別系統(tǒng)分為三類：(1)孤立詞語音識(shí)別系統(tǒng)。孤立詞識(shí)別系統(tǒng)要求輸入每個(gè)詞后要停頓。(2)連接詞語音識(shí)別系統(tǒng)。連接詞輸入系統(tǒng)要求對(duì)每個(gè)詞都清楚發(fā)音，一些連音現(xiàn)象開始 出現(xiàn)。(3)連續(xù)語音識(shí)別系統(tǒng)。連續(xù)語音輸入是自然流利的連續(xù)語音輸入，大量連音和變音會(huì)出現(xiàn)。

如果從識(shí)別系統(tǒng)的詞匯量大小考慮，也可 以將識(shí)別系統(tǒng)分為三類：(1)小詞匯量語音識(shí)別系統(tǒng)。通常包括幾十個(gè)詞的語音識(shí)別系統(tǒng)。(2)中等詞匯量的語音識(shí)別系統(tǒng)。通常包括幾百個(gè)詞到上千個(gè)詞的識(shí) 別系統(tǒng)。(3)大詞匯量語音識(shí)別系統(tǒng)。通常包括幾千到幾萬個(gè)詞的語音識(shí)別系統(tǒng)。隨著計(jì)算機(jī)與數(shù)字信號(hào)處理器運(yùn)算能力以及識(shí)別系統(tǒng)精度的提高，識(shí)別系統(tǒng)根據(jù) 詞匯量大小進(jìn)行分類也不斷進(jìn)行變化。目前是中等詞匯量的識(shí)別系統(tǒng)，將來可能就是小詞匯量的語音識(shí)別系統(tǒng)。這些不同的限制也確定了語音識(shí)別系統(tǒng)的困難度。

5、語音識(shí)別的應(yīng)用

語音識(shí)別可以應(yīng)用的領(lǐng)域大致分為大五類：

辦公室或商務(wù)系統(tǒng)。典型的應(yīng)用包括：填寫數(shù)據(jù)表格、數(shù)據(jù)庫(kù)管理和控制、鍵盤功能增強(qiáng)等等。

制造業(yè)：在質(zhì)量控制中，語音識(shí)別系統(tǒng)可以為制造過程提供一種“不用手”、“不用眼”的檢控(部件檢查)。

電信：相當(dāng)廣泛的一類應(yīng)用在撥號(hào)電話系統(tǒng)上都是可行的，包括話務(wù)員協(xié)助服務(wù)的自動(dòng)化、國(guó)際國(guó)內(nèi)遠(yuǎn)程電子商務(wù)、語音呼叫分配、語音撥號(hào)、分類訂貨。

醫(yī)療：這方面的主要應(yīng)用是由聲音來生成和編輯專業(yè)的醫(yī)療報(bào)告。

其他：包括由語音控制和操作的游戲和玩具、幫助殘疾人的語音識(shí)別系統(tǒng)、車輛行駛中一些非關(guān)鍵功能的語音控制，如車載交通路況控制系統(tǒng)、音響系統(tǒng)。