百度超谷歌躍升全球第二 硬核語(yǔ)音技術(shù)搶奪智能音箱“C位”

日前，據(jù)科技市場(chǎng)研究企業(yè) Canalys 發(fā)布的第二季度全球智能音箱市場(chǎng)報(bào)告，百度繼今年上一季度超越阿里后，再度超越該行業(yè)的“雙寡頭”之一谷歌，成為全球第二大智能音箱供應(yīng)商。

圖源：Canalys 報(bào)告

在智能音箱這一賽道，相比其他頭部廠商，百度入局稍晚，如今卻能力壓群雄取得一系列亮眼成績(jī)。百度系智能音箱作為 C 端可體驗(yàn)產(chǎn)品，普通用戶對(duì)其音質(zhì)、聽(tīng)感等各方面都有較為直觀的感受，而所有優(yōu)質(zhì)體驗(yàn)的背后，百度在智能語(yǔ)音技術(shù)上的積累可謂功不可沒(méi)。從智能音箱的遠(yuǎn)場(chǎng)語(yǔ)音識(shí)別、對(duì)話交互技術(shù)甚至產(chǎn)品硬件技術(shù)，百度始終堅(jiān)持“親力親為”，為智能音箱積淀了一整套完善一體的技術(shù)儲(chǔ)備和解決方案，從而為小度智能音箱的體驗(yàn)提供了強(qiáng)大的后盾支持。

“百度發(fā)布SMLTA模型，帶來(lái)語(yǔ)音技術(shù)世界級(jí)突破”、“小度智能音箱首度落地完全意義上的全雙工連續(xù)交互技術(shù)”，無(wú)論是語(yǔ)音喚醒、語(yǔ)音交互，還是遠(yuǎn)場(chǎng)信號(hào)處理、聲學(xué)技術(shù)乃至產(chǎn)品硬件技術(shù)，百度都給智能語(yǔ)音技術(shù)領(lǐng)域帶來(lái)過(guò)不少驚艷的突破創(chuàng)新，得到 C 端用戶的認(rèn)可，經(jīng)過(guò)市場(chǎng)的檢驗(yàn)，這也是對(duì)百度在智能語(yǔ)音技術(shù)一系列突破性進(jìn)展的最好回響。

除了在智能語(yǔ)音領(lǐng)域有著整體全面的技術(shù)布局，在每一項(xiàng)語(yǔ)音技術(shù)上，百度更是在不斷深耕。下面，AI 科技評(píng)論將聚焦智能音箱這一遠(yuǎn)場(chǎng)語(yǔ)音識(shí)別產(chǎn)品的關(guān)鍵性技術(shù)，主要從語(yǔ)音喚醒算法、語(yǔ)音交互模式、遠(yuǎn)場(chǎng)信號(hào)處理、語(yǔ)音聲學(xué)技術(shù)以及產(chǎn)品硬件技術(shù)五個(gè)維度，來(lái)對(duì)百度蓄力爆發(fā)的小度智能音箱背后的黑科技進(jìn)行揭秘。

語(yǔ)音喚醒算法：誤喚醒控制從手工調(diào)節(jié)到海量數(shù)據(jù)訓(xùn)練驅(qū)動(dòng)

人要跟智能音箱進(jìn)行對(duì)話，第一道關(guān)卡便是語(yǔ)音喚醒，因而語(yǔ)音喚醒對(duì)于后續(xù)的整個(gè)用戶體驗(yàn)而言，至關(guān)重要。然而在智能音箱這一遠(yuǎn)場(chǎng)語(yǔ)音識(shí)別載體中，而技術(shù)本身，外部環(huán)境對(duì)于語(yǔ)音喚醒質(zhì)量的高低有著非常直接的影響。例如當(dāng)外部噪音很大時(shí)，誤喚醒等問(wèn)題就非常突出了。

而百度，除了面臨所有智能音箱產(chǎn)品都面臨的此類挑戰(zhàn)外，還存在其內(nèi)部獨(dú)有的喚醒技術(shù)難點(diǎn)。包括，第一，“小度小度”作為百度智能音箱的喚醒詞，雖朗朗上口，但它相對(duì)于市面上其他音箱常用的“你好xx”、“xx同學(xué)”技術(shù)上更不容易控制誤報(bào)率；第二，百度的產(chǎn)品矩陣豐富，更使得喚醒技術(shù)所面臨的外部環(huán)境更加復(fù)雜多變，因而對(duì)喚醒的精度和誤報(bào)的控制提出了更高的挑戰(zhàn)。

針對(duì)這些挑戰(zhàn)和技術(shù)難點(diǎn)，百度首先從算法層面實(shí)現(xiàn)了語(yǔ)音喚醒技術(shù)的突破，即將誤喚醒的控制由對(duì)著測(cè)試集手工調(diào)節(jié)變成了海量數(shù)據(jù)訓(xùn)練驅(qū)動(dòng)的過(guò)程，并具體從兩個(gè)方面提升了模型的建模能力：

第一，利用大量容易獲得的無(wú)標(biāo)注負(fù)例數(shù)據(jù)，以及有限的有標(biāo)注正例數(shù)據(jù)，索負(fù)樣本的描述和挖掘方法、正樣本的加噪擴(kuò)充以及構(gòu)造海量的訓(xùn)練樣例；

第二，探索新的模型學(xué)習(xí)策略，采用聚焦學(xué)習(xí)的方法，讓有限體積的模型能夠從海量的數(shù)據(jù)中高效地學(xué)習(xí)有用的知識(shí)，同時(shí)簡(jiǎn)化系統(tǒng)的流程。

不僅如此，百度還直接從喚醒技術(shù)的維度對(duì)小度智能音箱的語(yǔ)音喚醒功能進(jìn)行優(yōu)化和改進(jìn)，研發(fā)出了一套純端到端的聲學(xué)模型/決策模型的二級(jí)喚醒技術(shù)，能夠兼顧高召回率和極低的誤報(bào)率。其中，聲學(xué)模型還采用粗粒度的喚醒詞音節(jié)作為建模單元，引入海量負(fù)例數(shù)據(jù)優(yōu)化，利用喚醒詞音節(jié)尖峰搜索代替了維特比解碼，大幅度提高了聲學(xué)模型的檢出效果；而決策模型則采用了深層卷積網(wǎng)絡(luò)，可對(duì)喚醒詞進(jìn)行整詞置信估計(jì)，同時(shí)實(shí)現(xiàn)了高喚醒召回、低誤報(bào)率和較低的資源占用。

語(yǔ)音交互模式：首度落地完全意義上的全雙工連續(xù)交互技術(shù)

“每輪對(duì)話之前，都要喚醒一次”，這是當(dāng)下市面上多數(shù)智能音箱的常態(tài)，也是人們?cè)谑褂弥悄芤粝淦陂g的最大槽點(diǎn)之一。人們對(duì)于智能音箱“像人與人一樣交流”的憧憬要想實(shí)現(xiàn)，首要條件之一就是要能夠做到：持續(xù)對(duì)話。

在智能音箱的連續(xù)交互能力上，百度為小度智能音箱研發(fā)的全雙工免喚醒能力的表現(xiàn)，非常出色。這項(xiàng)能力組合應(yīng)用了語(yǔ)音語(yǔ)義聯(lián)合的尾點(diǎn)檢測(cè)技術(shù)、全雙工語(yǔ)音識(shí)別技術(shù)、置信度技術(shù)和語(yǔ)音語(yǔ)義一體化技術(shù)，在實(shí)現(xiàn)“一次對(duì)話，多輪交互”的同時(shí)，還能快速響應(yīng)，并良好地區(qū)分用戶交互意圖。

實(shí)際在連續(xù)交互能力上，國(guó)外早已有 Google home 智能音箱實(shí)現(xiàn)了 Continued Conversation 的功能、Amazon echo 智能音箱實(shí)現(xiàn)了 Follow Up的功能，國(guó)內(nèi)亦有小雅音箱可實(shí)現(xiàn)多次交互功能，但這些，都不是完全意義上的全雙工連續(xù)交互。

百度，則是首家在智能音箱行業(yè)應(yīng)用全雙工連續(xù)交互技術(shù)的企業(yè)。

遠(yuǎn)場(chǎng)信號(hào)處理：回聲消除等多重突破性技術(shù)齊頭并進(jìn)

對(duì)于遠(yuǎn)場(chǎng)語(yǔ)音識(shí)別而言，遠(yuǎn)場(chǎng)信號(hào)處理技術(shù)貫穿了整個(gè)語(yǔ)音交互的過(guò)程，技術(shù)的強(qiáng)弱將持續(xù)影響到整個(gè)語(yǔ)音交互體驗(yàn)。而這實(shí)際上是最容易受到外界環(huán)境干擾的環(huán)節(jié)，因而對(duì)于如何更好地對(duì)這項(xiàng)技術(shù)進(jìn)行完善，需要實(shí)際落地到非常具體的場(chǎng)景和問(wèn)題中去找答案。

多通道回聲消除技術(shù)：播放音樂(lè)時(shí)也能接收用戶命令

當(dāng)我們?cè)诖舐暢璧耐瑫r(shí)，如果遠(yuǎn)處有個(gè)人在沖你大聲說(shuō)話，你能不能聽(tīng)清他說(shuō)什么？智能音箱同樣也會(huì)遇到這樣的問(wèn)題，因?yàn)槿穗x設(shè)備的麥克風(fēng)的距離往往很遠(yuǎn)而設(shè)備自身?yè)P(yáng)聲器離麥克風(fēng)的距離很近，所以當(dāng)用戶在智能音箱在播放音樂(lè)時(shí)下達(dá)語(yǔ)音命令，往往得不到準(zhǔn)確回復(fù)，甚至得不到回復(fù)。

在這一場(chǎng)景下，回聲消除技術(shù)就非常重要了。對(duì)此百度研發(fā)出了能夠根據(jù)硬件與環(huán)境自適應(yīng)的多通道回聲消除技術(shù)，以及音量自適應(yīng)的兩級(jí)后處理和雙模式下（回聲和非回聲模式）的噪音抑制技術(shù)，確保在任意音量下，回聲都能被很好地消除以及說(shuō)話人的聲音能被很好地保留，在確保語(yǔ)音喚醒的精度、降低回聲殘余引起的誤喚醒的情況下，還能在全雙工連續(xù)交互技術(shù)的加持下實(shí)現(xiàn)高精準(zhǔn)的語(yǔ)音交互成功率。

噪音抑制與增益控制技術(shù)：可自適應(yīng)感知聲場(chǎng)環(huán)境抑制噪聲

我們一般都將音箱放置在家里的哪個(gè)位置？回答一般是電視柜、床頭柜、書(shū)桌等靠近墻邊、墻角的地方，這就帶來(lái)了聲音遮擋、反射問(wèn)題等一眾問(wèn)題，會(huì)大大加劇智能音箱判斷說(shuō)話人在哪以及誰(shuí)才是說(shuō)話人的難度。

智能音箱只有擁有硬核的降噪能力，才能應(yīng)對(duì)這一場(chǎng)景中的問(wèn)題?；谝延卸说蕉诉h(yuǎn)場(chǎng)語(yǔ)音交互的整體解決方案所具備的遠(yuǎn)場(chǎng)信號(hào)處理與聲學(xué)模型的優(yōu)勢(shì)，百度主要從兩個(gè)方面來(lái)提高智能音箱在此場(chǎng)景下的降噪效果：一方面，研發(fā)了語(yǔ)音解混響、聲源定位、場(chǎng)景分析、干擾抑制及聲場(chǎng)自適應(yīng)的噪音抑制與增益控制技術(shù)；另一方面，利用喚醒與識(shí)別模型反饋的語(yǔ)音特征信息，為聲源定位提供準(zhǔn)確的說(shuō)話人后驗(yàn)信息，與此同時(shí)由遠(yuǎn)場(chǎng)信號(hào)處理為喚醒與識(shí)別模型提供多維信號(hào)決策信息。

除了回聲消除、降噪等常規(guī)的遠(yuǎn)場(chǎng)信號(hào)處理技術(shù)優(yōu)化，百度作為一家占據(jù)了巨大市場(chǎng)份額，并擁有多個(gè)產(chǎn)品品類的智能音箱廠商，對(duì)于用戶體驗(yàn)的關(guān)注可謂非常周到，因而即便在一些非常特殊的場(chǎng)景和細(xì)節(jié)問(wèn)題上，也不遺余力地從技術(shù)上進(jìn)行優(yōu)化：

例如考慮到用戶在家中同時(shí)擁有多臺(tái)小度智能音箱產(chǎn)品，會(huì)出現(xiàn)在喚醒小度時(shí)出現(xiàn)多臺(tái)智能音箱設(shè)備同時(shí)響應(yīng)的問(wèn)題，百度研發(fā)了多設(shè)備協(xié)同交互技術(shù)，可準(zhǔn)確判斷用戶距離不同設(shè)備的遠(yuǎn)近，從而智能選擇距離用戶最新的設(shè)備進(jìn)行響應(yīng)；而針對(duì)智能音箱的麥克風(fēng)拾音孔出現(xiàn)堵塞、進(jìn)水等問(wèn)題，則從0到1研發(fā)了麥克風(fēng)異常的實(shí)時(shí)監(jiān)測(cè)技術(shù)，并在算法中加入抗風(fēng)險(xiǎn)的冗余模塊，即使設(shè)備麥克風(fēng)在出問(wèn)題的情況下，依然可以實(shí)現(xiàn)高精度語(yǔ)音交互，同時(shí)將麥克風(fēng)異常上報(bào)服務(wù)端，為產(chǎn)品售后及維修提供可靠信息。

語(yǔ)音聲學(xué)設(shè)計(jì)：首創(chuàng) Deep Peak 2、SMLTA 兩大突破性模型

深度尖峰技術(shù)Deep Peak 2 模型

去年初，百度發(fā)布的 “深度尖峰技術(shù)Deep Peak 2 模型”在行業(yè)內(nèi)引起的廣泛關(guān)注，而百度智能音箱在該模型的加持下，無(wú)論是在解碼速度還是語(yǔ)音識(shí)別的效率和準(zhǔn)確性上，都已實(shí)現(xiàn)了行業(yè)領(lǐng)先。

Deep Peak 2 模型，其全稱為基于 LSTM 和 CTC 的上下文無(wú)關(guān)音素組合建模，該模型通過(guò)聲學(xué)模型學(xué)習(xí)和語(yǔ)言信息學(xué)習(xí)相分離的訓(xùn)練方法，使用音素組合來(lái)保留最重要的音素連接特性，從而避免了上下文無(wú)關(guān)建模時(shí)的過(guò)擬合問(wèn)題。

進(jìn)一步講，該模型基于音節(jié)建模的核心優(yōu)勢(shì)在于，音節(jié)是人發(fā)音的邏輯單元，軌跡明確，是存在完整軌跡的最小單元，而不同音素之間的分界線非常模糊，容易讓網(wǎng)絡(luò)“困惑”。同時(shí)，音節(jié)的時(shí)長(zhǎng)比狀態(tài)和音素都要長(zhǎng)，相比更不易受背景噪聲、信道、場(chǎng)景、說(shuō)話人等音素的影響，因此 Deep Peak2模型對(duì)數(shù)據(jù)多樣性的兼容性更好。同時(shí)，比起粒度更大的建模單元，例如詞，建模單元的數(shù)目適中，其建模單元也不會(huì)過(guò)大，能顯著帶來(lái)更快的解碼速度。

后續(xù)，百度更針對(duì)現(xiàn)實(shí)場(chǎng)景中對(duì)于中英文混雜語(yǔ)音識(shí)別的需求，研發(fā)了基于Deep Peak2的中英文統(tǒng)一建模的音節(jié)模型，采用上下文無(wú)關(guān)的音節(jié)對(duì)中英文統(tǒng)一建模的方法，語(yǔ)音系統(tǒng)可通過(guò)中英文系統(tǒng)識(shí)別語(yǔ)音指令，并直接輸出中英文識(shí)別結(jié)果和中文識(shí)別結(jié)果，融合后返回給用戶。

Deep Peak 2 模型的再度進(jìn)化：世界首個(gè)上線的端到端建模的SMLTA 模型

Deep Peak 2 模型之后，百度再度通過(guò)引入局部注意力和多級(jí)注意力，首創(chuàng)基于注意力 （Attention）模型的端到端 SMLTA模型（流式多級(jí)的截?cái)嘧⒁饬δＰ停晒鉀Q了高頻查詢的高精度要求問(wèn)題。

需要注意的是，雖然學(xué)術(shù)界對(duì)于將多注意力模型引入智能語(yǔ)音任務(wù)中的嘗試不少，然而此前一直都尚未成功應(yīng)用到工業(yè)界的商用智能語(yǔ)音服務(wù)中，因而百度提出的SMLTA模型，是工業(yè)界大規(guī)模使用注意力模型進(jìn)行語(yǔ)音識(shí)別的首例。

從技術(shù)層面來(lái)看，SMLTA模型所實(shí)現(xiàn)的創(chuàng)新，可以用四個(gè)點(diǎn)來(lái)概括：截?cái)?、流式、多?jí)、基于CTC & 注意力。下面我們逐個(gè)來(lái)看。

SMLTA模型可以看成是讓 DeepPeak2 通過(guò)結(jié)合注意力機(jī)制來(lái)獲取更大范圍和更有層次的上下文信息，其中的“流式”表示可以直接對(duì)語(yǔ)音的小片段（而不是必須整句），進(jìn)行一個(gè)片段一個(gè)片段地增量解碼；“多級(jí)”表示堆疊多層注意力模型；而最后的“截?cái)唷眲t表示利用 CTC 模型的尖峰信息，把語(yǔ)音切割成一個(gè)一個(gè)小片段，使得注意力模型建模和解碼都可以在這些小片段上展開(kāi)，進(jìn)而能夠克服傳統(tǒng)注意力模型在大范圍內(nèi)進(jìn)行注意力建模帶來(lái)精度不佳的問(wèn)題。

進(jìn)一步，考慮到CTC模型得到的尖峰的描述信息存在一定的插入和刪除錯(cuò)誤，容易造成截?cái)嗟玫降淖訅K邊界的不準(zhǔn)確性，進(jìn)而影響系統(tǒng)的識(shí)別性能。為此，百度在該模型中又創(chuàng)新性地提出兩級(jí)Attention結(jié)構(gòu)對(duì)截?cái)嗟淖訅K特征進(jìn)行逐級(jí)篩選，最后再經(jīng)過(guò)解碼器的LSTM模型輸出最后的概率分布。

圖：基于CTC尖峰截?cái)嗟牧魇蕉鄬幼⒁饬δＰ凸ぷ髟韴D

據(jù)悉，與目前業(yè)內(nèi)最好的基于CTC模型的語(yǔ)音識(shí)別系統(tǒng)相比，SMLTA基于截?cái)嗟亩说蕉苏Z(yǔ)音識(shí)別建模方法，讓語(yǔ)音識(shí)別錯(cuò)誤率的下降幅度達(dá)15%以上。

產(chǎn)品硬件技術(shù)：相同的價(jià)位，更佳的語(yǔ)音和音質(zhì)體驗(yàn)

而除了語(yǔ)音識(shí)別技術(shù)，在當(dāng)下的智能音箱市場(chǎng)，一款音箱要成為“好賣”的音箱，其中一個(gè)非常重要的因素就是性價(jià)比。如何將智能音箱的成本降到盡可能低，并擁有比同價(jià)位的競(jìng)品更加出色的音質(zhì)，同時(shí)還能夠有效控制住音頻失真確保喚醒識(shí)別率呢？

以百度音質(zhì)、聽(tīng)感最好的大金剛系列智能音箱為例，百度在硬件技術(shù)層面率先做了以下嘗試：

首先，在喇叭選型+音腔設(shè)計(jì)上，百度智能音箱選用了兩只規(guī)格更大的2英寸全頻喇叭，加兩片91mm*51mm被動(dòng)低音輻射器，經(jīng)過(guò)將零件巧妙地布局在有限的音箱空間中，音腔容積達(dá)到了400CC，有力地保證了音效的全面輸出。

其次，在結(jié)構(gòu)設(shè)計(jì)上，百度智能音箱采用了創(chuàng)新的設(shè)計(jì)思路，其中以整體外觀為例，零指示燈環(huán)與黑色外殼融為一體，通過(guò)模具注塑一次成型，實(shí)現(xiàn)了外觀的零縫隙、零段差，并減少了整機(jī)的零件數(shù)量，有效降低了整機(jī)的成本。

同時(shí)，在電路設(shè)計(jì)上，百度智能音箱選用單電路板硬件設(shè)計(jì)方案、硬件PCB設(shè)計(jì)，并申請(qǐng)了相關(guān)專利，是國(guó)內(nèi)主流智能音箱產(chǎn)品中首創(chuàng)性的單電路板設(shè)計(jì)方案。而該單板方案的優(yōu)勢(shì)是集成度高，可降低生產(chǎn)組裝成本，并減少單板占整機(jī)內(nèi)部空間，從而留出空間加大音腔，提升音質(zhì)的基礎(chǔ)。

AI科技評(píng)論總結(jié)

整體而言，智能語(yǔ)音作為AI 領(lǐng)域相對(duì)比較成熟的細(xì)分方向，近年來(lái)在產(chǎn)品落地方面也都走在其他技術(shù)的前面。但這些技術(shù)具體落地到某個(gè)具體場(chǎng)景或特殊場(chǎng)景中時(shí)，面臨的挑戰(zhàn)依舊巨大。如何不斷優(yōu)化智能語(yǔ)音技術(shù)，并實(shí)現(xiàn)技術(shù)的大規(guī)模產(chǎn)品落地，依舊是該領(lǐng)域需要大力探索的主題。

而這正是百度等智能語(yǔ)音廠商正在做、并且擅長(zhǎng)做的事情。以百度提出的SMLTA 模型為例，這是全世界范圍內(nèi)首個(gè)基于注意力技術(shù)的在線語(yǔ)音識(shí)別服務(wù)的大規(guī)模上線，在發(fā)布之際不僅引起了工業(yè)界的廣泛關(guān)注，更成為了學(xué)術(shù)界的大事件。正如我們?cè)谏衔闹幸蔡岬降?，在此前已?jīng)有很多專家和學(xué)者嘗試在語(yǔ)音識(shí)別任務(wù)中引入注意力模型，然而這種嘗試一直無(wú)法走出實(shí)驗(yàn)室。因而百度所取得的這項(xiàng)突破性進(jìn)展，無(wú)論對(duì)百度自身的技術(shù)布局而言，還是對(duì)整個(gè)智能語(yǔ)音領(lǐng)域而言，都意義重大。

未來(lái)，智能音箱要想取得更加明顯的體驗(yàn)提升，背后技術(shù)的突破創(chuàng)新是繞不開(kāi)的一個(gè)話題。百度語(yǔ)音技術(shù)團(tuán)隊(duì)不斷在攻堅(jiān)克難，算法迭代創(chuàng)新，并善于將之應(yīng)用在落地產(chǎn)品中。就在前不久，百度語(yǔ)音首席架構(gòu)師賈磊的回歸，又將為百度語(yǔ)音技術(shù)帶來(lái)怎樣的變化和突破？拭目以待。