助聽器中的DSP：在極低功耗和延時基礎(chǔ)上，邁向無線音頻和AI+的未來

近年來單片式的DSP逐漸被Arm核的芯片、FPGA等所取代，變成IP形式存在。但在某些領(lǐng)域，DSP有著不可撼動的地位。就像助聽器這一領(lǐng)域，DSP仍是為聽障人士實現(xiàn)清晰可靠的音頻處理的最優(yōu)解。而在做好基礎(chǔ)的音頻處理的前提下，助聽器中的DSP也在向著無線音頻傳輸、AI+的方向上開始拓展。在簡單傳統(tǒng)的單片式DSP的基礎(chǔ)上，CPU（Cortex-M等）、模擬前端（FAE）、BLE無線和神經(jīng)網(wǎng)絡(luò)加速器（NN Accelerater）等按需集成到了DSP上，一起實現(xiàn)了系統(tǒng)單芯片（SoC）的助聽器解決方案。

在助聽器DSP音頻處理這一非常垂直的領(lǐng)域，國際大廠中只有安森美(onsemi)一家在做，并且已經(jīng)在此領(lǐng)域耕耘了十幾年。在近日的“2023北京國際聽力學(xué)大會”上，安森美作為數(shù)不多的芯片廠商應(yīng)邀出席。我們也借此機會采訪到了安森美工業(yè)醫(yī)療智能部門亞太區(qū)高級營銷經(jīng)理楊正龍先生，就助聽器的音頻處理技術(shù)進行了深入的探討。

助聽器中的DSP：用1毫安的功耗水平，實現(xiàn)又快又好的音頻處理

助聽器分為傳統(tǒng)助聽器和OTC助聽器兩種：傳統(tǒng)助聽器在國外已經(jīng)發(fā)展了有150多年的歷史，而在中國的發(fā)展大約有60年左右。2017年8月，美國通過了OTC 助聽器法案，讓助聽器的驗配變得更為便捷，OTC助聽器也納入了專業(yè)助聽器的范疇。（在此討論的僅為氣導(dǎo)的方案，人工耳蝸等骨傳導(dǎo)方案不在其列）

助聽器的原理就是通過麥克風(fēng)采集外界原始聲音信號，經(jīng)過ADC將模擬信號轉(zhuǎn)換為數(shù)字信號，經(jīng)過DSP的一系列算法處理，然后將處理好的數(shù)字信息信號重新轉(zhuǎn)換為模擬信號，經(jīng)過揚聲器再傳導(dǎo)到人耳中。DSP是整個音頻信號處理鏈路的關(guān)鍵，經(jīng)過了多年的沉淀，針對助聽器也都有了專門的算法。通過像聲音能量計算、時域頻域轉(zhuǎn)換、環(huán)境監(jiān)測、風(fēng)噪處理、嘯叫抑制、聽損聲壓調(diào)整等等一系列的算法，實現(xiàn)背景噪聲減少和人聲增強，最終確保聽損人士可以聽得見、聽得懂、能交流。

圖：助聽器中音頻處理（來源：fuel admin）

要在小小的助聽器中實現(xiàn)一系列的音頻處理和信號轉(zhuǎn)換傳輸，挑戰(zhàn)可不小。首先延遲必須要低：10ms內(nèi)最佳；其次功耗要低：受限于助聽器體積較小，電池容量可能僅為100來個毫安時，功耗要低至1毫安以內(nèi)，才能滿足10小時的續(xù)航需求；最終還要有好的效果：把背景噪聲降下去，把人聲增強起來，還要讓人聽的舒服、不失真。綜合起來這三條要求，其實要在助聽器中做到很好的音頻處理，非常難。

為了平衡這些助聽器應(yīng)用需求，安森美也沉淀了一系列的專利技術(shù)。據(jù)楊正龍介紹，“功耗上面如果說客戶的要求更多，那么所需的算法就更多的話，功耗肯定越來越高。安森美有兩個方式：第一個方式就是說提供了非常多高效率的免費的算法IP，與Ezairo的產(chǎn)品一起提供給客戶，這樣就可以保證客戶實際運行的算法是算的最優(yōu)的。第二個就是提供了很多硬件加速模塊，算法不是通過純軟件去實現(xiàn)，而是提供了很多固化的加速度核，這樣整體運算的效率很高，算法的需求量很低，既減少了時延，又降低了功耗。

為了降低時延，提高計算能力是最直接的方式。而安森美的Ezairo平臺的算力水平也一直在提升。據(jù)楊正龍介紹，Ezairo平臺的工藝從之前的130nm到65nm再到現(xiàn)在的22nm一直在不斷微縮，同時DSP的處理速度也一直在提升，從以前的只有幾十個MIPS水平，到目前的Ezairo7160的375MIPS的水平，再到現(xiàn)在Ezairo8300已經(jīng)有1000多MIPS的水平。更多的功能需求，需要更復(fù)雜的算法。一方面，會通過專門的加速引擎來加速，另一方面，通過更高的工藝和內(nèi)核算力提升來進行支持。最終讓患者更容易接受一些新的功能，更容易去發(fā)現(xiàn)助聽器的價值。

更多算法需求帶來了更多內(nèi)核集成后，體積的控制是個難題。而安森美具有專門的3D堆疊的技術(shù)，通過加拿大伯靈頓一個醫(yī)療級別的工廠，能夠?qū)崿F(xiàn)不同模塊的集成，從而實現(xiàn)更小體積更多功能的集成。像最新的Ezairo8300系列，已經(jīng)實現(xiàn)了6核的功能集成，而Ezairo7100系列也已經(jīng)是4核的功能集成，但整個方案體積和之前傳統(tǒng)的方案相比并無二致。

圖：超小體積的Ezairo7160模塊

助聽器中DSP技術(shù)未來：邁向無線音頻和AI+

不論是傳統(tǒng)助聽器還是OTC助聽器，都對于各種參數(shù)有著專門的醫(yī)療級別規(guī)范要求。而對于專業(yè)助聽器的使用人群而言，聽得清、聽得舒服是其第一需求。而隨著科技技術(shù)的發(fā)展，在保證這一前提的基礎(chǔ)上，業(yè)界也在探索助聽器上的未來新趨勢。

首先一個重要趨勢是無線音頻傳輸。據(jù)楊正龍分享，早在大概五六年前，LE Audio還沒有發(fā)布的時候，安森美就已經(jīng)以私有協(xié)議的方式，做出了在助聽器上實現(xiàn)藍牙低功耗無線音頻傳輸（支持Streaming）的方案。因為彼時的傳統(tǒng)藍牙音頻功耗水平太高，并不能夠滿足助聽器的場景要求，所以安森美在當(dāng)時采用了自研的私有協(xié)議，支持地址1mA的功耗水平。但要進行這種連接，需要確保音頻設(shè)備中預(yù)先支持了安森美的這套私有協(xié)議的源代碼，或者通過一個外接的私有協(xié)議的盒子，再來向助聽器進行廣播?？梢哉f這在當(dāng)時是非常前沿的、具有探索意義的研究方向，并且確實是踏中了助聽器無線音頻傳輸?shù)奈磥碲厔?。但作為芯片廠商去進行這種生態(tài)的推廣，難度頗大，況且是在助聽器這樣對于新增功能并不是那么迫切的聽障市場，所以最終并沒有將這項應(yīng)用推起來。

但隨著最近幾年LE Audio的推出，助聽器的無線音頻傳輸應(yīng)用將會慢慢興起。目前安森美的Ezairo7160已經(jīng)在傳統(tǒng)CFX DSP和HEAR核的基礎(chǔ)上，集成了低功耗藍牙連接模塊——RSL10，以及一個Cortex-M3的控制內(nèi)核來進行無線協(xié)議處理。其中RSL10 RSL10 支持藍牙低功耗技術(shù)和 2.4 GHz 專有協(xié)議，提供業(yè)界最低的深度睡眠和峰值接收功耗，是一種高度靈活的多協(xié)議無線電模塊。

據(jù)楊正龍分享，目前Ezairo平臺的無線方案已全部支持蘋果和安卓兩大平臺的開放協(xié)議，分別是MFi（Made for iphone）和谷歌的Asha。

助聽器上實現(xiàn)無線功能的意義，并不僅僅是在音頻傳輸上，另一個主要的應(yīng)用是實現(xiàn)無線驗配，這即方便了驗配中心的驗配工作，更是極大地方便了用戶的使用。比如用戶覺得某些聲音太悶、某些聲音太吵、底噪太高等，都可以自己來進行一些個性化的細致的調(diào)節(jié)，從而使助聽器更適合自己的聽損水平和使用環(huán)境。

圖：安森美Ezario7160無線音頻傳輸demo

除了無線音頻外，另一個助聽器上的趨勢是AI+。通過內(nèi)置專門的NN加速單元，來實現(xiàn)本地的算法推理，這一趨勢正在所有的端側(cè)設(shè)備上推行開來。類似在嵌入式設(shè)備上的nanoEdge tinyML，在Ezairo的平臺中，添加一個NN加速器，實現(xiàn)諸如語音識別、聲音識別、AI降噪等功能。

據(jù)楊正龍介紹，Ezairzo83系列相較Ezairo7系列的內(nèi)核增了更多，能力更是翻倍的：內(nèi)存是以前的4倍，運算的能力是以前的三倍多，然后在ADC的寬度、動態(tài)寬度等都比以前高。但其實Ezairzo83系列的成本可能會比Ezairo7160更好一些。因為Ezairzo83系列面向的是專業(yè)助聽器和輔聽兩個市場，因此整體的市場出貨量預(yù)計會更大，也就可以將器件成本拉的更低，給到終端客戶更好的成本。

其實有了AI的功能之后，不僅等于增加了一些語音交互的功能，對于傳統(tǒng)的音頻算法或許也可以迎來顛覆。像現(xiàn)在通過自適應(yīng)的濾波器實現(xiàn)的降噪算法，未來或許都可以進行迭代，進行不斷地人工學(xué)習(xí)后，將更優(yōu)化的庫在放在助聽器上。隨著未來互聯(lián)功能和計算功能的融合，手機個人助理或許也可以通過助聽器來與聽障人士進行交互，幫助人們實現(xiàn)更多的便捷工作。

國內(nèi)助聽器市場前景廣闊，如何幫助好本地客戶做好開發(fā)工作？

上文提到，助聽器在國外的歷史要比國內(nèi)悠久的多。但中國助聽器市場，正在飛速發(fā)展。從整個市場規(guī)模來看，中國助聽器市場潛力巨大。據(jù)調(diào)研數(shù)據(jù)延時，中國助聽器的年復(fù)合增長率將近有百分之十幾；從個別領(lǐng)先的終端廠商的出貨量來看，每年至少30%的增長。

而中國客戶的特點是相對國外的幾大家助聽器品牌，客戶數(shù)量更多，體量較小，系統(tǒng)級的開發(fā)能力也有一定差距。而同時可編程DSP的設(shè)計能力要求較高，像一些傳統(tǒng)的助聽器DSP方案（安森美B300系列）為了實現(xiàn)高效低功耗表現(xiàn)都是采用匯編語言來編寫代碼，對于當(dāng)前新生代的工程師而言要求也較高。如何幫助中國這一批客戶快速成長起來，實現(xiàn)產(chǎn)品快速量產(chǎn)出貨，是安森美在中國進行Ezairo系列產(chǎn)品推廣的關(guān)鍵。

楊正龍表示，如果客戶從0開始確實很難，可能要花幾年的時間去熟悉開發(fā)環(huán)境：因為不同的內(nèi)核所需的開發(fā)語言不同，有的可以用c有的用匯編，確實是有一定的難度的。但是安森美沒有把這個工作全部給到客戶和市場，而是提供了幾個方案。

第一個方案就是說安森美把所有的東西做好了，客戶選擇Ezairo硬件平臺，就可以使用安森美整套的方案，包括硬件、軟件、固件、算法以及驗配程序等等，客戶都可以直接使用。這一整套方案是安森美基于對市場的全面了解，跟合作伙伴做出來的一個完整的研發(fā)方案，基本可以覆蓋市場80~90%的一個應(yīng)用場景。

圖：安森美完整的驗配方案demo

第二個方案就是針對剩下的20%或者10%的客戶需求，有些客戶算法能力很強，同時它的市場有特殊的需求，通用的方案無法滿足。那么安森美會把很多接口開放出來給到客戶，讓客戶去做自己算法適配，滿足他自己特別的一個需求。

結(jié)語

助聽器是一個特殊的垂直市場，對于功耗、延時等的超高要求，讓其必須使用DSP才能滿足。在基本的“CFX+HEAR”的架構(gòu)基礎(chǔ)上，才能繼續(xù)去添加更多的模塊，支持更多的復(fù)雜算法。遍歷國際芯片大廠，也只有安森美一家堅持深耕在此領(lǐng)域，致力于持續(xù)不斷地迭代自己的Audiology DSP Systems，為客戶提供軟件、硬件和算法等于一體的全面解決方案。楊正龍表示，未來Ezairo平臺將會繼續(xù)創(chuàng)新，新一代產(chǎn)品的方向，會是繼續(xù)追求極致功耗，實現(xiàn)雙向的藍牙通信，增加更多生命傳感功能等。但楊正龍同時強調(diào)到，這個市場很大，安森美并不會去定義市場走向，而是更多地將平臺開放給客戶，幫助客戶實現(xiàn)其所需要的功能。

本文受訪者：安森美(onsemi)工業(yè)醫(yī)療智能部門亞太區(qū)高級營銷經(jīng)理 楊正龍