XMOS的多項(xiàng)音頻技術(shù)創(chuàng)新將大模型與邊緣AI應(yīng)用密切聯(lián)系形成生態(tài)化合
2025蛇年春節(jié),DeepSeek大語(yǔ)言模型以超低的訓(xùn)練成本震撼全球,預(yù)示著大模型技術(shù)將以更快的腳步全面走進(jìn)我們的工作和生活,同時(shí)也促進(jìn)了能夠連通各種大模型和應(yīng)用場(chǎng)景的智能終端將加速演進(jìn)。語(yǔ)音作為人類與機(jī)器最常用的互動(dòng)溝通媒體,將在大模型和邊緣智能并蒂薄發(fā)的時(shí)代成為可帶來(lái)巨大便利和效率的媒體,智能語(yǔ)音處理技術(shù)也將成為支撐大模型和邊緣智能的關(guān)鍵技術(shù)之一。
與此同時(shí),智能物聯(lián)網(wǎng)技術(shù)領(lǐng)導(dǎo)者暨匠心獨(dú)到的軟件定義SoC半導(dǎo)體科技企業(yè)XMOS在2025年國(guó)際消費(fèi)電子展(CES 2025)上,展出了一系列由AI技術(shù)驅(qū)動(dòng)的音頻技術(shù),包括全新空間音效、語(yǔ)音捕獲與降噪、音視頻多模態(tài)AI處理等多種創(chuàng)新智能音頻技術(shù)與應(yīng)用解決方案,吸引了眾多專業(yè)參觀者的關(guān)注和商討進(jìn)一步合作。
這些可以同時(shí)支撐大模型和邊緣智能的音頻方案不僅具有強(qiáng)大的功能和極高的性能,而且還進(jìn)一步降低了成本和功耗,從而可以加速智能端側(cè)設(shè)備的應(yīng)用和大模型的普及。
作為一家在全球音頻處理技術(shù)領(lǐng)域享有長(zhǎng)期聲譽(yù)的半導(dǎo)體公司,上述智能音頻解決方案皆得益于由XMOS開(kāi)發(fā)的在單一器件中集成了高性能AI、DSP、I/O和控制功能的xcore.ai系列多核控制器。這些高性能、低延遲和低功耗處理器可以根據(jù)客戶的需求,快速形成軟件定義系統(tǒng)級(jí)芯片(SoC)解決方案,其帶來(lái)的全新開(kāi)發(fā)和應(yīng)用模式已在在音頻、工業(yè)和汽車(chē)等領(lǐng)域已經(jīng)得到廣泛的驗(yàn)證。
同時(shí)XMOS及其全球合作伙伴在這些器件上開(kāi)發(fā)了多樣化的智能音頻方案,將邊緣AI加速、高性能處理、先進(jìn)算法與音頻和話音的媒體特性充分結(jié)合,把智能、完美、準(zhǔn)確和低延時(shí)的音頻及處理更廣泛地引入我們的生活和工作。例如,XMOS的XCORE-VOICE平臺(tái)通過(guò)了ZOOM和TEAMS極為嚴(yán)格的認(rèn)證,從而將開(kāi)發(fā)優(yōu)質(zhì)音頻系統(tǒng)的時(shí)間大為縮短、成本大幅降低。
目前,XMOS的智能音頻技術(shù)和方案已經(jīng)被廣泛應(yīng)用于智能消費(fèi)電子、智能家居、智能汽車(chē)和辦公應(yīng)用,不僅為各種終端和系統(tǒng)提供了高質(zhì)量的音頻和音效,而且作為無(wú)所不在的人機(jī)接口和新興生產(chǎn)力工具幫助這些應(yīng)用連入各種網(wǎng)絡(luò)。為了吸引更多的合作伙伴,XMOS派出的資深技術(shù)與應(yīng)用團(tuán)隊(duì)在CES2025上展示了以下幾個(gè)方面的技術(shù)創(chuàng)新:
·在任何設(shè)備上都能提供3d沉浸式空間音頻,而且可以更安全地聆聽(tīng)
在任何設(shè)備上都能提供即插即用、每個(gè)比特都精確、豐富的3D沉浸式音頻體驗(yàn),不僅可以支持設(shè)備間的傳輸,而且減少了一半的耳鼓壓力并實(shí)現(xiàn)所有延遲超低。該技術(shù)與所有的操作系統(tǒng)和耳機(jī)都可無(wú)縫兼容,同時(shí)滿足游戲?qū)Τ脱舆t的要求。
·人工智能驅(qū)動(dòng)的語(yǔ)音捕獲功能,可在各種極具挑戰(zhàn)性的環(huán)境中實(shí)現(xiàn)用深度神經(jīng)網(wǎng)絡(luò)(DNN)來(lái)降噪
XMOS的AI加速技術(shù)通過(guò)先進(jìn)的算法提供降噪功能,以實(shí)時(shí)方式智能化地去除背景噪聲,從而確保在極具挑戰(zhàn)性的環(huán)境中能夠清晰地捕獲音頻。適用于專業(yè)和工業(yè)應(yīng)用。
·適用于音頻和視覺(jué)的多模態(tài)ai處理
XMOS的多模態(tài)AI模型處理可支持音頻和計(jì)算機(jī)視覺(jué)應(yīng)用,適用于最具挑戰(zhàn)性的實(shí)時(shí)性、始終在線應(yīng)用,同時(shí)保護(hù)個(gè)人數(shù)據(jù)和隱私。
·以太網(wǎng)音頻技術(shù)及開(kāi)發(fā)板
XMOS正在孵化以太網(wǎng)音頻技術(shù)(Audio over Ethernet),我們與Crowd Supply合作推出了AES67以太網(wǎng)音頻開(kāi)發(fā)板,以發(fā)現(xiàn)下一波基于以太網(wǎng)的音頻應(yīng)用場(chǎng)景和案例。
·可提供高保真音頻的首個(gè)真正可擴(kuò)展的會(huì)議解決方案
XMOS擴(kuò)展了其領(lǐng)先的、在全球備受推崇的語(yǔ)音會(huì)議設(shè)備產(chǎn)品組合,通過(guò)可擴(kuò)展的設(shè)計(jì)增加了超寬帶、企業(yè)級(jí)的語(yǔ)音質(zhì)量,從而使制造商們能夠經(jīng)濟(jì)有效地應(yīng)對(duì)多個(gè)細(xì)分市場(chǎng)。
·適用于始終在線的、支持ai本地命令的語(yǔ)音捕獲,同時(shí)具有保護(hù)隱私功能的自動(dòng)語(yǔ)音識(shí)別(asr)技術(shù)
XMOS的語(yǔ)音處理器產(chǎn)品組合提供遠(yuǎn)場(chǎng)語(yǔ)音捕獲能力,并支持離線AI本地命令的功能,以提供始終在線的體驗(yàn),有效保護(hù)了用戶的隱私。
·適用于各種音頻應(yīng)用領(lǐng)域的超低延遲、高帶寬、每比特都完美的DSP處理
通過(guò)推出一個(gè)全新的DSP音頻處理庫(kù)和示例應(yīng)用程序,XMOS正在擴(kuò)大對(duì)高性能音頻的支持。
XMOS首席執(zhí)行官M(fèi)ark Lippett表示:“從CES 2025開(kāi)始,我們就感受到我們?cè)谶吘壷悄芎拖冗M(jìn)音頻等領(lǐng)域的創(chuàng)新,在今年及以后能夠取得的巨大成功。在CES上我們與主要客戶和潛在新合作伙伴舉行了為期4天的密集會(huì)議,我們的演示套件展示了幾項(xiàng)引起了廣泛關(guān)注的尖端音頻技術(shù),例如空間音頻、DSP調(diào)諧和人工智能降噪等演示引起了伙伴們極大的興趣?!?
XMOS的這些技術(shù)創(chuàng)新正在通過(guò)該公司在全球的研發(fā)與應(yīng)用支持體系,以及合作伙伴網(wǎng)絡(luò)向各行各業(yè)滲透。在中國(guó),除了XMOS中國(guó)團(tuán)隊(duì),XMOS還與飛騰云科技和曉龍國(guó)際等伙伴共同支持中國(guó)工程師開(kāi)發(fā)創(chuàng)新的應(yīng)用,飛騰云是獲得授權(quán)的XMOS全球首家增值經(jīng)銷(xiāo)商(Value-Added Reseller,VAR)。XMOS及其伙伴正在為全球的品牌廠商(OEM)用戶、運(yùn)營(yíng)商和渠道商等商業(yè)客戶設(shè)計(jì)和制造新一代的音頻產(chǎn)品。
展望未來(lái),Mark補(bǔ)充道:“針對(duì)大模型等更先進(jìn)的技術(shù)、更廣泛的連接和更多元的應(yīng)用場(chǎng)景,XMOS也在持續(xù)投入研發(fā),例如我們?cè)贑ES上也展示了以太網(wǎng)音頻和超寬帶(UWB)音頻技術(shù)等早期探索,它們也引起了人們的興趣并引發(fā)了熱烈的討論,XMOS和客戶及伙伴也從討論中看到了諸多機(jī)會(huì)??傮w而言,CES 2025成功展示我們的最新開(kāi)發(fā)成果,而大模型的加速發(fā)展正在證明我們的創(chuàng)新路線是非常正確的,我們期待著在今年及2026年用創(chuàng)新為生態(tài)伙伴及最終用戶帶來(lái)巨大的回報(bào)。”