5個月前，市場調(diào)研機(jī)構(gòu)Loup Ventures進(jìn)行了一項(xiàng)橫評測試，對象主要是多家科技公司的智能揚(yáng)聲器產(chǎn)品，一一測試這些產(chǎn)品針對不同問題的表現(xiàn)如何。日前，該機(jī)構(gòu)又進(jìn)行了一項(xiàng)新的橫評，而這一次測試對象是智能手機(jī)的AI智能語音助理。雖然Siri依然不算最出色的一款，但回到問題的正確率卻得到了顯著提高。
為了得到更客觀的結(jié)果，Loup Ventures在測試過程中分別在智能手機(jī)上對蘋果Siri、谷歌Google Assistant、亞馬遜Alexa和微軟Cortana問了800個問題，并將測試結(jié)果與早期2017年4月的測試進(jìn)行對比。
在最新的測試中，蘋果的人工智能語音助理Siri能夠理解99%的問題，并正確回答了78.5%的問題。這是非常明顯的進(jìn)步，因?yàn)樵?017年4月時在類似的以AI為重點(diǎn)的測試的中，僅回答正確了66.1%。
Loup Ventures并沒有將這個成績與今年2月的測試對比，他們認(rèn)為智能音箱和智能手機(jī)之間有顯著差異，而這一次是純粹手機(jī)平臺的比拼。當(dāng)時針對HomePod的測試中，Siri只有在某些類型的問題回答中表現(xiàn)出色，大量問題仍僅限于能在揚(yáng)聲器上可執(zhí)行的操作上。因此在那次針對智能音箱的橫評中Siri只能墊底，因?yàn)?82道問題的正確率卻只有52.3%。
Loup Ventures的評測主要根據(jù)兩個指標(biāo)來對每個智能語音助理評分：“它理解被問的問題嗎?”和“它給出了正確的回答嗎?”。這些問題分為五個類別，包括地點(diǎn)(例如:“最近的咖啡店在哪里?”)、商務(wù)(“你能幫我訂購新的紙巾嗎?”)、導(dǎo)航(“我如何坐公交到達(dá)市中心?”)、信息和命令。
關(guān)于測試的環(huán)境條件，Siri是運(yùn)行iOS 11.4系統(tǒng)的iPhone版，Google Assistant是Pixel XL手機(jī)版，Alexa是iOS版本，Cortana也是iOS版。至于結(jié)果，在“命令”問題類別中Siri表現(xiàn)最出色，90%的問題都回答正確了，優(yōu)于所有競爭對手。而其他類別，“地點(diǎn)”問題正確率為87%、“導(dǎo)航”類別83%，“信息”類別70%，“商務(wù)交易”僅60%。
其實(shí)Siri在“命令”這一問題分類中領(lǐng)先并沒有什么奇怪的，因?yàn)閕OS是蘋果自家的封閉平臺，通過Siri控制iPhone、智能家居、Apple Music等自然都能完成，而其他第三方app如Cortana和Alexa都有限制。說實(shí)話，自家平臺做好是應(yīng)該的，至少確保用戶通過Siri能夠順利控制iPhone或在HomePod上播放音樂，這的確已經(jīng)是很低的要求了。
而除了“命令”類別的問題之外，Google Assistant在所有類別中都有明顯優(yōu)勢，正確率最高。Loup Ventures稱贊谷歌語音搜索的“精選摘要”功能，因?yàn)榭梢酝ㄟ^語音讀取，關(guān)鍵是大多數(shù)情況下給出的都正好是想要的搜索結(jié)果。Alexa和Cortana在測試中表現(xiàn)不佳，畢竟iOS平臺限制了它們在iPhone上的發(fā)揮，基本僅限于app本身，無法達(dá)到Siri系統(tǒng)級別的執(zhí)行任務(wù)操作。
總的來說，在800個問題測試中，Google Assistant回答問題正確率達(dá)到了85.5%，并且理解所有的問題。Siri的回答正確率為78.5%，有11個明顯錯誤的回答。Alexa回答正確率為61.4%，13個錯誤。而Cortana是最為落后，回答正確率僅為52.4%，錯誤達(dá)到19個。
Loup Ventures表示，自2017年4月以來的15個月時間里，Siri回答問題的正確率提高了13個百分點(diǎn)。當(dāng)iOS 12正式推出之后，伴隨著Siri捷徑功能的出世，相信Siri將獲得更多功能上的提升。
下載文檔
