騰訊最新上線快思考模型Turbo S:回答速度提升一倍
2月27日消息,此前,騰訊元寶里已接入混元Turbo模型,用于快速回答用戶問題。
今天,騰訊宣布升級(jí)版的Turbo S模型,將逐步在騰訊元寶灰度上線,很快就會(huì)全量覆蓋。
此次升級(jí),就是為了讓用戶擁有更好的大模型問答體驗(yàn):回答速度提升一倍,首字時(shí)延降低44%。
騰訊介紹稱,此次混元Turbo S創(chuàng)新性地采用了Hybrid-Mamba-Transformer融合模式,一方面發(fā)揮了Mamba 高效處理長序列的能力,另一方面也保留Transformer擅于捕捉復(fù)雜上下文的優(yōu)勢(shì),最終構(gòu)建了顯存與計(jì)算效率雙優(yōu)的混合架構(gòu)。
騰訊表示,這是工業(yè)界首次成功將Mamba架構(gòu)無損地應(yīng)用在超大型MoE模型上。
通過長短思維鏈融合,騰訊混元Turbo S 在保持文科類問題快思考體驗(yàn)的同時(shí),顯著改進(jìn)了理科推理能力,整體效果明顯提升。
此外,開發(fā)者和企業(yè)用戶也可以在騰訊云上通過API調(diào)用騰訊混元Turbo S,發(fā)布當(dāng)日起一周內(nèi)免費(fèi)試用。