全球首款Transformer專用AI芯片Sohu發(fā)布

6月26日消息，據(jù)媒體報(bào)道，美國新興的芯片創(chuàng)業(yè)公司Etched發(fā)布其首款AI芯片——Sohu。

這款芯片在運(yùn)行大型模型時(shí)展現(xiàn)出了驚人的性能，其速度超越了行業(yè)巨頭英偉達(dá)的H100高達(dá)20倍，即便是與今年3月才面世的頂尖芯片B200相比，Sohu也展現(xiàn)出超過10倍的優(yōu)越性能。

Sohu芯片的最大突破在于它直接將Transformer架構(gòu)嵌入芯片內(nèi)部。據(jù)Etched公司負(fù)責(zé)人Uberti透露，Sohu采用了臺(tái)積電的先進(jìn)4納米工藝制造，不僅在推理性能上遠(yuǎn)超GPU和其他通用人工智能芯片，更在能耗控制上達(dá)到了新的高度。

對(duì)于Transformer技術(shù)而言，Sohu無疑是目前市場(chǎng)上最快的芯片，其性能與其他產(chǎn)品之間存在顯著的量級(jí)差異。值得一提的是，當(dāng)前主流的AI產(chǎn)品如ChatGPT、Claude、Gemini和Sora等，均基于Transformer架構(gòu)驅(qū)動(dòng)。

作為世界上首款Transformer ASIC(應(yīng)用型專用集成電路)芯片，Sohu的集成應(yīng)用更是令人矚目。據(jù)測(cè)試，一臺(tái)配備8塊Sohu芯片的服務(wù)器，其性能足以媲美160塊H100 GPU的集群。

具體而言，集成8塊Sohu芯片的服務(wù)器每秒能夠處理高達(dá)50萬的Llama 7B tokens，這一數(shù)據(jù)在業(yè)界堪稱前所未有。

而打造這款杰出芯片的Etched公司，位于美國加州的庫比蒂諾，盡管成立僅兩年，團(tuán)隊(duì)規(guī)模也僅有35人，但其創(chuàng)始人——哈佛輟學(xué)生Gavin Uberti(前OctoML和前Xnor.ai員工)和Chris Zhu，與資深技術(shù)專家Robert Wachen和前賽普拉斯半導(dǎo)體公司首席技術(shù)官M(fèi)ark Ross共同領(lǐng)導(dǎo)，已經(jīng)成功研發(fā)出這款專為大模型AI設(shè)計(jì)的芯片，展現(xiàn)了其強(qiáng)大的技術(shù)實(shí)力和無限潛力。