曝華為昇騰910C AI推理性能達(dá)NVIDIA H100 60%
2月5日消息,DeepSeek的硬件設(shè)施雖然沒有公布詳細(xì)情況,但普遍認(rèn)為大量使用了NVIDIA AI芯片,包括H100、H800、H20等不同型號,但根據(jù)最新曝料,DeepSeek也驗(yàn)證了華為最新的AI芯片——昇騰910C。
昇騰910C是在2024年晚些時候被曝出的,據(jù)稱已向部分客戶批量供貨,包括阿里巴巴、百度、騰訊登巨頭,首批大約7萬顆,平均每顆僅2萬元左右。
消息顯示,昇騰910C采用了中芯國際的7nm工藝制造,chiplets雙芯片整合封裝,晶體管數(shù)量達(dá)530億個,整體國產(chǎn)化率已達(dá)55%左右。
它可以平替NVIDIA H100,同樣用于大規(guī)模的AI訓(xùn)練和推理,F(xiàn)P8、FP16、FP32、FP64等不同數(shù)據(jù)類型下均有不俗表現(xiàn)。
按照最新說法,DeepSeek團(tuán)隊的實(shí)測數(shù)據(jù)顯示,華為昇騰910C在AI推理中的表現(xiàn)出乎意料地好,已經(jīng)達(dá)到NVIDIA H100芯片的60%左右。
更進(jìn)一步地,通過手寫CUNN內(nèi)核和優(yōu)化,昇騰910C的性能還可以進(jìn)一步提升。
據(jù)稱,DeepSeek從第一天起就支持華為昇騰芯片,并且自主維護(hù)PyTorch倉庫,只需一行代碼就能將CUDA轉(zhuǎn)換為CUNN,性能優(yōu)化的潛力也相當(dāng)巨大,通過定制優(yōu)化可達(dá)到更高性能。
不過需要注意的是,目前已知的只是昇騰910C AI推理性能很優(yōu)秀,但是AI訓(xùn)練性能可能還是不夠理想。