MLPerf公布首輪AI推理基準(zhǔn)測(cè)試結(jié)果，平頭哥含光800單芯片推理性能第一

北京時(shí)間11月7日，MLPerf基準(zhǔn)聯(lián)盟公布首輪AI推理基準(zhǔn)測(cè)試結(jié)果，阿里巴巴平頭哥的AI芯片含光800在Resnet50基準(zhǔn)測(cè)試中獲得單芯片性能第一。

MLPerf 推理基準(zhǔn)測(cè)試設(shè)有五個(gè)基準(zhǔn)，每個(gè)對(duì)應(yīng)四種場(chǎng)景，重點(diǎn)面向圖像分類、對(duì)象檢測(cè)和機(jī)器翻譯等常見機(jī)器學(xué)習(xí)任務(wù)。測(cè)試者可以選擇提交任何基準(zhǔn)及相應(yīng)場(chǎng)景的結(jié)果。

含光800參加了適用于圖像分類任務(wù)的Resnet50v1.5基準(zhǔn)測(cè)試，在離線模式（Offline mode）、服務(wù)模式（Servermode）、多路模式（Multi stream mode）和單路模式（Single stream mode）四個(gè)場(chǎng)景都取得了單芯片第一的成績(jī)。

離線模式測(cè)試的是芯片推理的最大吞吐量，最能考驗(yàn)芯片的計(jì)算、存儲(chǔ)、通信等基本功。含光800的成績(jī)?yōu)?9306.60IPS，單芯片性能是谷歌TPUv3的8.5倍、Nvidia T4的12倍。

MLPerf是業(yè)內(nèi)首套衡量機(jī)器學(xué)習(xí)軟硬件性能的通用基準(zhǔn)，由圖靈獎(jiǎng)得主David?Patterson聯(lián)合谷歌和幾所著名高校于2018年發(fā)起。

MLPerf基準(zhǔn)聯(lián)盟現(xiàn)有50多家成員，包括谷歌、微軟、Facebook、阿里巴巴等企業(yè)和斯坦福、哈佛、多倫多大學(xué)等高校。

繼AI訓(xùn)練基準(zhǔn)v0.5、v0.6之后，MLPerf在今年6月推出AI推理基準(zhǔn)v0.5。參加本輪推理基準(zhǔn)測(cè)試并提交結(jié)果的公司共14家，谷歌（TPUv3）、英偉達(dá)（T4、RTX、Xavier）、英特爾（CLX 9282、NNPI-1000）、Habana（Goya）等呈現(xiàn)了當(dāng)前AI推理系統(tǒng)最高水平的競(jìng)逐。

今年9月問世的含光800是阿里巴巴第一款正式流片的AI芯片，基于臺(tái)積電12nm工藝生產(chǎn)，其性能突破得益于軟硬件的協(xié)同設(shè)計(jì)：采用平頭哥自研架構(gòu)，有效降低內(nèi)存訪問延時(shí)；集成達(dá)摩院的創(chuàng)新算法，深度優(yōu)化CNN及視覺類算法，大幅提升視覺計(jì)算效率。

含光800主要用于云端視覺場(chǎng)景，現(xiàn)已大規(guī)模應(yīng)用于阿里巴巴集團(tuán)內(nèi)多個(gè)場(chǎng)景，如視頻圖像識(shí)別/分類/搜索、城市大腦等，未來還可應(yīng)用于醫(yī)療影像、自動(dòng)駕駛等領(lǐng)域。

今后，含光800的算力將通過阿里云對(duì)外輸出。