摩爾線程萬(wàn)卡GPU集群新進(jìn)展！性能可提升20倍

7月18日消息，摩爾線程官方宣布，與清華系A(chǔ)I系統(tǒng)軟件公司清程極智正式建立戰(zhàn)略合作關(guān)系，旨在加速國(guó)產(chǎn)大規(guī)模GPU智算集群的產(chǎn)業(yè)化進(jìn)程，推動(dòng)AI算力生態(tài)的快速發(fā)展，為大模型行業(yè)提供更強(qiáng)大、靈活且高效的基礎(chǔ)設(shè)施支持。

摩爾線程近期宣布了從千卡至萬(wàn)卡的全功能GPU智算集群擴(kuò)展方案，雙方此番合作就將聚焦于萬(wàn)卡級(jí)超大規(guī)模GPU智算集群的開發(fā)與優(yōu)化。

清程極智是一家致力于構(gòu)建高效人工智能系統(tǒng)軟件，賦能國(guó)產(chǎn)算力，支撐大模型行業(yè)發(fā)展的公司，自主研發(fā)了智能編譯器IntelliGen、高效并行訓(xùn)練系統(tǒng)FastMoE，能夠顯著加速Transformer類模型和混合專家MoE模型的處理速度，部分模型性能提升最高可達(dá)15-20倍。

目前，清程極智的核心產(chǎn)品已全面適配摩爾線程自研的MUSA平臺(tái)。

摩爾線程還宣布，已與北京智源人工智能研究院順利完成基于Triton語(yǔ)言的高性能算子庫(kù)FlagGems的適配工作。

利用摩爾線程自研的統(tǒng)一系統(tǒng)計(jì)算架構(gòu)MUSA，雙方只用了短短一個(gè)多星期，就成功完成了近60個(gè)算子的功能驗(yàn)證，精度符合交付標(biāo)準(zhǔn)，并實(shí)現(xiàn)了對(duì)Bert-large模型的全面支持。

摩爾線程研發(fā)團(tuán)隊(duì)經(jīng)過(guò)充分調(diào)研論證，還形成了Triton編譯器在MUSA架構(gòu)上適配的完整方案，力求實(shí)現(xiàn)開發(fā)者在基于摩爾線程全功能GPU進(jìn)行Triton開發(fā)算子過(guò)程中，也能獲得與原來(lái)一致的體驗(yàn)，做到CUDA框架、MUSA框架的無(wú)縫遷移。

在摩爾線程MUSA架構(gòu)上，F(xiàn)lagGems算子庫(kù)展現(xiàn)出了接近手寫算子的計(jì)算性能，而且性能還在持續(xù)調(diào)優(yōu)，極大加速了開源大模型在摩爾線程全功能GPU上的部署速度。

智源研究院是北京市于2018年11月推動(dòng)成立的新型研發(fā)機(jī)構(gòu)，核心目標(biāo)是聚焦AI原始創(chuàng)新和核心技術(shù)，推動(dòng)AI理論、方法、工具、系統(tǒng)和應(yīng)用取得變革性、顛覆性突破，支撐北京建設(shè)成為全球AI學(xué)術(shù)思想、基礎(chǔ)理論、頂尖人才、企業(yè)創(chuàng)新和發(fā)展政策的源頭。

智源研究院的FlagGems算子庫(kù)是一個(gè)使用Triton編程語(yǔ)言實(shí)現(xiàn)的高性能通用算子庫(kù)，旨在為大語(yǔ)言模型提供一系列可應(yīng)用于PyTorch框架的算子，加速模型的推理與訓(xùn)練，降低新算法的開發(fā)門檻。

它以Triton編程語(yǔ)言的易用性和編譯器的標(biāo)準(zhǔn)接口為基礎(chǔ)，為多元芯片提供了一套易適配、高性能的算子解決方案，推動(dòng)基于Triton的統(tǒng)一、開源的軟硬件生態(tài)建設(shè)。