浪潮信息公布設(shè)計(jì)指南，以開放規(guī)范促進(jìn)生成式AI多元算力發(fā)展

北京2023年9月21日 /美通社/ -- 隨著生成式AI快速發(fā)展，人工智能在各行各業(yè)廣泛應(yīng)用，AI算力需求劇增，AI芯片多元化趨勢凸顯，帶來了芯片開發(fā)成本高、多元芯片使用難等挑戰(zhàn)。近日，浪潮信息面向全行業(yè)公布了《開放加速規(guī)范AI服務(wù)器設(shè)計(jì)指南》（以下簡稱《指南》）?！吨改稀坊诶顺毙畔⒃陂_放加速計(jì)算領(lǐng)域豐富的產(chǎn)品研發(fā)和工程實(shí)踐經(jīng)驗(yàn)，為AI加速卡和系統(tǒng)設(shè)計(jì)提供參考，大幅縮短AI加速卡與AI服務(wù)器的適配周期，促進(jìn)生成式AI多元算力發(fā)展，助力用戶把握生成式AI爆發(fā)帶來的算力產(chǎn)業(yè)巨大機(jī)遇。

AI算力需求爆發(fā)，芯片多元化難題亟需破解

當(dāng)前，生成式AI技術(shù)飛速發(fā)展，引領(lǐng)了新一輪AI創(chuàng)新浪潮。隨之而來的是生成式AI算力需求猛增，推動算力產(chǎn)業(yè)轉(zhuǎn)型升級。Henessy和Patterson在幾年前的《計(jì)算機(jī)架構(gòu)的新黃金時(shí)代》中就引入了特定領(lǐng)域體系架構(gòu)（Domain Specific Architectures，DSAs）的概念，即隨著通用算力技術(shù)的演進(jìn)逐漸減緩，針對特定問題或領(lǐng)域定制計(jì)算架構(gòu)變得愈發(fā)重要?；贒SAs思想設(shè)計(jì)的AI計(jì)算芯片，在特定人工智能工作負(fù)載下展現(xiàn)出超越通用芯片的處理能力，這極大地推動了多元化AI芯片的發(fā)展。

目前，全球已有上百家公司投入新型AI加速芯片的開發(fā)，但也帶來了新的挑戰(zhàn)。主要表現(xiàn)在，單機(jī)性能、功耗和擴(kuò)展性更高，算力平臺規(guī)模更大，對卡間互聯(lián)、網(wǎng)絡(luò)帶寬和延遲提出了更高的要求。加速卡間通信的數(shù)據(jù)量越來越多，僅僅通過傳統(tǒng)的PCIe P2P通信已經(jīng)無法滿足超大規(guī)模深度學(xué)習(xí)模型的要求。

為了解決這些問題，芯片公司相繼推出了各自非標(biāo)準(zhǔn)PCIe CEM形態(tài)的AI加速卡，這些新形態(tài)的AI加速卡支持更高的功耗和更強(qiáng)大的卡間互聯(lián)能力。但不同廠商采用不同技術(shù)路線，導(dǎo)致不同芯片需要定制化的系統(tǒng)硬件平臺承載，系統(tǒng)平臺研發(fā)通常大約需要6到12個(gè)月的時(shí)間。專有AI計(jì)算硬件系統(tǒng)開發(fā)周期長、研發(fā)成本高，嚴(yán)重阻礙了新型AI加速芯片的研發(fā)創(chuàng)新和應(yīng)用推廣。

OAI架構(gòu)為超大規(guī)模深度神經(jīng)網(wǎng)絡(luò)模型而生

開放計(jì)算組織OCP在2019年發(fā)布了專門面向大模型訓(xùn)練的開放加速計(jì)算（OAI）系統(tǒng)架構(gòu)。Mezz扣卡形態(tài)的加速器具備更高的散熱和互聯(lián)能力，可以承載具有更高算力的芯片。同時(shí)，它有非常強(qiáng)的跨節(jié)點(diǎn)擴(kuò)展能力，可以很輕易地?cái)U(kuò)展到千卡、萬卡級的平臺，支撐大模型的訓(xùn)練。這個(gè)架構(gòu)是天然適用于超大規(guī)模深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的計(jì)算架構(gòu)。

但是，在產(chǎn)業(yè)落地過程中，很多廠商所開發(fā)的加速卡依然存在硬件接口不統(tǒng)一、互連協(xié)議不統(tǒng)一，同時(shí)軟件生態(tài)互不兼容，帶來了新型AI加速卡系統(tǒng)適配周期長、定制投入成本高的落地難題，導(dǎo)致算力供給和算力需求之間的剪刀差不斷加大，行業(yè)亟需更加開放的算力平臺，以及更加多元的算力支撐大模型的訓(xùn)練。

此外，由于各種類型AI芯片的連接接入標(biāo)準(zhǔn)不同，用戶在使用多元AI芯片系統(tǒng)時(shí)還會遇到系統(tǒng)適配、芯片驅(qū)動、互聯(lián)互通、功耗管理、安全傳輸、易用性等各類問題，使用戶在部署多元AI芯片算力系統(tǒng)時(shí)面臨巨大挑戰(zhàn)。

從開放加速基板到千卡算力平臺落地，浪潮信息的多元算力之路

芯片多元化、芯片生態(tài)割裂化是人工智能發(fā)展道路上必須要解決的挑戰(zhàn)?；谶@一洞察，浪潮信息從2018年就開始布局，持續(xù)推進(jìn)開放加速規(guī)范（OAM）建立和產(chǎn)品技術(shù)創(chuàng)新，力圖從系統(tǒng)架構(gòu)層面幫助芯片廠商降低適配周期和研發(fā)成本，助力用戶更快速、更方便地使用多元AI算力。

浪潮信息做的首要工作是打造一款通用加速器基板UBB，能夠兼容多種OAM芯片，并在此基礎(chǔ)上研發(fā)計(jì)算系統(tǒng)。2019年，浪潮信息開發(fā)出了首個(gè)開放加速計(jì)算系統(tǒng)MX1。MX1采用高帶寬、雙供電等技術(shù)，21英寸系統(tǒng)可支持多種符合OAM規(guī)范的AI加速器，芯片互聯(lián)總帶寬達(dá)到224Gbps，并提供全互聯(lián)（Fully-connected）和混合立體互聯(lián)HCM（Hybrid Cube Mesh）兩種互聯(lián)拓?fù)?，方便用戶針對不同神?jīng)網(wǎng)絡(luò)模型，根據(jù)芯片通信的需求靈活設(shè)計(jì)芯片互聯(lián)方案。

MX1推出后，市場需求表明，多元芯片大規(guī)模落地需要整機(jī)服務(wù)器的支持，因此浪潮信息又投入力量進(jìn)行OAM服務(wù)器的研發(fā)。2021年，浪潮信息發(fā)布業(yè)界首款OAM服務(wù)器NF5498A5，在19英寸機(jī)箱中集成集成8顆OAM加速卡和2顆高性能CPU，卡間互連帶寬448 GB/s。2022年，推出液冷OAM服務(wù)器"錢塘江"，實(shí)現(xiàn)8顆OAM加速器和兩顆高功耗的CPU的液冷散熱，液冷散熱覆蓋率超過90%，基于"錢塘江"構(gòu)建的液冷OAM智算中心解決方案，千卡平臺穩(wěn)定運(yùn)行狀態(tài)下PUE值小于1.1。今年又發(fā)布了新一代開放加速AI服務(wù)器NF5698G7，支持8顆OAM高速互聯(lián)的Gaudi2加速器，基于全PCIe Gen5鏈路，H2D互聯(lián)能力提升4倍，提供強(qiáng)大的大模型訓(xùn)練和推理能力。

同時(shí)，針對多元芯片管理和調(diào)度難題，浪潮信息推出了AIStation人工智能平臺，可高效調(diào)度30多款A(yù)I芯片。通過適配浪潮信息提供的AI芯片算力接入規(guī)范，AI芯片即可快速接入AIStation平臺，幫助用戶降低多元AI芯片的使用和管理難度。

浪潮信息的多元AI算力產(chǎn)品方案得到了眾多用戶的認(rèn)可，已經(jīng)在多個(gè)智算中心應(yīng)用落地，成功支持GPT-2、源1.0及實(shí)驗(yàn)室自研蛋白質(zhì)結(jié)構(gòu)預(yù)測等多個(gè)超大規(guī)模巨量模型的高效訓(xùn)練，并部署了智能寫詩助手應(yīng)用，讓人們親身體驗(yàn)源1.0大模型的超強(qiáng)語言智能，加速生成式AI應(yīng)用落地。

面向全行業(yè)公布《指南》，以開放規(guī)范應(yīng)對生成式AI挑戰(zhàn)

基于豐富的多元算力產(chǎn)品研發(fā)和工程實(shí)踐經(jīng)驗(yàn)，浪潮信息于近期面向全行業(yè)公布了《開放加速規(guī)范AI服務(wù)器設(shè)計(jì)指南》，希望幫助業(yè)界高效開發(fā)符合開放加速規(guī)范的AI加速卡，并大幅縮短與AI服務(wù)器的適配周期，為用戶提供最佳匹配應(yīng)用場景的AI算力產(chǎn)品方案。

《指南》指出，開放加速規(guī)范AI服務(wù)器設(shè)計(jì)應(yīng)遵循四大設(shè)計(jì)原則，即應(yīng)用導(dǎo)向、多元開放、綠色高效、統(tǒng)籌設(shè)計(jì)。在此基礎(chǔ)上，應(yīng)采用多維協(xié)同設(shè)計(jì)、全面系統(tǒng)測試和性能測評調(diào)優(yōu)的設(shè)計(jì)方法。

具體而言，生成式AI計(jì)算系統(tǒng)是一體化高集成度算力集群?！吨改稀方o出了從節(jié)點(diǎn)到集群的軟硬全棧參考設(shè)計(jì)，指導(dǎo)系統(tǒng)廠商和芯片廠商在規(guī)劃初期做好全方位、多維度的協(xié)同，最大化減少定制開發(fā)內(nèi)容。

全面系統(tǒng)測試中，浪潮信息將在OAM領(lǐng)域創(chuàng)新實(shí)踐中遇到的問題，細(xì)化放入《指南》之中，從而增強(qiáng)新研發(fā)系統(tǒng)的穩(wěn)定性和可靠性?！吨改稀穼Y(jié)構(gòu)、散熱、壓力、穩(wěn)定性、軟件兼容性等方面的測試要點(diǎn)進(jìn)行了全面梳理，幫助用戶進(jìn)行更加全面、嚴(yán)苛的測試，最大程度降低系統(tǒng)生產(chǎn)、部署、運(yùn)行過程中的故障風(fēng)險(xiǎn)，提高系統(tǒng)穩(wěn)定性，減少斷點(diǎn)對訓(xùn)練持續(xù)性的影響。

生成式AI對計(jì)算系統(tǒng)的性能要求更高。浪潮信息將在全球權(quán)威AI基準(zhǔn)評測MLPerf等測試中問鼎冠軍的實(shí)戰(zhàn)測試優(yōu)化經(jīng)驗(yàn)，也呈現(xiàn)在了《指南》中?！吨改稀方o出了基礎(chǔ)性能、互連性能、模型性能測試的要點(diǎn)和指標(biāo)，并指出了針對大模型訓(xùn)練和推理性能調(diào)優(yōu)的要點(diǎn)，以確保開放加速規(guī)范AI服務(wù)器能夠有效支撐當(dāng)前主流大模型的創(chuàng)新應(yīng)用。

面對生成式AI帶來的算力挑戰(zhàn)，浪潮信息將秉持開放、開源的理念，攜手產(chǎn)業(yè)鏈上下游合作伙伴，加速推進(jìn)多元AI算力產(chǎn)品方案落地，助力用戶構(gòu)建高效穩(wěn)定的AI算力平臺，照亮生成式AI的前路，推動更多行業(yè)加速智慧轉(zhuǎn)型。