20分鐘上線200節(jié)點(diǎn)!元腦服務(wù)器操作系統(tǒng)KOS AI定制版為大模型部署提速
掃描二維碼
隨時(shí)隨地手機(jī)看文章
北京2024年10月29日 /美通社/ -- 當(dāng)前,隨著生成式人工智能和各行業(yè)的應(yīng)用快速融合,大模型在企業(yè)端被越來(lái)越多的采用,以提高效率、降低成本、增強(qiáng)創(chuàng)新能力。大模型開(kāi)發(fā)首先要解決的,便是訓(xùn)練環(huán)境的搭建問(wèn)題,在算力多元異構(gòu)、依賴庫(kù)眾多、配置步驟繁瑣的情況下,如何快速搭建滿足要求的訓(xùn)練環(huán)境,為底層算力平臺(tái)匹配最佳驅(qū)動(dòng),避免依賴庫(kù)及配置龐雜導(dǎo)致訓(xùn)練環(huán)境魯棒性低的問(wèn)題,成為各類大模型開(kāi)發(fā)企業(yè)需要面對(duì)的挑戰(zhàn)。
為此,浪潮信息推出「元腦服務(wù)器操作系統(tǒng)KOS Al定制版」(簡(jiǎn)稱KOS Al定制版),通過(guò)簡(jiǎn)單2步即可實(shí)現(xiàn)大模型訓(xùn)練環(huán)境部署,以搭建200節(jié)點(diǎn)訓(xùn)練環(huán)境為例,過(guò)往需要數(shù)天時(shí)間才能完成,通過(guò)KOS AI定制版20分鐘即可完成上線可用,極大提升了大模型開(kāi)發(fā)部署效率。
大模型訓(xùn)練環(huán)境復(fù)雜 面臨兼容適配等多項(xiàng)挑戰(zhàn)
當(dāng)前階段,大模型的發(fā)展仍然遵循Scaling Law,不斷增加的參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)量以及計(jì)算資源,也讓大模型的部署環(huán)境變得十分復(fù)雜。大模型部署是一個(gè)系統(tǒng)性的問(wèn)題,涉及到算力設(shè)備兼容、依賴庫(kù)配置、繁瑣的安裝步驟等等多個(gè)方面。
- 在硬件方面,算力設(shè)備的多樣性增加了兼容適配復(fù)雜性。在大模型訓(xùn)練環(huán)境中,集成了多種類型和規(guī)格的算力設(shè)備,如不同型號(hào)的GPU、高速互連網(wǎng)絡(luò)、高性能分布式存儲(chǔ)等。這些設(shè)備在硬件架構(gòu)、指令集和接口標(biāo)準(zhǔn)上存在差異,導(dǎo)致與操作系統(tǒng)、應(yīng)用軟件以及其他硬件設(shè)備的兼容適配變得極為復(fù)雜,同時(shí)驅(qū)動(dòng)和應(yīng)用軟件選型不當(dāng)將影響算力輸出效率。
- 在軟件方面,依賴庫(kù)及配置的龐雜性對(duì)訓(xùn)練環(huán)境的魯棒性構(gòu)成威脅。大模型訓(xùn)練依賴大量的軟件庫(kù)、框架和配置參數(shù),這些依賴項(xiàng)之間存在著復(fù)雜的依賴關(guān)系和嚴(yán)格的版本兼容性要求。一旦某個(gè)依賴項(xiàng)出現(xiàn)問(wèn)題,如版本不匹配、配置錯(cuò)誤或缺失,都可能導(dǎo)致訓(xùn)練環(huán)境崩潰或性能急劇下降。
- 在部署方面,大模型訓(xùn)練環(huán)境搭建流程比較繁瑣。算力支持層面,在確定GPU、網(wǎng)卡等硬件設(shè)備基礎(chǔ)上,需要安裝操作系統(tǒng)、下載硬件驅(qū)動(dòng)并對(duì)驅(qū)動(dòng)進(jìn)行編譯;應(yīng)用軟件方面,下載安裝CUDA、Cudnn、DCGM等AI軟件棧,以及相關(guān)管理和監(jiān)控軟件。最后,還要運(yùn)行相關(guān)Benchmark對(duì)系統(tǒng)進(jìn)行性能摸底。
KOS Al定制版 "2步"搞定大模型訓(xùn)練環(huán)境部署
針對(duì)用戶在大模型部署中遇到的困難,浪潮信息推出KOS Al定制版,實(shí)現(xiàn)了覆蓋驅(qū)動(dòng)和應(yīng)用軟件編譯、鏡像文件構(gòu)建、系統(tǒng)發(fā)布與部署的鏡像開(kāi)發(fā)全流程創(chuàng)新, 解決了部署大模型訓(xùn)練環(huán)境中遇到的硬件兼容適配、依賴項(xiàng)龐雜及安裝部署流程繁瑣等問(wèn)題,讓大模型部署化繁為簡(jiǎn)。
針對(duì)硬件兼容適配挑戰(zhàn),浪潮信息KOS技術(shù)團(tuán)隊(duì)?wèi){借深厚的技術(shù)沉淀和經(jīng)驗(yàn)積累,遴選出十余款GPU和infiniband卡的最佳驅(qū)動(dòng),驗(yàn)證不同硬件環(huán)境下的軟件兼容性,優(yōu)化BIOS、底層驅(qū)動(dòng)、文件系統(tǒng)和網(wǎng)絡(luò)等多項(xiàng)指標(biāo),實(shí)現(xiàn)平臺(tái)資源利用效率最大化。目前KOS已經(jīng)與1200+硬件板卡、250+服務(wù)器整機(jī)、400+數(shù)據(jù)庫(kù)中間件完成兼容性認(rèn)證。
面對(duì)軟件依賴庫(kù)龐雜的問(wèn)題,KOS Al定制版對(duì)鏡像構(gòu)建過(guò)程中的軟件包安裝列表進(jìn)行了擴(kuò)展,并優(yōu)化了軟件包的集成范圍和安裝順序,解決軟件安裝依賴問(wèn)題,確保在集成大量軟件的情況下,操作系統(tǒng)能夠順利完成安裝,且保證系統(tǒng)安裝完成后,驅(qū)動(dòng)和應(yīng)用軟件能夠正常進(jìn)行編譯和安裝。同時(shí),面對(duì)AI大模型訓(xùn)練過(guò)程中某些應(yīng)用軟件體積龐大,無(wú)法直接構(gòu)建為rpm包集成至鏡像的挑戰(zhàn),采用"軟件切割與再聚合"技術(shù),將超大型軟件包進(jìn)行分割,并在聚合后校驗(yàn)其哈希值,以確保軟件的一致性,從而有效解決了超大軟件集成難題,實(shí)現(xiàn)了超大應(yīng)用軟件的自動(dòng)化安裝。
大模型部署的關(guān)鍵是單節(jié)點(diǎn)環(huán)境配置。在簡(jiǎn)化發(fā)布與部署方面,為了解決大模型訓(xùn)練集群?jiǎn)喂?jié)點(diǎn)環(huán)境配置復(fù)雜的問(wèn)題,KOS技術(shù)團(tuán)隊(duì)開(kāi)發(fā)了一套環(huán)境配置自動(dòng)化部署腳本。該腳本能夠智能檢測(cè)操作系統(tǒng)的啟動(dòng)狀態(tài),只在系統(tǒng)安裝完成后的首次重啟時(shí)自動(dòng)運(yùn)行,確保在不同節(jié)點(diǎn)上快速部署大模型運(yùn)行環(huán)境。在此之后的系統(tǒng)啟動(dòng)中,該腳本將不再執(zhí)行,從而實(shí)現(xiàn)集群環(huán)境中單節(jié)點(diǎn)環(huán)境的自動(dòng)部署。
用戶依托KOS AI定制版,僅需2步即可實(shí)現(xiàn)大模型訓(xùn)練環(huán)境快速部署。
步驟1:利用PXE實(shí)現(xiàn)自動(dòng)化系統(tǒng)部署
KOS AI定制版集成了大模型訓(xùn)練環(huán)境部署所需的驅(qū)動(dòng)、應(yīng)用軟件和依賴庫(kù)等,用戶只需要把該定制版鏡像當(dāng)作普通鏡像一樣進(jìn)行自動(dòng)化部署,通過(guò)PXE方式實(shí)現(xiàn)操作系統(tǒng)自動(dòng)化安裝。
步驟2:正常開(kāi)機(jī)啟動(dòng),完成環(huán)境部署
定制版鏡像安裝完成后,通過(guò)管理節(jié)點(diǎn)向計(jì)算節(jié)點(diǎn)下發(fā)重啟指令,計(jì)算節(jié)點(diǎn)重啟后,大模型訓(xùn)練環(huán)境部署即可完成。
面對(duì)操作系統(tǒng)與AI結(jié)合的趨勢(shì),KOS定位智算時(shí)代最A(yù)I的操作系統(tǒng),全面優(yōu)先擁抱AI,深度融合AI能力。KOS Al定制版簡(jiǎn)化了大模型部署流程,通過(guò)Al定制版部署大模型訓(xùn)練環(huán)境具有簡(jiǎn)單高效、廣泛兼容和運(yùn)行穩(wěn)定等特點(diǎn),大幅降低了用戶開(kāi)發(fā)大模型的技術(shù)門檻。