解鎖第五代英特爾至強(qiáng)的AI“秘籍”：CPU也能運(yùn)行大模型推理

ChatGPT引發(fā)的AI大模型概念已經(jīng)持續(xù)火爆一年，直至今日，AI的熱度不僅沒有下降，行業(yè)也迸發(fā)出越來越多具有顛覆性的應(yīng)用。2024年初以來，AI PC、AI手機(jī)、AI邊緣等產(chǎn)品相繼開售，過年期間，Sora又引發(fā)了大規(guī)模討論。

可以說，AI領(lǐng)域，永遠(yuǎn)都在革新。但隨著大模型對算力需求的高速增長，現(xiàn)階段生產(chǎn)的芯片很難滿足業(yè)界需求。

在AI熱潮之中，GPU、AISC等加速器是行業(yè)中的主角。而事實(shí)上，任何數(shù)據(jù)中心都無法脫離CPU，比喻起來就是魚和水的關(guān)系。去年12月，英特爾第五代至強(qiáng)可擴(kuò)展處理器(代號為Emerald Rapids)正式面世，它有著許多令人驚喜的AI秘籍。

做AI，只有一個(gè)選擇?

眾所周知，面對大模型這一新風(fēng)口，全球科技公司均將目光投向了AI芯片，特別是GPU。但GPU的產(chǎn)量與HBM，或者說2.5D封裝能力直接掛鉤。這讓本就供應(yīng)吃緊的GPU再遇瓶頸，導(dǎo)致供需嚴(yán)重失衡。

與之相悖的是，眼下AI大模型“拼殺”的關(guān)鍵在于做大參數(shù)量，用“力大磚飛”實(shí)現(xiàn)更為強(qiáng)大的智能涌現(xiàn)?？梢哉f，即便是面對AI芯片漲價(jià)，多少公司也會(huì)選擇購買，畢竟錯(cuò)過這個(gè)風(fēng)口，或許就會(huì)失去競爭力。

對于大型數(shù)據(jù)中心來說，每顆芯片都在牟足力氣，全功率地運(yùn)行著，如果能擁有更多AI性能，那么，還需要額外購置一批GPU嗎?

事實(shí)上，我們都陷入了一種思維定勢，其實(shí)跑AI并非只有GPU一個(gè)選擇，CPU也已經(jīng)具備很強(qiáng)大了AI性能。

亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺(tái)，實(shí)現(xiàn)從FP32到INT8/BF16的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。將人工成本降至原來的五分之一到九分之一，效率還提升5～10倍。

被改變的，不只是互聯(lián)網(wǎng)和通信領(lǐng)域，AI制藥被看作是終結(jié)藥物研發(fā)“雙十定律”的希望，在這個(gè)領(lǐng)域中AlphaFold2 這類大型模型被視為最重要的算法。去年開始，至強(qiáng)可擴(kuò)展平臺(tái)就開始使AlphaFold2端到端的通量提升到了原來的23.11倍，而第四代可擴(kuò)展處理器讓這個(gè)數(shù)值再次提升3.02倍。

可以說，將CPU用于AI推理正在不斷證實(shí)可行。而現(xiàn)在，第五代至強(qiáng)可擴(kuò)展處理器能夠在無需添加獨(dú)立加速器的前提下，運(yùn)行高達(dá)200億參數(shù)的模型推理，且延遲低于100毫秒。一款為AI加速而生，且表現(xiàn)更強(qiáng)的處理器誕生了。

CPU，怎么讓AI跑起來

很多人會(huì)奇怪，為什么第五代至強(qiáng)作為一個(gè)通用處理器，能夠運(yùn)行AI負(fù)載?事實(shí)上，除了本身落在第五代至強(qiáng)的AI負(fù)載，其中內(nèi)置的一系列的加速器是關(guān)鍵。

這種設(shè)計(jì)可以與時(shí)下MCU(單片機(jī))的流行做法進(jìn)行對比，通過內(nèi)置DSP、NPU，分走一部分部分AI負(fù)載，讓AI任務(wù)跑得更高效，從而更省電，至強(qiáng)也是類似的原理。

這種設(shè)計(jì)在早期的至強(qiáng)可擴(kuò)展處理器中就出現(xiàn)過，只不過，那時(shí)候大家沒有過多關(guān)注，也沒有那么AI任務(wù)需要跑。

具體看第五代至強(qiáng)，其內(nèi)置的英特爾AVX-512及英特爾? AMX(英特爾?高級矩陣擴(kuò)展)功能是關(guān)鍵，這兩個(gè)加速器在第四代至強(qiáng)中就已搭載，而在第五代至強(qiáng)中，AMX支持新的FP16指令，同時(shí)混合AI工作負(fù)載性能提高2～3倍。

加之第五代至強(qiáng)本身性能的提升，使其本身性能就能更從容應(yīng)對AI負(fù)載：CPU核心數(shù)量增加到64個(gè)，單核性能更高，每個(gè)內(nèi)核都具備AI加速功能;采用全新I/O技術(shù)(CXL、PCIe5)，UPI速度提升。

根據(jù)行業(yè)人士分析，CPU做大模型推理，最大的難點(diǎn)不在計(jì)算能力，而在內(nèi)存帶寬。第五代至強(qiáng)的內(nèi)存帶寬從4800 MT/s提高至5600 MT/s，三級緩存容量提升至近3倍之多，同時(shí)插槽可擴(kuò)展性，支持從一個(gè)插槽擴(kuò)展至八個(gè)插槽，這些都為第五代至強(qiáng)支持大模型提供了堅(jiān)實(shí)的后盾。

從數(shù)據(jù)上來看，與上一代產(chǎn)品相比，第五代至強(qiáng)相同熱設(shè)計(jì)功耗下平均性能提升21%;與第三代產(chǎn)品比，平均性能提升87%。相較于前一代產(chǎn)品，第五代至強(qiáng)不僅迭代了性能，還帶來了42%的AI推理性能提升。

此外，在一系列加速器中，英特爾?可信域拓展(英特爾? TDX)提供虛擬機(jī)(VM)層面的隔離和保密性，從而增強(qiáng)隱私性和對數(shù)據(jù)的管理。

不止如此，第五代至強(qiáng)還是迄今為止推出的最“綠色”的至強(qiáng)處理器，它能夠幫助用戶管理能耗，降低碳足跡?？梢哉f，軟件只是一方面，歸功于第五代至強(qiáng)內(nèi)的多種創(chuàng)新技術(shù)和功能，搭配干活，效率更高，最終體現(xiàn)出來的就是更低的功耗。

CPU未來發(fā)展趨勢，一定是拼功耗，這需要全方位發(fā)力。首先是工藝，隨著工藝逐漸提升到Intel 3、Intel 20A、Intel 18A，功耗會(huì)越來越低，每一代都會(huì)有兩位數(shù)的功耗降低。封裝也一樣，使用先進(jìn)的封裝技術(shù)把不同制程的芯片通過Chiplet架構(gòu)放在一起，進(jìn)行一個(gè)運(yùn)算，并不需要把所有地方都用起來，而是只使用對應(yīng)的區(qū)域，這樣功耗自然就降低了。還有，就是針對不同的工作負(fù)載做優(yōu)化。

有時(shí)候調(diào)整應(yīng)用程序的架構(gòu)也可以最大限度地降低功耗。舉例來說，如果要訓(xùn)練大模型，假設(shè)總共有20個(gè)大模型，每個(gè)模型的訓(xùn)練周期為3個(gè)月，需要1000臺(tái)機(jī)器來訓(xùn)練，每臺(tái)機(jī)器功率為1萬瓦。如果規(guī)定只需訓(xùn)練其中的5個(gè)模型，而剩下的15個(gè)模型不需要訓(xùn)練，這樣就能節(jié)省75%的電能。因此，有時(shí)候通過調(diào)整應(yīng)用程序的架構(gòu)，可以更有效地降低功耗。

“隨著算力的持續(xù)高速發(fā)展，如何實(shí)現(xiàn)數(shù)據(jù)中心的節(jié)能減碳，改變‘電老虎’的形象，對尋求采用可再生能源和更環(huán)保的技術(shù)方面有了更高的需求?！庇⑻貭枖?shù)據(jù)中心與人工智能集團(tuán)副總裁兼中國區(qū)總經(jīng)理陳葆立對AI大模型時(shí)代提出了這樣的擔(dān)憂，第五代至強(qiáng)就是節(jié)能減碳的關(guān)鍵。

與此同時(shí)，英特爾也有一系列的產(chǎn)品和技術(shù)創(chuàng)新，如通過更高效的冷卻技術(shù)、智能能源管理系統(tǒng)等推動(dòng)新型和存量數(shù)據(jù)中心進(jìn)行節(jié)能減排，并攜手中國合作伙伴推動(dòng)應(yīng)用落地。

英特爾如何支撐起AI開發(fā)

GPU的發(fā)展，軟件生態(tài)也起到了至關(guān)重要的作用，比如行業(yè)無人不知的CUDA。對英特爾來說，軟件一直以來都是強(qiáng)項(xiàng)，與此同時(shí)，英特爾發(fā)力軟件堆棧，不斷加大投資，這為第五代至強(qiáng)在AI方面的發(fā)展帶來了巨大的天然優(yōu)勢。

英特爾一直以來，都比較強(qiáng)調(diào)統(tǒng)一性和易用性，在AI方面亦如如此。開發(fā)者可以通過利用OpenVINO，實(shí)現(xiàn)“一次編寫，隨處部署”的愿景。英特爾開發(fā)的基礎(chǔ)軟件和數(shù)據(jù)庫通過Pytorch和ONNX Runtime等流行框架支持自身的 CPU、GPU、IPU和AI加速器。

此外，英特爾還提供了PyTorch和TensorFlow的庫擴(kuò)展，這將有助于開發(fā)者使用默認(rèn)安裝運(yùn)行這些擴(kuò)展以獲得最新的軟件加速。這意味著，用戶既可以繼續(xù)使用PyTorch或TensorFlow，也可以利用OpenVINO進(jìn)行開發(fā)，掌握不同語言的開發(fā)者都能在同樣一個(gè)平臺(tái)下開發(fā)。

值得一提的是，OpenVINO 2023.1版本正在加速英特爾追求的“任何硬件、任何模型、任何地方”的目標(biāo)實(shí)現(xiàn)，即逐步擴(kuò)展OpenVINO成為跨客戶端與邊緣端的、針對推理與部署運(yùn)行AI模型的完整軟件環(huán)境。

“我認(rèn)為ChatGPT技術(shù)不僅僅是關(guān)于人類語言、英語語言，還有編程語言。因此，可以實(shí)現(xiàn)生產(chǎn)力的提高。你可以從ChatGPT和其他類似的技術(shù)中生成自動(dòng)代碼審查。我認(rèn)為這里有許多機(jī)會(huì)，但我認(rèn)為它存在于行業(yè)領(lǐng)先公司正在使用的Python編程模型中。它不是剛剛興起的，已經(jīng)出現(xiàn)了一段時(shí)間，我們極客稱為SMLAR技術(shù)。”英特爾專家曾經(jīng)這樣分享道。

簡單解釋，就是“雞生蛋、蛋生雞”的關(guān)系，也就是說，未來AI大模型還會(huì)用在開發(fā)AI大模型上。現(xiàn)在CUDA就已經(jīng)開始有了這樣的動(dòng)作，英特爾也正蓄勢待發(fā)。

在2月末剛剛結(jié)束的MWC2024上，英特爾展示了最多具備288個(gè)核心的能效核(E-core)處理器Sierra Forest，性能核(P-core)處理器Granite Rapids 也正蓄勢待發(fā)?？梢哉f，未來在AI推理領(lǐng)域，至強(qiáng)還會(huì)更強(qiáng)。