英特爾軟硬協(xié)同，優(yōu)化阿里云通義千問2 AI模型

時間：2024-06-11 17:33:36

關鍵字： AI模型數(shù)據(jù)中心

手機看文章

掃描二維碼
隨時隨地手機看文章

[導讀]一直以來，英特爾致力于與行業(yè)領先、創(chuàng)新的生態(tài)伙伴開展合作，并針對AI模型進行優(yōu)化。近日，英特爾宣布其數(shù)據(jù)中心、客戶端和邊緣的AI解決方案為阿里云通義千問2(Qwen2)的全球發(fā)布提供支持。

一直以來，英特爾致力于與行業(yè)領先、創(chuàng)新的生態(tài)伙伴開展合作，并針對AI模型進行優(yōu)化。近日，英特爾宣布其數(shù)據(jù)中心、客戶端和邊緣的AI解決方案為阿里云通義千問2(Qwen2)的全球發(fā)布提供支持。

英特爾公司副總裁兼數(shù)據(jù)中心與人工智能軟件總經理Pallavi Mahajan和英特爾數(shù)據(jù)中心與人工智能集團副總裁兼中國區(qū)總經理陳葆立表示，在阿里云推出通義千問2大模型的當日，英特爾即為客戶和開發(fā)人員提供了針對該AI模型和軟件而優(yōu)化的AI解決方案。

軟件優(yōu)化

為了最大限度地提升諸如阿里云通義千問2的大模型效率，全面的軟件優(yōu)化非常重要，其中包括從高性能融合算子到平衡精度和速度的先進量化技術。此外，英特爾還采用KV Caching、PagedAttention機制和張量并行來提高推理效率。英特爾的硬件可利用軟件框架和工具包進行加速，并獲得出色的大模型推理性能，其中包括PyTorch和英特爾® PyTorch擴展包、OpenVINO?工具包、DeepSpeed、Hugging Face庫和vLLM。

英特爾與阿里云在數(shù)據(jù)中心、客戶端以及邊緣平臺上的AI軟件優(yōu)化，有助于構建一個創(chuàng)新的生態(tài)環(huán)境，且截至目前，已取得了包括ModelScope、阿里云PAI、OpenVINO等在內的諸多創(chuàng)新成果。得益于此，阿里云AI模型可在多樣化的計算環(huán)境中進行優(yōu)化。

測試結果：英特爾® Gaudi AI加速器

英特爾Gaudi AI加速器專為生成式AI以及大模型的高性能加速而設計。使用最新版本的英特爾Gaudi Optimum，可以輕松部署新型號的大模型。在英特爾Gaudi 2上對70億參數(shù)和720億參數(shù)的通義千問2模型的推理和微調吞吐量進行了基準測試，以下為詳細性能指標和測試結果。

表1. 70億參數(shù)的通義千問2在單顆英特爾Gaudi 2加速器上的推理

表2. 720億參數(shù)的通義千問2在8顆英特爾Gaudi 2加速器上的推理

表3. 通義千問2 FP8在英特爾Gaudi 2加速器上的推理

表4. 通義千問2在英特爾Gaudi 2加速器上的微調

測試結果：英特爾®至強®處理器

英特爾®至強®處理器作為通用計算的基石，為全球范圍內的用戶提供強大的算力。英特爾至強處理器具有廣泛可用性，適用于各個規(guī)模的數(shù)據(jù)中心，這使其成為那些希望能夠快速部署AI解決方案，又無需配備專項基礎設施企業(yè)的理想選擇。英特爾至強處理器的每個核心均內置了英特爾®高級矩陣擴展(英特爾AMX)，可處理多樣化的AI工作負載并加速AI推理。下圖展現(xiàn)了英特爾至強處理器所提供的延遲性能可滿足多種用例。

圖1. 在基于第五代英特爾®至強®可擴展處理器的阿里云ecs.ebmg8i.48xlarge實例上，通義千問2的下一個推理token延遲

AI PC

由最新英特爾®酷睿? Ultra處理器和英特爾銳炫?顯卡驅動的AI PC讓AI的力量觸及客戶端和邊緣，使開發(fā)者在本地也能部署大模型。AI PC配備了專門的AI硬件，如神經處理單元和內置的英特爾銳炫?顯卡，或配備了英特爾® Xe Matrix Extensions加速的英特爾銳炫?A系列顯卡，以處理高需求的邊緣AI任務。這種本地處理能力可實現(xiàn)個性化的AI體驗，增強隱私性，并提供快速響應時間，這對于交互式應用程序至關重要。

以下展示了15億參數(shù)的通義千問2，在基于英特爾®酷睿?Ultra的AI PC上運行時所展現(xiàn)的強大性能。