亞馬遜云科技宣布Amazon Trainium2實(shí)例正式可用，并推出新一代AI訓(xùn)練芯片Amazon Trainium3

北京——2024年12月5日 亞馬遜云科技在2024 re:Invent全球大會(huì)上，宣布基于Amazon Trainium2的Amazon Elastic Compute Cloud（Amazon EC2）Trn2實(shí)例正式可用，并推出全新的Amazon EC2 Trn2 UltraServers，讓用戶以優(yōu)越的性價(jià)比訓(xùn)練和部署最新的人工智能模型，以及未來(lái)的大語(yǔ)言模型（LLM）和基礎(chǔ)模型（FM）。此外，亞馬遜云科技還發(fā)布了新一代Amazon Trainium3芯片。

Amazon Trainium2芯片

Amazon EC2 Trn2 UltraServers

Amazon EC2 Trn2 實(shí)例服務(wù)器模塊

與當(dāng)前基于GPU的EC2 P5e和P5en實(shí)例相比，Amazon EC2 Trn2實(shí)例的性價(jià)比提升30-40%。它配備16個(gè)Trainium2芯片，可提供高達(dá)20.8 Petaflops浮點(diǎn)算力的性能，非常適合訓(xùn)練和部署具有數(shù)十億參數(shù)的大型語(yǔ)言模型（LLMs）。

全新推出的Amazon EC2 Trn2 UltraServers服務(wù)器機(jī)型配備64個(gè)相互連接的Trainium2芯片，采用NeuronLink超速互連技術(shù)，可提供高達(dá)83.2Petaflops浮點(diǎn)算力，其計(jì)算、內(nèi)存和網(wǎng)絡(luò)能力是單一實(shí)例的四倍，能夠支持訓(xùn)練和部署超大規(guī)模的模型。

亞馬遜云科技攜手Anthropic正打造名為Project Rainier的EC2 UltraCluster，其包含數(shù)十萬(wàn)顆Trainium2 芯片，所達(dá)到的超級(jí)算力比他們當(dāng)前一代領(lǐng)先AI模型訓(xùn)練所需算力高出5倍以上。

亞馬遜云科技推出了新一代AI芯片Trainium3，幫助客戶更快速地構(gòu)建更大規(guī)模的模型，并在部署時(shí)提供更優(yōu)的實(shí)時(shí)性能。

亞馬遜云科技計(jì)算和網(wǎng)絡(luò)副總裁 David Brown表示：“Amazon Trainium2是專為支持大型、前沿的生成式AI工作負(fù)載而設(shè)計(jì)的，能夠滿足訓(xùn)練和推理的需求，并在亞馬遜云科技上提供卓越的性價(jià)比。隨著模型參數(shù)接近萬(wàn)億，我們意識(shí)到客戶需要一種創(chuàng)新的方法來(lái)高效訓(xùn)練和運(yùn)行規(guī)模龐大的工作負(fù)載。在亞馬遜云科技上，全新的Amazon EC2Trn2UltraServers提供超快速的訓(xùn)練和推理性能，幫助各類企業(yè)以更快的速度和更低的成本訓(xùn)練和部署世界上最大的模型。”

隨著模型規(guī)模的不斷擴(kuò)大，客戶希望縮短訓(xùn)練時(shí)間和推理延遲，這對(duì)計(jì)算和網(wǎng)絡(luò)基礎(chǔ)設(shè)施提出了更高的要求。亞馬遜云科技已提供廣泛的Amazon EC2加速實(shí)例選擇，包括基于GPU和機(jī)器學(xué)習(xí)芯片的實(shí)例。然而，即使是目前最快的加速實(shí)例，客戶仍希望實(shí)現(xiàn)更高的性能和更大的可擴(kuò)展性，以更低的成本更快地訓(xùn)練這些日益復(fù)雜的模型。隨著模型復(fù)雜性和數(shù)據(jù)量的增加，因?yàn)椴⑿谢南拗?，單純擴(kuò)大集群規(guī)模已無(wú)法有效縮短訓(xùn)練時(shí)間。同時(shí)，實(shí)時(shí)推理的需求也超出了單實(shí)例架構(gòu)的承載能力。

Amazon EC2 Trn2實(shí)例為深度學(xué)習(xí)和生成式AI提供卓越性能

與當(dāng)前基于GPU的EC2實(shí)例相比，Amazon EC2 Trn2的性價(jià)比提升30%至40%。單個(gè)Trn2實(shí)例集成了16個(gè)Trainium2 芯片，通過(guò)NeuronLink超速高帶寬、低延遲的芯片之間的互聯(lián)，可提供高達(dá)20.8 Petaflops浮點(diǎn)算力，非常適合訓(xùn)練和部署數(shù)十億參數(shù)的模型。

Amazon EC2 Trn2 UltraServers滿足全球超大模型日益增長(zhǎng)的AI計(jì)算需求

對(duì)于需要更強(qiáng)算力的超大模型，Amazon EC2Trn2 UltraServers使客戶能夠突破單個(gè)Trn2實(shí)例的限制進(jìn)行擴(kuò)展，從而減少訓(xùn)練時(shí)間，加快投放市場(chǎng)的速度，實(shí)現(xiàn)快速迭代以提高模型準(zhǔn)確性。作為全新的EC2產(chǎn)品，Trn2 UltraServers利用NeuronLink超速互聯(lián)將四個(gè)Trn2服務(wù)器連接為一個(gè)巨型服務(wù)器?？蛻敉ㄟ^(guò)全新Trn2UltraServers，可以在64個(gè)Trainium2芯片上擴(kuò)展他們的生成式AI工作負(fù)載。在推理工作負(fù)載方面，客戶可以使用Trn2 UltraServers提升生產(chǎn)環(huán)境中萬(wàn)億參數(shù)模型的實(shí)時(shí)推理性能。亞馬遜云科技正在與Anthropic共同構(gòu)建一個(gè)名為Project Rainier的 EC2 UltraCluster計(jì)算集群，該集群由Trn2 UltraServers組成，能夠在數(shù)十萬(wàn)個(gè)Trainium2芯片之間通過(guò)第三代低延遲的PB級(jí)EFA網(wǎng)絡(luò)進(jìn)行分布式模型訓(xùn)練——其運(yùn)算能力比Anthropic當(dāng)前一代領(lǐng)先AI模型訓(xùn)練所需算力高出5倍以上。該項(xiàng)目完成后，預(yù)計(jì)將成為全球最大可用的AI計(jì)算集群，供Anthropic構(gòu)建和部署未來(lái)模型使用。

Anthropic專注于AI安全和研究，致力于打造可靠、可解釋和可控的AI系統(tǒng)。Anthropic的旗艦產(chǎn)品Claude是全球數(shù)百萬(wàn)用戶信賴的大型語(yǔ)言模型。作為Anthropic與亞馬遜云科技深化合作的一部分，Anthropic已開始優(yōu)化Claude模型，以便在亞馬遜最先進(jìn)的AI硬件Trainium2上運(yùn)行。Anthropic將使用數(shù)十萬(wàn)個(gè)Trainium2芯片，該規(guī)模是其之前集群的五倍以上，為使用Amazon Bedrock上的Claude 客戶提供卓越的性能表現(xiàn)。

Databricks Mosaic AI使企業(yè)能夠構(gòu)建和部署高質(zhì)量的智能體系統(tǒng)。該系統(tǒng)基于數(shù)據(jù)湖倉(cāng)原生架構(gòu)，用戶可以輕松、安全地使用企業(yè)數(shù)據(jù)定制模型，從而提供更準(zhǔn)確和特定領(lǐng)域的輸出。得益于Trainium的高性能和成本效益，客戶能夠以較低的成本在Mosaic AI上擴(kuò)展模型訓(xùn)練。隨著全球客戶對(duì)Mosaic AI需求的不斷增長(zhǎng)，Trainium2的推出將為Databricks及其客戶帶來(lái)重大優(yōu)勢(shì)。作為全球最大的數(shù)據(jù)和AI公司之一，Databricks計(jì)劃使用Trainium2為客戶提供更優(yōu)的性能，并將總體擁有成本降低多達(dá)30%。

Hugging Face是全球領(lǐng)先的AI開發(fā)者開源平臺(tái)，擁有超過(guò)200萬(wàn)個(gè)模型、數(shù)據(jù)集和AI應(yīng)用，其用戶社區(qū)涵蓋了超過(guò)500萬(wàn)名研究人員、數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)工程師和軟件開發(fā)者。在過(guò)去幾年中，Hugging Face與亞馬遜云科技合作，幫助開發(fā)者通過(guò)Optimum Neuron開源庫(kù)體驗(yàn)Amazon Inferentia和Amazon Trainium的性能與成本優(yōu)勢(shì)。該庫(kù)已集成到Hugging Face Inference Endpoints中，并在新的HUGS自部署服務(wù)中進(jìn)行了優(yōu)化，用戶可以在亞馬遜云科技Marketplace獲取。隨著Trainium2的發(fā)布，Hugging Face用戶將享受更高的性能，從而更快地開發(fā)和部署模型。

poolside致力于構(gòu)建一個(gè)由AI驅(qū)動(dòng)的世界，以推動(dòng)有經(jīng)濟(jì)價(jià)值的工作和科學(xué)進(jìn)步。他們相信，軟件開發(fā)將成為神經(jīng)網(wǎng)絡(luò)中第一個(gè)達(dá)到人類智慧水平的重要能力。為此，poolside正在打造基礎(chǔ)模型（FMs）、API和助手應(yīng)用，以將生成式AI的優(yōu)勢(shì)帶給開發(fā)者。而為了實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵就在于他們構(gòu)建和運(yùn)行產(chǎn)品所用的基礎(chǔ)設(shè)施。借助Amazon Trainium2，poolside的客戶將獲得優(yōu)于其他AI加速器的性價(jià)比擴(kuò)展其服務(wù)。此外，Poolside計(jì)劃利用Amazon EC2 Trainium2 UltraServers訓(xùn)練未來(lái)的模型，這將比使用Amazon EC2 P5實(shí)例預(yù)計(jì)可節(jié)省40%的成本。

Amazon Trainium3芯片，專為新一代前沿生成式AI工作負(fù)載的高性能需求而設(shè)計(jì)

亞馬遜云科技發(fā)布了新一代AI訓(xùn)練芯片Amazon Trainium3。Trainium3是亞馬遜云科技首款采用3納米工藝制造的芯片，在性能、能效和密度上樹立了新標(biāo)桿。搭載Trainium3的UltraServers性能預(yù)計(jì)將是Trn2 UltraServers的4倍，使客戶在構(gòu)建模型時(shí)能夠更快迭代，并在部署時(shí)提供卓越的實(shí)時(shí)性能。首批基于Trainium3的實(shí)例預(yù)計(jì)將在2025年末上線。

Amazon Neuron Software助力客戶充分發(fā)揮Trainium2性能

Amazon Neuron SDK包括編譯器、運(yùn)行時(shí)庫(kù)和工具，幫助開發(fā)者優(yōu)化模型以在Trainium上運(yùn)行。它讓開發(fā)者具有在Trainium芯片上優(yōu)化模型以獲得最佳性能的能力。它與JAX和PyTorch等熱門框架原生集成，使客戶在Trainium上使用現(xiàn)有代碼和工作流時(shí)只需進(jìn)行少量代碼修改。同時(shí)，Neuron支持Hugging Face模型庫(kù)中的超過(guò)10萬(wàn)個(gè)模型。通過(guò)Neuron Kernel Interface（NKI），開發(fā)者可以直接訪問(wèn)裸機(jī)的Trainium芯片，編寫計(jì)算內(nèi)核以最大限度地提升計(jì)算密集型工作負(fù)載的性能。

Amazon Neuron旨在簡(jiǎn)化使用JAX等流行框架在Trainium2上訓(xùn)練和部署模型，同時(shí)盡量減少代碼更改和對(duì)特定供應(yīng)商解決方案的依賴。谷歌支持亞馬遜云科技通過(guò)其原生的OpenXLA集成，使客戶能夠使用JAX進(jìn)行大規(guī)模訓(xùn)練和推理，提供簡(jiǎn)單靈活的編碼路徑，幫助用戶快速上手Trn2實(shí)例。隨著行業(yè)內(nèi)廣泛的開源協(xié)作，以及Trainium2的推出，谷歌預(yù)計(jì)JAX在機(jī)器學(xué)習(xí)社區(qū)的應(yīng)用將顯著增加，這將成為整個(gè)機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)的重要里程碑。

目前，Amazon EC2 Trn2實(shí)例在美國(guó)東部（俄亥俄）區(qū)域已正式可用，其他區(qū)域也即將推出。Amazon EC2 Trn2 UltraServers目前預(yù)覽可用。