亞馬遜云科技成功助力TII訓(xùn)練400億參數(shù)規(guī)模的大語言模型Falcon 40B

北京——2023年6月7日– 亞馬遜云科技今日宣布，位于阿聯(lián)酋首都阿布扎比的全球領(lǐng)先科研中心TII(Technology Innovation Institute)在亞馬遜云科技上訓(xùn)練了其性能卓越的開源模型Falcon 40B。Falcon 40B是擁有400 億參數(shù)的大語言模型(LLM)，在Apache 2.0許可下提供，并在Hugging Face的開源大語言模型排行榜上位列榜首。該排行榜在多個基準(zhǔn)測試中跟蹤、排名和評估大語言模型，最終評選出最佳模型?？蛻衄F(xiàn)在可以將Falcon 40B部署在Amazon SageMaker JumpStart上，這是一個機器學(xué)習(xí)中心，提供預(yù)訓(xùn)練模型，使客戶無需從頭構(gòu)建自己的模型即可獲得Falcon 40B最先進(jìn)的準(zhǔn)確性和行業(yè)領(lǐng)先的性能。要開始使用Amazon SageMaker JumpStart，請訪問aws.amazon.com/sagemaker/jumpstart。

大語言模型是機器學(xué)習(xí)(ML)模型的一個分支，專注于語言領(lǐng)域，可以支持各類生成式AI應(yīng)用，包括文本處理、總結(jié)摘要和會話問答。雖然這些大語言模型具有改變行業(yè)的潛力，但構(gòu)建、訓(xùn)練和部署大語言模型可能需要數(shù)周甚至數(shù)月的時間，并耗資數(shù)千萬美元，這將許多公司拒之門外。為了在整個開發(fā)過程中實現(xiàn)更好的性能和成本效益，包括Stability AI、AI21 Labs、Hugging Face和LG AI在內(nèi)的眾多客戶使用亞馬遜云科技端到端的機器學(xué)習(xí)服務(wù)Amazon SageMaker來構(gòu)建、訓(xùn)練和部署他們的大語言模型。

這也正是TII使用Amazon SageMaker構(gòu)建其Falcon 40B模型的原因。得益于SageMaker是一項完全托管的服務(wù)，TII可以專注于開發(fā)自定義的訓(xùn)練機制和優(yōu)化功能，而無需管理其機器學(xué)習(xí)基礎(chǔ)設(shè)施。為了最大限度地降低訓(xùn)練成本并縮短上市時間，TII采取了多項優(yōu)化措施，包括編寫自定義矩陣乘法以加快訓(xùn)練速度。在整個訓(xùn)練過程中，亞馬遜云科技還與TII密切合作以利用SageMaker增強可用性，確保訓(xùn)練順利進(jìn)行，減少對開發(fā)人員的干擾。

TII于2023年5月在Apache 2.0許可下發(fā)布了其Falcon 40B模型。自發(fā)布以來，F(xiàn)alcon 40B 在各種基準(zhǔn)測試中的表現(xiàn)都優(yōu)于當(dāng)下的同類模型，展示了無需專門微調(diào)的卓越性能。為了讓客戶更輕松地訪問該模型，亞馬遜云科技讓Falcon 40B可以通過Amazon SageMaker Jumpstart部署?，F(xiàn)在，各個行業(yè)、各種規(guī)模的客戶都可以快速輕松地部署自己的Falcon 40B模型，并對其進(jìn)行定制以滿足他們的特定需求，如翻譯、問答、信息總結(jié)、圖像識別等應(yīng)用程序。

“Falcon 40B的開源版本使機構(gòu)能夠利用其卓越性能來推動AI賦能的解決方案的發(fā)展。這是我們致力于促進(jìn) AI 創(chuàng)新的重要里程碑，也體現(xiàn)阿聯(lián)酋深遠(yuǎn)的科學(xué)貢獻(xiàn)?！盩II跨AI研究中心執(zhí)行總監(jiān)兼LLM項目負(fù)責(zé)人表示，“通過將Falcon大語言模型開源，我們希望將這一先進(jìn)的技術(shù)能力普惠化，為全球研究人員和組織賦能。下一步，我們即將推出新模型，為人工智能和先進(jìn)技術(shù)領(lǐng)域的進(jìn)一步發(fā)展做出貢獻(xiàn)?！?