微軟為降低生成式人工智能運行成本開發(fā) AI 芯片
據(jù) 21ic 獲悉,因為微軟支持的 OpenAI 的生成式人工智能聊天模型 ChatGPT 每天投入的運行成本高達 70 萬美金,為了降低生成式人工智能模型的運行成本,微軟正在開發(fā)一款代號為“Athena”的人工智能芯片。
據(jù)悉,近日全球半導(dǎo)體行業(yè)研究公司 SemiAnalysis 首席分析師 Dylan·Patel 表示,由于 ChatGPT 運行在價格昂貴的計算基礎(chǔ)設(shè)施之上,OpenAI 每天為運行 ChatGPT 投入的成本可能高達 70 萬美金。
Dylan·Patel 表示,無論是撰寫求職信、生成教學(xué)計劃、幫助用戶優(yōu)化個人資料,還是基于事實或假設(shè)對事物進行判斷分析,ChatGPT 均需要龐大的算力才能基于用戶的輸入信息做出反饋,而這部分成本都來自于昂貴的服務(wù)器。
Dylan·Patel 及其同事 Afzal·Ahmad 均認為,雖然訓(xùn)練 ChatGPT 背后的大語言模型可能要花費上億美元,但其運營費用或其背后的內(nèi)容生產(chǎn)成本會更高,即使采用任何合理的部署規(guī)模都遠遠超過了其訓(xùn)練成本。
近日傳言微軟為了降低生成式人工智能模型的運行成本正在開發(fā)一款代號為“Athena”的 AI 芯片。報道稱該項目自 2019 年以來一直在生產(chǎn)中,并可供一小部分 Microsoft 和 OpenAI 員工進行測試。
微軟之前與 OpenAI 達成了 10 億美元的投資協(xié)議,要求 OpenAI 僅在微軟的 Azure 云服務(wù)器上運行其模型。此前有消息稱,因為短缺導(dǎo)致微軟為一些內(nèi)部團隊配給 GPU。而英偉達的處理器售價很高,因此微軟期望以相同工作負載的更便宜方式來運行。
除了強大的性能之外,英偉達的芯片還具有顯著的軟件優(yōu)勢,大部分 AI 工作負載都是為它們設(shè)計的,并且擁有數(shù)十年的開發(fā)人員經(jīng)驗。目前微軟大約有 300 多名員工正在開發(fā)這款芯片。
消息人士稱,該芯片最早可能在明年發(fā)布供微軟和 OpenAI 內(nèi)部使用,微軟官方對此沒有回復(fù),但是否也讓 Azure 客戶使用還正在討論中。谷歌開發(fā)了自己的 AI 芯片系列 TPU,是目前唯一開發(fā) LLM 的競爭對手芯片,而亞馬遜擁有自己的替代產(chǎn)品線 Trainium。
據(jù)悉,“Athena”基于 5nm 工藝節(jié)點,專為大型語言模型 (LLM) 等訓(xùn)練軟件而構(gòu)建,這些軟件是近幾個月出現(xiàn)的生成式 AI 激增的核心,但這些模型的增長一直受到 AI 訓(xùn)練芯片市場領(lǐng)導(dǎo)者英偉達GPU 短缺的困擾。