谷歌自研第四代TPU芯片：速度爆表

北京時(shí)間4月5日上午消息，據(jù)報(bào)道，當(dāng)?shù)貢r(shí)間周二，Alphabet旗下谷歌披露其訓(xùn)練人工智能模型使用的超級(jí)計(jì)算機(jī)的最新細(xì)節(jié)。該公司表示，這些系統(tǒng)的速度和能耗效率均高于英偉達(dá)的同類系統(tǒng)。

谷歌擁有自主定制的TPU芯片，其90%以上的人工智能訓(xùn)練任務(wù)都通過這些芯片完成。人工智能訓(xùn)練指的是為模型投喂數(shù)據(jù)，使之可以具備類似人類的文本聊天和圖片生成能力。

谷歌TPU目前已經(jīng)是第四代產(chǎn)品。該公司周二發(fā)布了一篇論文，詳細(xì)闡述了該公司如何利用自己定制的光開關(guān)將4000多個(gè)芯片組合到一臺(tái)超級(jí)計(jì)算機(jī)中，從而將一臺(tái)臺(tái)的獨(dú)立機(jī)器連接在一起。

改善這些連接的效果已經(jīng)成為科技公司開發(fā)人工智能超級(jí)計(jì)算機(jī)時(shí)的重要競(jìng)爭(zhēng)點(diǎn)，這是因?yàn)楣雀鐱ard和OpenAI的ChatGPT使用的大語言模型規(guī)模急劇擴(kuò)大，無法使用單一芯片完成。

這些模型必須分配到數(shù)千個(gè)芯片上運(yùn)行，由這些芯片共同協(xié)作數(shù)周甚至更長(zhǎng)時(shí)間來訓(xùn)練模型。PaLM是谷歌迄今為止公開披露的規(guī)模最大的語言模型，該模型需要分配到兩臺(tái)各包含4000個(gè)芯片的超級(jí)計(jì)算機(jī)中，耗時(shí)50多天進(jìn)行訓(xùn)練。

谷歌表示，該公司的超級(jí)計(jì)算機(jī)使之可以在運(yùn)行過程中輕松對(duì)芯片間的連接進(jìn)行重新配置，有助于避免問題和調(diào)整性能。

“電路切換可以輕松繞過故障組件。”谷歌院士諾姆·喬皮(Norm Jouppi)和谷歌杰出工程師大衛(wèi)·帕特森(David Patterson)在博文中寫道，“這種靈活性甚至可以讓我們改變超級(jí)計(jì)算機(jī)的互聯(lián)拓?fù)錂C(jī)構(gòu)，從而加快機(jī)器學(xué)習(xí)模型的性能?！?

雖然谷歌現(xiàn)在才剛剛公布其超級(jí)計(jì)算機(jī)的技術(shù)細(xì)節(jié)，但這套系統(tǒng)2020年就已經(jīng)應(yīng)用到該公司位于奧克拉荷馬州的數(shù)據(jù)中心。谷歌表示，創(chuàng)業(yè)公司Midjourney使用該系統(tǒng)訓(xùn)練其模型，他們開發(fā)的工具只需要簡(jiǎn)單的文本就可以生成全新的圖像。

谷歌在論文中表示，與第四代TPU同期上市的英偉達(dá)A100芯片相比，該公司的芯片速度達(dá)到A100的1.7倍，能耗效率達(dá)到A100的1.9倍。

英偉達(dá)發(fā)言人拒絕對(duì)此置評(píng)。

谷歌表示，他們并沒有將第四代TPU與英偉達(dá)現(xiàn)有的H100旗艦芯片進(jìn)行對(duì)比，這是因?yàn)楹笳甙l(fā)布時(shí)間較晚，而且采用了更新的技術(shù)。

谷歌暗示，他們可能正在開發(fā)能夠與英偉達(dá)H100抗衡的新一代TPU，但并未披露細(xì)節(jié)信息。喬皮接受采訪時(shí)表示，谷歌擁有“未來芯片的健康管線”。