「2017 Google I/O大會」發(fā)布第二代機器學(xué)習(xí)TPU 2.0

5月18日凌晨消息，Google CEO Sundar Pichai在I/O大會上正式公布了第二代TPU（TPU(Tensor Processing Unit)即張量處理單元，是一款為機器學(xué)習(xí)而定制的芯片,它能為機器學(xué)習(xí)提供比所有商用GPU和FPGA更高的量級指令。），又稱Cloud TPU或TPU 2.0，這一基于云計算的硬件和軟件系統(tǒng)，將繼續(xù)支撐Google最前沿的人工智能技術(shù)。第一代TPU于去年發(fā)布，它被作為一種特定目的芯片而專為機器學(xué)習(xí)設(shè)計，并用在了AlphaGo的人工智能系統(tǒng)上，是其預(yù)測和決策等技術(shù)的基礎(chǔ)。

隨后，Google還將這一芯片用在了其服務(wù)的方方面面，比如每一次搜索都有用到TPU的計算能力，最近還用在了Google翻譯、相冊等軟件背后的機器學(xué)習(xí)模型中。

今天凌晨，Google宣布第二代的TPU系統(tǒng)已經(jīng)全面投入使用，并且已經(jīng)部署在了Google Compute Engine平臺上。它可用于圖像和語音識別，機器翻譯和機器人等領(lǐng)域。

新的TPU包括了四個芯片，每秒可處理180萬億次浮點運算。Google還找到一種方法，使用新的計算機網(wǎng)絡(luò)將64個TPU組合到一起，升級為所謂的TPU Pods，可提供大約11500萬億次浮點運算能力。

強大的運算能力為Google提供了優(yōu)于競爭對手的速度，和做實驗的自由度。Google表示，公司新的大型翻譯模型如果在32塊性能最好的GPU上訓(xùn)練，需要一整天的時間，而八分之一個TPU Pod就能在6個小時內(nèi)完成同樣的任務(wù)。之所以開發(fā)新芯片，部分也是因為Google的機器翻譯模型太大，無法如想要的那么快進行訓(xùn)練。

除了速度，第二代TPU最大的特色，是相比初代TPU它既可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，又可以用于推理。初代的TPU只能做推理，要依靠Google云來實時收集數(shù)據(jù)并產(chǎn)生結(jié)果，而訓(xùn)練過程還需要額外的資源。

機器學(xué)習(xí)的能力已經(jīng)逐漸在消費級產(chǎn)品中體現(xiàn)出來，比如Google翻譯幾乎可以實時將英語句子變成中文，AlphaGo能以超人的熟練度玩圍棋。所有這一切都要靠訓(xùn)練神經(jīng)網(wǎng)絡(luò)來完成，而這又需要計算能力。所以硬件越強大，得到的結(jié)果就越快。如果將每個實驗的時間從幾周縮短到幾天或幾個小時，就可以提高每個機器學(xué)習(xí)者快速迭代，并進行更多實驗的能力。由于新一代TPU可以同時進行推理和訓(xùn)練，研究人員能比以前更快地部署AI實驗。

過去十多年來，Google已經(jīng)開發(fā)出很多新的數(shù)據(jù)中心硬件，其中包括服務(wù)器和網(wǎng)絡(luò)設(shè)備，主要目的是擴張自己的在線帝國。而過去幾年中，在AI方面Google也選擇開發(fā)自己的硬件，為其軟件做優(yōu)化。神經(jīng)網(wǎng)絡(luò)是復(fù)雜的數(shù)學(xué)系統(tǒng)，通過分析大量數(shù)據(jù)來學(xué)習(xí)，這種系統(tǒng)從根本上改變了技術(shù)的構(gòu)建和運行方式，影響范圍也包括硬件。

在某種程度上，初代的TPU被設(shè)計來是為了更好地支持TensoFlow機器學(xué)習(xí)框架。而歸功于Google在軟硬件上的進步與集成，TensorFlow已經(jīng)成為構(gòu)建AI軟件的領(lǐng)先平臺之一。這種優(yōu)化，再加上Google大腦及其DeepMind子公司的內(nèi)部人才，正是Google在AI領(lǐng)域保持領(lǐng)先的部分原因。

芯片廠商NVidia的GPU幾乎主宰了機器學(xué)習(xí)的市場，而現(xiàn)在，Google想通過專門設(shè)計用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的芯片，來改變市場提格局。

亞馬遜和微軟通過自己的云服務(wù)提供GPU處理，但他們不提供定制的AI芯片。

不過Google也不能因此而高枕無憂，因為短期內(nèi)競爭就會加劇。目前已經(jīng)有幾家公司，包括芯片巨頭英特爾和一大批初創(chuàng)公司，正在開發(fā)專門的AI芯片，它們都可能替代Google TPU。

首先開發(fā)出新的芯片并不能保證Google成功，要使用TPU 2.0，開發(fā)者要學(xué)習(xí)一種構(gòu)建和運行神經(jīng)網(wǎng)絡(luò)的新方法。它不僅僅是一個新的芯片，TPU 2.0也是專門為TensorFlow設(shè)計。雖然Tensorflow是開源軟件，但也有許多研究人員使用Torch和Caffe等類似的軟件。新硬件需要新的軟件優(yōu)化，這需要不少時間。

在Google推出TPU 2.0的幾周之前，F(xiàn)acebook的AI研究主管Yann LeCun質(zhì)疑稱，市場可能不需要新的AI專用芯片，因為研究者已經(jīng)對使用GPU所需的工具非常熟悉了。新的硬件意味著新的生態(tài)系統(tǒng)。

另外，Google云服務(wù)的成功不僅取決于芯片的速度，以及使用的容易程度，還要考慮成本。所以，如果Google以比現(xiàn)有GPU服務(wù)更低的成本提供TPU服務(wù)，會得到更廣泛的用戶基礎(chǔ)。

Google自己當(dāng)然會使用新TPU系統(tǒng)，但也會將它的能力開放給其它公司使用。Google表示，不會將芯片直接出售，而是會通過其新的云服務(wù)(年底前公布)提供，任何開發(fā)者都可以使用新處理器帶來的計算能力。

Google也重申了其對開源模式的承諾，表示會向同意發(fā)布研究結(jié)果的研究人員提供TPU資源，甚至可能開源代碼。他甚至呼吁開發(fā)者加入TensorFlow Research Cloud計劃，它會免費提供一組1000臺TPU。

新TPU的速度優(yōu)勢肯定會吸引到不少研究人員，畢竟AI研究要在大量硬件上廣泛試錯。就此而言，Google愿意免費提供計算資源對全世界的AI研究者來說都是有好處的，當(dāng)然，這對Google來說也是有好處的。