秒殺GPU的專用AI芯片，內(nèi)置RoCE實現(xiàn)靈活拓展

目前AI芯片市場很火熱，產(chǎn)品類型也很豐富：GPU、ASIC、FPGA、CPU等。據(jù)一家名為Allied Market Research的預(yù)測，2025年AI芯片相比2018年將迎來10倍到20倍的增長。而未來最有潛力的增長將來自專用ASIC。雖然GPU是目前AI芯片市場的明星，但是專用ASIC將主導(dǎo)市場的這種苗頭已經(jīng)從近期Habana Labs的產(chǎn)品發(fā)布中顯露出來。

業(yè)界最大幅度能效提升，單卡性能小幅提升

Habana Labs在去年曾推出了專門應(yīng)用于推理的AI芯片Goya，而今年在北京，Habana Labs的首席商務(wù)官Eitan Medina先生宣布了全新訓(xùn)練AI芯片Gaudi的發(fā)布。

根據(jù)給出的信息來看，在運行ResNet-50模型的時候，Gaudi的處理能力比英偉達(dá)的V100提升了14%;而更令人印象深刻的是其功耗的表現(xiàn)，消耗每瓦特的功耗可以提供的IPS處理能力相比特斯拉T4提升了94%!據(jù)Eitan先生介紹，單卡的Gaudi的功耗是140W，可以實現(xiàn)1650 IPS的性能。Gaudi的另一個優(yōu)勢在于其集群的處理能力的增長率也要比V100好上很多，如下圖所示，在大約640個Gaudi和640個V100性能對比下，Gaudi是V100的3.8倍。所以Gaudi從小型服務(wù)器到大規(guī)模服務(wù)器的部署，都非常適合。尤其是在大規(guī)模部署方面，絕對是目前市場上最佳選擇之一。

那么這種優(yōu)異的隨數(shù)增速的處理能力來自哪里呢?那就不得不提到其內(nèi)置的RoCE。

內(nèi)置RoCE實現(xiàn)任性拓展

RoCE是一種目前業(yè)內(nèi)普遍認(rèn)可的英偉達(dá)曾在今年3月份以69億美元現(xiàn)金收購以色列芯片商Mellanox Technologies，看重的就是RoCE技術(shù)。在近期的GTC 2019上，黃教主就強調(diào)了RoCE的重要性：隨著服務(wù)器數(shù)量的提升，必須要借助RoCE的功能才可以將整個系統(tǒng)的處理性能實現(xiàn)提升。通過NVLink+PCIE+RoCE等技術(shù)構(gòu)成了英偉達(dá)的NCCL的通信庫，確保整個系統(tǒng)的性能隨著硬件堆疊而繼續(xù)提升。而Habana  Labs則直接將RoCE功能集成到了Gaudi中。

Gaudi使用標(biāo)準(zhǔn)以太網(wǎng)RoCE來進行拓展，相比起英偉達(dá)的NVLink和InfiniBand在系統(tǒng)拓展和構(gòu)建方面就更為簡單。每個Gaudi中都內(nèi)置了十個RoCE端口，而英偉達(dá)的V100則需要首先外接一個PCIE的轉(zhuǎn)換卡，然后連接到RDMA上實現(xiàn)以太網(wǎng)的帶寬拓展。Gaudi在成本和設(shè)計簡化度上明顯優(yōu)于V100。

Habana Labs在芯片之上提供兩種不同的產(chǎn)品形態(tài)：PCB板卡樣式的HL-205和PCIe卡樣式的HL-200。以HL-205為例，通過內(nèi)置的RoCE可以實現(xiàn)多種不同的組合。

上圖是8個HL-205，加上兩個PCIe的開關(guān)組成的一個訓(xùn)練系統(tǒng)，接口為4x16 PCIe Gen4，可連接到外部主機服務(wù)器，最多80X100Gb以太網(wǎng)鏈路。外部以太網(wǎng)鏈路可以連接到任何交換層次結(jié)構(gòu)。這種系統(tǒng)可以實現(xiàn)超大型模型并行訓(xùn)練。

這8個HL-205還可以有另一種網(wǎng)絡(luò)的方式，這種方式主要是針對已經(jīng)使用了V100的訓(xùn)練系統(tǒng)中進行V100的替換。因為V100只有六個端口用于拓展。HL-205支持在OAM規(guī)范中定義的6個通道上分配20個SerDes端口。但是這種網(wǎng)絡(luò)連接的系統(tǒng)并沒有將Gaudi的性能發(fā)揮到極致，這非常適合在現(xiàn)有V100的系統(tǒng)中進行器件替換。如果你想要構(gòu)建一個更為高效的訓(xùn)練系統(tǒng)，Habana Labs提供了另一種名為HLS-1的系統(tǒng)。

HLS-1對外提供PCIE的這種接口，同時還提供了以太網(wǎng)接口。在系統(tǒng)內(nèi)部，每個Gaudi會拿出10個RoCE中的7個來與其它7個Gaudi實現(xiàn)互連，剩下的3個作為外部以太網(wǎng)接口。所以HLS-1可以提供24個100G的外部以太網(wǎng)接口。這是一個非常高效的訓(xùn)練系統(tǒng)，無需任何以太網(wǎng)交換機，用戶使用起來也非常方便，只需要通過PCIE就可以將HLS-1與自己的計算系統(tǒng)進行互聯(lián)。而且復(fù)用率較高，可以連接到各種不同的CPU平臺進行整個訓(xùn)練系統(tǒng)的搭建。

兩個HLS-1通過背板連接在一起就可以提供一個非常高效的16 Gaudi的訓(xùn)練系統(tǒng)。同時6個HLS-1可以放在同一個機架上組成一個訓(xùn)練系統(tǒng)。

到這里還沒有結(jié)束，接下來給大家介紹下更大規(guī)模集成的訓(xùn)練系統(tǒng)的組成，因為Gaudi內(nèi)置了10個RoCE，所以HLS-205相比英偉達(dá)的DGX-2在大規(guī)模集群方面可以實現(xiàn)更強大的堆疊。

24個HLS-205之間可以保持相互100GbE的通信速率。如果將通信速率降低為50GbE，那么自然可以直接使系統(tǒng)數(shù)量翻兩倍。而DGX-2在進行大規(guī)模集群的情況下，性能放大的表現(xiàn)并不足夠優(yōu)秀。Gaudi的這種集群系統(tǒng)可以在幾小時內(nèi)訓(xùn)練大量的模型，這對于想要最大限度地減少培訓(xùn)時間，建立大型，高效率的AI訓(xùn)練系統(tǒng)的客戶群而言非常有價值。

在Habana Labs的官方介紹中，提供了1000多個Gaui橫向擴展的方案，這是一個8*11*12 = 1056的拓展方案。如果想要更大規(guī)模的拓展 ，則需要犧牲一定的帶寬來實現(xiàn)。

也可以選擇采用全連接的單跳系統(tǒng)的方式來進行拓展，8個HL205的Gaudi系統(tǒng)通過網(wǎng)絡(luò)交換機進行連接，總計16個100G的網(wǎng)絡(luò)連接。這種大規(guī)模的系統(tǒng)可以直接連接到深度學(xué)習(xí)的加速器。

還有一種拓展方式稱為“high end 2k Gaudi”系統(tǒng)。每個HL205包含一個64口的交換器，每個交換器都連接到256X100G的交換機。

Gaudi內(nèi)置10個RoCE所帶來的優(yōu)勢非常明顯，V100被遠(yuǎn)遠(yuǎn)甩在了身后。但在Gaudi上進行開發(fā)的體驗是否有保證呢?Habana Labs也考慮的非常周到。

將現(xiàn)有設(shè)計移植到Gaudi平臺

新的硬件平臺出來后，性能一般都會更優(yōu)異，但客戶最終會關(guān)心的一個問題是，如何將我現(xiàn)有的設(shè)計方便地移植到新的平臺上?這是他們決定是否進行硬件平臺變換的重要因素。

Habana提供的軟件環(huán)境叫做SynapseAI，軟件在上層API可以對接多種主流框架，例如TensorFlow、Caffe2、ONNX和Glow等等。軟件的核心包括一個Habana Labs的庫、一個用戶庫和一個圖形組件。如果客戶有定制化的需求，可以通過用戶庫來進行定制化的設(shè)計。軟件下層公國KMD API與Gaudi的PCIe驅(qū)動進行連接。

Habana Labs的Synapse AI希望可以幫助到做深度學(xué)習(xí)的開發(fā)者能夠?qū)Ｗ⒂谒惴ū旧淼拈_發(fā)，而無需考慮過多的硬件移植和適配等問題。

---

Gaudi在性能、拓展性和功耗方面超越了V100和T4，隨著未來AI方面需求的逐漸明確，專用的ASIC的方案肯定會比GPU、CPU等更加高效和適合。