阿里云發(fā)布機(jī)器學(xué)習(xí)平臺(tái)PAI v3.0，訓(xùn)練性能提升4倍

距機(jī)器學(xué)習(xí)平臺(tái) PAI 2.0 發(fā)布兩年后，阿里巴巴于今早的阿里云峰會(huì)上重磅發(fā)布 PAI 3.0 版本。

阿里云機(jī)器學(xué)習(xí)平臺(tái)是構(gòu)建在阿里云 MaxCompute（原 ODPS）計(jì)算平臺(tái)之上，集數(shù)據(jù)處理、建模、離線預(yù)測(cè)、在線預(yù)測(cè)為一體的機(jī)器學(xué)習(xí)平臺(tái)。阿里云機(jī)器學(xué)習(xí)封裝了阿里巴巴集團(tuán)內(nèi)成熟的算法，向機(jī)器學(xué)習(xí)用戶提供了更簡(jiǎn)易的操作體驗(yàn)。

今日發(fā)布的 PAI 3.0 推出了全新的算法模型市場(chǎng)，涵蓋電商、社交、廣告、金融等多個(gè)行業(yè)，數(shù)十種場(chǎng)景的算法模型。同時(shí)還新增了流式算法組件、圖神經(jīng)網(wǎng)絡(luò)、增強(qiáng)學(xué)習(xí)組件等平臺(tái)工具。

作為機(jī)器學(xué)習(xí)平臺(tái)的內(nèi)核，PAI 的智能計(jì)算引擎進(jìn)行了全面升級(jí)，通過(guò)編譯技術(shù)優(yōu)化通用計(jì)算引擎，訓(xùn)練性能提升 400%——PAI 團(tuán)隊(duì)研發(fā)了深度學(xué)習(xí)編譯器 TAO（Tensor Accelerator and Optimizer），以通用化、平臺(tái)化的方式有效解決上層 Workload 與底層硬件計(jì)算單元之間高效映射的問(wèn)題。

此外，在深度學(xué)習(xí)優(yōu)化分布式引擎方面，PAI 3.0?可以實(shí)現(xiàn)單任務(wù)支持上千 worker 并發(fā)訓(xùn)練，并支持 5k+ 超大規(guī)模異構(gòu)計(jì)算集群。

PAI 希望實(shí)現(xiàn)「用更少的硬件，支持更多業(yè)務(wù)更快完成業(yè)務(wù)迭代」。為了完成這個(gè)目標(biāo)，團(tuán)隊(duì)有針對(duì)性地研發(fā)了 GPU 分時(shí)復(fù)用技術(shù)。整套技術(shù)實(shí)現(xiàn)遵循了數(shù)據(jù)驅(qū)動(dòng)的思想，包括實(shí)時(shí)在線性能數(shù)據(jù)反饋通路、細(xì)粒度 GPU 資源復(fù)用、虛擬顯存以及基于歷史數(shù)據(jù)的資源預(yù)估策略這幾個(gè)關(guān)鍵模塊。

此外，PAI 3.0 還發(fā)布了大規(guī)模圖神經(jīng)網(wǎng)絡(luò)，緩存機(jī)制效率提升 40%，算子速度提升 12 倍，系統(tǒng)端建圖時(shí)間從數(shù)小時(shí)降至 5 分鐘。

據(jù)了解，從 PAI1.0 開始，該機(jī)器學(xué)習(xí)平臺(tái)已經(jīng)在阿里巴巴內(nèi)部使用了 2 年?；谠撈脚_(tái)，在淘寶搜索中，搜索結(jié)果會(huì)基于商品和用戶的特征進(jìn)行排序。通過(guò)使用參數(shù)服務(wù)器，淘寶可以把百億個(gè)特征的模型，分散到數(shù)十個(gè)乃至于上百個(gè)參數(shù)服務(wù)器上，打破了規(guī)模的瓶頸。