英偉達(dá)與開源社區(qū)合作，將 GPU 加速帶入 Spark 3.0

NVIDIA 方面宣布與開源社區(qū)達(dá)成合作，為 Apache Spark 3.0 帶來端到端的 GPU 加速。Apache Spark 3.0 是一種用于大數(shù)據(jù)處理的分析引擎，目前已被全球超過 500,000 名數(shù)據(jù)科學(xué)家所使用。

按照計(jì)劃，隨著 Spark 3.0 于春季晚些時(shí)候發(fā)布，數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師將首次能夠把革命性的 GPU 加速應(yīng)用于普遍使用 SQL 數(shù)據(jù)庫操作進(jìn)行的 ETL（提取、轉(zhuǎn)換和加載）數(shù)據(jù)處理工作負(fù)載中。

此外，AI 模型訓(xùn)練將能夠在相同的 Spark 集群上進(jìn)行處理，而不是將工作負(fù)載作為單獨(dú)的流程在單獨(dú)的基礎(chǔ)架構(gòu)上運(yùn)行。這樣就可以對(duì)整個(gè)數(shù)據(jù)科學(xué)的處理流程進(jìn)行高性能數(shù)據(jù)分析，對(duì)從數(shù)據(jù)湖到模型訓(xùn)練所涉及的數(shù)十、乃至數(shù)千 TB 的數(shù)據(jù)進(jìn)行加速，而且無需對(duì)已被應(yīng)用于本地和云端 Spark 應(yīng)用程序的現(xiàn)有代碼進(jìn)行修改。

NVIDIA 企業(yè)計(jì)算部門負(fù)責(zé)人 Manuvir Das 表示：“數(shù)據(jù)分析是當(dāng)今企業(yè)和研究人員面臨的最大的高性能計(jì)算挑戰(zhàn)?！?“從 ETL 到培訓(xùn)再到推理，整個(gè) Spark 3.0 方案的原生 GPU 加速為用戶提供了最終將大數(shù)據(jù)潛力與 AI 性能相連所需的性能和規(guī)模?！?/p>

基于與 NVIDI A的戰(zhàn)略 AI 合作關(guān)系，Adobe 是最早在 Databricks 上運(yùn)行 Spark 3.0 預(yù)覽版的公司之一。Adobe 已在 Adobe Experience Cloud 中使用 GPU 加速數(shù)據(jù)分析技術(shù)進(jìn)行產(chǎn)品開發(fā)，并為各項(xiàng)推進(jìn)數(shù)字化業(yè)務(wù)進(jìn)程的功能提供支持。并且在初步測試中，其已將性能提高了 7 倍，以及節(jié)省了 90% 的成本。

性能提升后的 Spark 3.0 讓科學(xué)家能夠訓(xùn)練包含有更大數(shù)據(jù)集的模型，并增加反復(fù)訓(xùn)練模型的頻率，從而提高模型的精度?，F(xiàn)在，數(shù)據(jù)科學(xué)家每天可以處理數(shù)TB的新數(shù)據(jù)，這對(duì)于需要為在線推薦系統(tǒng)提供支持或分析新研究數(shù)據(jù)的數(shù)據(jù)科學(xué)家們而言至關(guān)重要。此外，處理速度的加快，減少了交付結(jié)果所需的硬件資源，從而節(jié)省了大量成本。

Adobe 機(jī)器學(xué)習(xí)高級(jí)總監(jiān) William Yan 表示：“相比于在 CPU 上運(yùn)行 Spark，NVIDIA 加速的 Spark 3.0 性能速度得到了大幅提高。伴隨著 GPU 性能的飛躍性提升，也將為我們?nèi)?Adobe Experience Cloud 應(yīng)用中 AI 功能的提升帶來新的可能性?！?/p>

NVIDIA正在為 Apache Spark 貢獻(xiàn)一種新的開源 RAPIDS 加速器，以幫助數(shù)據(jù)科學(xué)家提高其數(shù)據(jù)流程的端到端性能。該加速器能夠?qū)⒅靶枰?CPU 上運(yùn)行的功能轉(zhuǎn)到 GPU 上運(yùn)行，以發(fā)揮 GPU 的性能：

在無需更改任何代碼的情況下顯著提高 Spark SQL 和 DataFrame 的運(yùn)行性能，從而加速 Spark 中的 ETL 數(shù)據(jù)流程。

無需獨(dú)立的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)集群，即可在相同的基礎(chǔ)架構(gòu)上加速數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練。

加速 Spark 分布式集群中各節(jié)點(diǎn)之間的數(shù)據(jù)傳輸性能。這些資源庫使用 UCF Consortium 的開源 UCX（Unified Communication X）框架，并通過使數(shù)據(jù)直接在 GPU 內(nèi)存之間移動(dòng)來最大程度地減少延遲。

Spark 3.0 預(yù)覽版下載地址：https://spark.apache.org/downloads.html