英偉達(dá)與開源社區(qū)合作,將 GPU 加速帶入 Spark 3.0
NVIDIA 方面宣布與開源社區(qū)達(dá)成合作,為 Apache Spark 3.0 帶來端到端的 GPU 加速。Apache Spark 3.0 是一種用于大數(shù)據(jù)處理的分析引擎,目前已被全球超過 500,000 名數(shù)據(jù)科學(xué)家所使用。
按照計(jì)劃,隨著 Spark 3.0 于春季晚些時(shí)候發(fā)布,數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師將首次能夠把革命性的 GPU 加速應(yīng)用于普遍使用 SQL 數(shù)據(jù)庫操作進(jìn)行的 ETL(提取、轉(zhuǎn)換和加載)數(shù)據(jù)處理工作負(fù)載中。
此外,AI 模型訓(xùn)練將能夠在相同的 Spark 集群上進(jìn)行處理,而不是將工作負(fù)載作為單獨(dú)的流程在單獨(dú)的基礎(chǔ)架構(gòu)上運(yùn)行。這樣就可以對(duì)整個(gè)數(shù)據(jù)科學(xué)的處理流程進(jìn)行高性能數(shù)據(jù)分析,對(duì)從數(shù)據(jù)湖到模型訓(xùn)練所涉及的數(shù)十、乃至數(shù)千 TB 的數(shù)據(jù)進(jìn)行加速,而且無需對(duì)已被應(yīng)用于本地和云端 Spark 應(yīng)用程序的現(xiàn)有代碼進(jìn)行修改。
NVIDIA 企業(yè)計(jì)算部門負(fù)責(zé)人 Manuvir Das 表示:“數(shù)據(jù)分析是當(dāng)今企業(yè)和研究人員面臨的最大的高性能計(jì)算挑戰(zhàn)?!?“從 ETL 到培訓(xùn)再到推理,整個(gè) Spark 3.0 方案的原生 GPU 加速為用戶提供了最終將大數(shù)據(jù)潛力與 AI 性能相連所需的性能和規(guī)模?!?/p>
基于與 NVIDI A的戰(zhàn)略 AI 合作關(guān)系,Adobe 是最早在 Databricks 上運(yùn)行 Spark 3.0 預(yù)覽版的公司之一。Adobe 已在 Adobe Experience Cloud 中使用 GPU 加速數(shù)據(jù)分析技術(shù)進(jìn)行產(chǎn)品開發(fā),并為各項(xiàng)推進(jìn)數(shù)字化業(yè)務(wù)進(jìn)程的功能提供支持。并且在初步測試中,其已將性能提高了 7 倍,以及節(jié)省了 90% 的成本。
性能提升后的 Spark 3.0 讓科學(xué)家能夠訓(xùn)練包含有更大數(shù)據(jù)集的模型,并增加反復(fù)訓(xùn)練模型的頻率,從而提高模型的精度?,F(xiàn)在,數(shù)據(jù)科學(xué)家每天可以處理數(shù)TB的新數(shù)據(jù),這對(duì)于需要為在線推薦系統(tǒng)提供支持或分析新研究數(shù)據(jù)的數(shù)據(jù)科學(xué)家們而言至關(guān)重要。此外,處理速度的加快,減少了交付結(jié)果所需的硬件資源,從而節(jié)省了大量成本。
Adobe 機(jī)器學(xué)習(xí)高級(jí)總監(jiān) William Yan 表示:“相比于在 CPU 上運(yùn)行 Spark,NVIDIA 加速的 Spark 3.0 性能速度得到了大幅提高。伴隨著 GPU 性能的飛躍性提升,也將為我們?nèi)?Adobe Experience Cloud 應(yīng)用中 AI 功能的提升帶來新的可能性?!?/p>
NVIDIA正在為 Apache Spark 貢獻(xiàn)一種新的開源 RAPIDS 加速器,以幫助數(shù)據(jù)科學(xué)家提高其數(shù)據(jù)流程的端到端性能。該加速器能夠?qū)⒅靶枰?CPU 上運(yùn)行的功能轉(zhuǎn)到 GPU 上運(yùn)行,以發(fā)揮 GPU 的性能:
在無需更改任何代碼的情況下顯著提高 Spark SQL 和 DataFrame 的運(yùn)行性能,從而加速 Spark 中的 ETL 數(shù)據(jù)流程。
無需獨(dú)立的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)集群,即可在相同的基礎(chǔ)架構(gòu)上加速數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練。
加速 Spark 分布式集群中各節(jié)點(diǎn)之間的數(shù)據(jù)傳輸性能。這些資源庫使用 UCF Consortium 的開源 UCX(Unified Communication X)框架,并通過使數(shù)據(jù)直接在 GPU 內(nèi)存之間移動(dòng)來最大程度地減少延遲。
Spark 3.0 預(yù)覽版下載地址:https://spark.apache.org/downloads.html