基于Spark的大規(guī)模推薦系統(tǒng)特征工程

1. Spark Catalyst和Tungsten優(yōu)化

Spark2.0之后提供了Catalyst和Tungsten優(yōu)化。圖為Catalyst從SQL解析到生成物理計(jì)劃的流程圖，由SQL語(yǔ)句或DataFrame接口通過(guò)編譯器技術(shù) ( 語(yǔ)法解析等 ) 生成Unresolved Logical Plan，Catalyst通過(guò)解析Catalog對(duì)Unresolved Logical Plan處理得到Logical Plan，在經(jīng)過(guò)SQL常用優(yōu)化方案，得到Optimized Logical Plan，優(yōu)化之Catalyst后可以生成多個(gè)基于Spark運(yùn)行的Physical Plan，最終選擇其中最高效的進(jìn)行運(yùn)行。該方式適合于計(jì)算節(jié)點(diǎn)優(yōu)化，對(duì)于SQL的優(yōu)化也同樣效果顯著。

Tungsten是另外一種優(yōu)化方案。主要的優(yōu)化點(diǎn)在于：

• 內(nèi)存管理與堆外存儲(chǔ)避免了多余的內(nèi)存使用，同時(shí)減少了GC；

• 引入code generation技術(shù)，通過(guò)JIT編譯運(yùn)行，Spark動(dòng)態(tài)生成Java字節(jié)碼來(lái)計(jì)算這些表達(dá)式，而不是為逐行解析執(zhí)行，減少了原始數(shù)據(jù)類型的裝箱操作，更重要的是避免了Overhead較大的虛函數(shù)調(diào)用。

以一個(gè)經(jīng)典實(shí)例來(lái)介紹Tungsten的原理。左側(cè)的SQL命令可以翻譯成在Spark上運(yùn)行的Logical Plan，由下往上分為4個(gè)計(jì)算節(jié)點(diǎn)，傳統(tǒng)的SQL執(zhí)行引擎中，四個(gè)節(jié)點(diǎn)分別由四個(gè)迭代器實(shí)現(xiàn) ( 可以理解為四個(gè)循環(huán) )，循環(huán)沒(méi)有合并優(yōu)化以及節(jié)點(diǎn)的虛函數(shù)調(diào)用對(duì)于CPU Cache非常不優(yōu)化，導(dǎo)致傳統(tǒng)的SQL引擎計(jì)算性能比較差。右側(cè)為T(mén)ungsten優(yōu)化后的結(jié)果，使用了whole staged code generation，對(duì)多節(jié)點(diǎn)的循環(huán)進(jìn)行了合并，性能有著明顯的提升。

2. Catalyst/Tungsten的不足

Catalyst/Tungsten給Spark帶來(lái)了明顯的性能能提升，但Catalyst/Tungsten的優(yōu)化仍然是基于Java進(jìn)行的，如果能使用更底層的指令集，如匯編、二進(jìn)制碼效果會(huì)更好；JVM難以支持循環(huán)展開(kāi)等優(yōu)化方式；而且并非所有的節(jié)點(diǎn)都支持code generation，例如圖中的WindowExec節(jié)點(diǎn)就不支持code generation。

3. FESQL

鑒于以原因，Catalyst/Tungsten的優(yōu)化仍有不足，第四范式基于LLVM技術(shù)進(jìn)一步優(yōu)化得到FESQL。SparkSQL架構(gòu)如黃色部分所示，F(xiàn)ESQL架構(gòu)如藍(lán)色框所示，根據(jù)SparkSQL語(yǔ)句生成FESQL Logical Plan，再由LLVM JIT生成平臺(tái)二進(jìn)制碼直接執(zhí)行，相比于Spark少了JVM一層，性能也會(huì)有明顯提升。

4. LLVM簡(jiǎn)介

LLVM項(xiàng)目是一個(gè)模塊化的、可重用的編譯器和工具鏈集合，可以方便的實(shí)現(xiàn)編譯器和代碼生成的工作。提供了許多有用的工具，如Clang、LLDB、MLIR、TVM等，能夠?qū)崿F(xiàn)多種編程語(yǔ)言的編譯器。

JIT ( Just-In-Time Compiler ) 編譯，可以一邊運(yùn)行程序一邊編譯二進(jìn)制代碼，右圖為使用JIT編譯的Add函數(shù)，這部分代碼可以在運(yùn)行時(shí)被翻譯成底層代碼，與直接使用C++來(lái)實(shí)現(xiàn)效率接近，同時(shí)JIT能夠適應(yīng)不同的CPU生成優(yōu)化的二進(jìn)制碼。

5. FESQL的優(yōu)化點(diǎn)

目前已經(jīng)能使用循環(huán)展開(kāi)、常數(shù)折疊、向量化和一些基于CPU本身的優(yōu)化；未來(lái)，基于PTX后端還可以嘗試生成CUDA代碼，利用GPU進(jìn)行計(jì)算的加速。

6. 性能比較

FESQL與Databrick內(nèi)部的Photon非常相似 ( Photon內(nèi)部由C++實(shí)現(xiàn) )，因而進(jìn)行對(duì)兩者進(jìn)行比較。Photon是Databrick的企業(yè)產(chǎn)品，僅能在Databrick的平臺(tái)上使用，且不支持PTX/CUDA。對(duì)比由C++和由JVM實(shí)現(xiàn)的處理引擎的性能，發(fā)現(xiàn)C++實(shí)現(xiàn)的處理引擎性能非常優(yōu)越。

7. FESQL的節(jié)點(diǎn)優(yōu)化

FESQL使用了節(jié)點(diǎn)優(yōu)化，使用SimpleProject對(duì)Project節(jié)點(diǎn)進(jìn)行合并優(yōu)化，對(duì)窗口節(jié)點(diǎn)使用code generate進(jìn)行優(yōu)化。下圖說(shuō)明了對(duì)于節(jié)點(diǎn)的優(yōu)化可以明顯減少執(zhí)行的流程。

8. FESQL的表達(dá)式優(yōu)化

FESQL也實(shí)現(xiàn)了非常多表達(dá)式優(yōu)化，保證在不同SQL場(chǎng)景都比傳統(tǒng)數(shù)據(jù)庫(kù)有著更好的性能表現(xiàn)。

9. 性能

對(duì)比Spark 3.0和FESQL on Spark可以發(fā)現(xiàn)，F(xiàn)ESQL的執(zhí)行效率明顯高于Spark 3.0，多窗口的情況下效果更明顯，有著接近6倍的性能提升。

通過(guò)對(duì)比兩者生成的邏輯計(jì)劃圖，可以發(fā)現(xiàn)FESQL的計(jì)劃圖明顯更簡(jiǎn)單，通過(guò)對(duì)比兩者的火焰圖，底層RDD計(jì)算基本一致，F(xiàn)ESQL取樣的樣本數(shù)更少，執(zhí)行時(shí)間更短，因此FESQL的執(zhí)行效率更高。

10. 展望

未來(lái)第四范式計(jì)劃推出LLVM-enabled Spark Distribution，使開(kāi)發(fā)者可以通過(guò)設(shè)置SPARK_HOME便利的實(shí)現(xiàn)性能加速；為開(kāi)發(fā)者提供Docker、Notebook、Jar、Whl包，便于開(kāi)發(fā)；提供類似Python的保證一致性的DSL語(yǔ)言用于UDF和UDFA實(shí)現(xiàn)；還有提供對(duì)CUDA和GPU的支持。

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：
																																																							

																																																								

																																																								

																																																									
																																																								

長(zhǎng)按訂閱更多精彩▼
																																																								

																																																							
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝