推薦系統(tǒng)解構(gòu)

1. 基本架構(gòu)

我這里拿一個前幾年我剛開始入門推薦系統(tǒng)時候的架構(gòu)：

最開始的階段是召回過程，分為多個模塊；實時模塊會拿到用戶實時的信息，比如用戶實時點擊、收藏、加購的商品，并獲取這些商品的相似商品；歷史模塊會獲取用戶的歷史信息，如歷史的購買行為；畫像模塊則會獲取用戶的靜態(tài)信息和偏好標簽，如用戶的設(shè)備型號、年齡、性別、類目偏好等；最后還會包括現(xiàn)在以及過去的熱門商品等。

在經(jīng)過這些召回的過程后，我們會進行一層過濾。比如曝光過濾，即某個類目已經(jīng)曝光了一定次數(shù)，但是用戶都沒有點擊，隱式表明用戶不感興趣。還有用戶購買過濾，即已經(jīng)購買過的短期內(nèi)不再推薦。同時還有購買率過濾、性別過濾等等。

經(jīng)過過濾階段后，我們可以對過濾后的商品進行一定的預估。如點擊率、轉(zhuǎn)化率預估等。同時可以考慮單價，多樣性以及新品率等影響進行排序。隨后我們可以通過規(guī)則或者模型，將這些粗排后的物品統(tǒng)一得分進行融合，最后再經(jīng)過精排階段給出最終得分，這個階段還會增加一些業(yè)務規(guī)則進行強控，比如考慮多樣性的打散、出于運營需求的置頂?shù)取?/span>

上述是大致推薦系統(tǒng)的簡單介紹，不同的業(yè)務和團隊，在構(gòu)建過程中也存在模塊的差異，推薦系統(tǒng)沒有特別強的標準存在。

2. 召回策略

主要策略包括：

① 實時行為召回：在線實時捕捉用戶對商品的點擊，收藏，加購，購買等反饋行 為，并召回相似商品，迅速抓住用戶的短期購物需求。

② 歷史行為召回：離線分析用戶對商品的歷史點擊，收藏，加購，購買等反饋行為，并召回相似商品，兼顧用戶的長期購物需求。

③ profile召回：從性別，年齡段，設(shè)備等多個維度，在線和離線同時對用戶進行

畫像，并召回相對應的熱門商品。不要小看這個召回，非常關(guān)鍵，往往新用戶需要用這些靜態(tài)信息和標簽來做召回，往往可以快速圈定其圈層進行精準的探索和數(shù)據(jù)反饋，比如5-6線城市和北京西二旗的用戶往往大概率興趣差異較大。這層召回是全局熱門召回的更精細化拆解。

④ 熱銷&趨勢召回：分析商品的長期和短期銷量變化，召回爆款和近期熱點商品。

• 召回模塊特別重要，因為召回的來源/相似分可以作為排序特征(推薦日志落盤-回看/溯源機制)

• 召回作為漏斗的頂部，好壞對漏斗底部(排序)的影響很大。

3. 排序策略

排序階段的影響因子較多，可以作為特征，也可以獨立在外作為排序因子存在。比如以下的一些因子：Ctr Cvr Price、Ctr Ts、Match Score、Trigger score time decay、Match type ctr cvr、Match type score、...

當然針對不同的產(chǎn)品有不同的側(cè)重點，比如電商的內(nèi)容差異較大，甚至同是內(nèi)容也會因為產(chǎn)品形態(tài)存在差異，比如快手的雙列可以考慮點擊率建模，而抖音單列下滑不需要考慮點擊率建模。甚至還需要考慮多樣性，驚喜性，新穎性等更多的指標。并且建模過程可以嘗試end2end或單獨建模的方式，這里面需要考慮的是稀疏性、正負比例、預估不準等問題。

如果一個指標不夠，還可以考慮多個指標的結(jié)合，形成新的指標。如電商場景下，gmv這個指標，可以用CTR^α*CVR^β*Price^γ代表gmv，那為什么還需要α、β、γ呢？因為如果ctr和cvr估計是準確的， α、β、γ均為1的排序公式是可解釋的，你把這幾個指標的分子分母拆開就看到了，相乘以后就是gmv。但是由于模型各自的準確率差異，導致了我們需要學習這幾個參數(shù)，理論上建模越準確的指標系數(shù)越大。而這三個系數(shù)如果相對穩(wěn)定可以通過離線統(tǒng)一參數(shù)學習的情況完成；如果不穩(wěn)定，可通過強化學習來解決這個超參的設(shè)定。

可參看下圖的電商場景建模的相關(guān)排序因子，當然部分因子作為特征可納入排序模型。

4. 排序階段還有一些常見的原則

① 針對不同的召回策略，主要秉持“短期行為優(yōu)先，兼顧長期行為”，“保證多樣性，避免過度個性化”原則。算法上主要通過長短期用戶行為密度建模，正負反饋反向調(diào)節(jié)等手段來實現(xiàn)。

② 不同排序因子(商家質(zhì)量/分發(fā)寬度及強度等等)可共用一套底層表征。

③ 覆蓋率：通過類目，品牌，頻道，場景等多粒度的打散重排，最大化各個維度的個性化覆蓋率。

④ 疲勞度：通過引入一定的隨機因子，針對不同個性化程度，建立合理的輪轉(zhuǎn)機制，保證一定的新穎性。

⑤ 轉(zhuǎn)化能力：通過對用戶，商品，會場等多維度采集特征數(shù)據(jù)，訓練點擊轉(zhuǎn)化和交易轉(zhuǎn)化模型。大促期間 根據(jù)不同的階段，采取差異化的處理策略。比如預熱期強化點擊轉(zhuǎn)化，正式售賣期則強調(diào)交易轉(zhuǎn)化。

5. 更加精細化的排序

① 考慮到召回和排序的壓力，可以再精排和召回中間加一層，少量核心特征+簡單模型進行粗排。

② 多過程建模：如直接購買還是收藏比價使用模型判斷。舉個例子，在購物車推薦中，用模型來操控推薦策略。在購物的流程中，通過數(shù)據(jù)分析可以發(fā)現(xiàn)，有一部分用戶是希望通過加入購物車來進行比價， 還有一部分用戶加入購物車是直接購買。通過模型來判斷用戶的行為，比如用戶一直添加同類目的商品，那么比價的概率就高一些。如果判斷出用戶是直接購買，那么就盡量推薦相關(guān)商品，如果是比價用戶，就推薦相似物品。

③ 粗粒度召回：離線產(chǎn)出不同類目下的精品數(shù)據(jù)，作為召回補充和兜底

④ E&E探索解決低置信度預估模型問題

6. 模型演進

模型的演進路線可以由下圖表示：

而模型的時效性也從天級別，慢慢演化成小時（一天幾次）， 再演化成近實時級別，而目前主流的推薦系統(tǒng)都是實時級別。

目前模型的演進已經(jīng)進入到深度學習時代，各個大廠提出的新的深度學習架構(gòu)也層出不窮：

這里不對于模型具體結(jié)構(gòu)過過多展開，主要趨勢就是通過時序、行為特征的使用，通過embedding、LSTM、attention、tansformor等結(jié)構(gòu)提取特征信息，擬合用戶興趣，提高預測精度。

7. 特征構(gòu)建

這里主要解構(gòu)一下電商推薦系統(tǒng)中特征的構(gòu)建方式：

初級的方式，一般大家會對用戶和商品進行一些用戶畫像，然后作為特征加入模型。但是長期來看，匹配類的特征非常重要，比如待排序的商品和用戶歷史行為的一個關(guān)系，上面提到的模型中，DIN和DIEN都很好的使用了這種行為序列。匹配特征一般是與點擊特征結(jié)合在一起的，比如用戶對于某個商品的點擊，對于某個類別的點擊，某類用戶對于商品的點擊等等?？梢钥偨Y(jié)為下圖：

8. 評估方式

針對于召回的評估方式，絕大部分都是通過命中率、準確率、覆蓋率、F1-score等方式評估，參考下圖：

但是因為推薦系統(tǒng)是串聯(lián)的，我們往往需要考慮到前置模塊對后置模塊的影響，比如召回對于排序的影響，下圖是LinkedIn的方式。

03