圖算法在斗魚反作弊中的實踐

• 斗魚流量風控業(yè)務場景
  
• 斗魚圖算法體系
  
• 圖算法風控建模
  
• 模型實戰(zhàn)
  

01斗魚流量風控場景介紹
斗魚的場景比較特殊，因為其風控業(yè)務面對的主體大部分是主播。對于主播，實際上會有一些虛假的流量，表面上看虛假流量可以提高主播的排面，實際上主播也可能會通過這些流量獲得很多的利益。比如，在薪酬上或者榜單上都會有一定的體現(xiàn)。所以這一塊的虛假流量是我們平臺上相對的一個重災區(qū)，這里列舉了灰黑產(chǎn)刷的比較多的幾塊內容，一個就是主播的人氣，一個是主播的關注，還有主播的經(jīng)驗，以及還有掛貴賓這幾塊。其他的斗魚的場景，比如一些營銷活動、拉新活動，實際上也是有相關的，這些則是所有平臺上會共同面臨的一些問題，這次分享主要就是怎樣通過圖算法去識別這種刷流量的黑產(chǎn)。
02斗魚圖算法體系

這里從整體框架和算法演進的過程介紹斗魚的圖算法的體系。

1. 圖算法整體架構

上圖就是目前我們的圖算法的整體架構。最底層是圖的一些算子，這些算子包含圖的最基本的一些操作，如鄰居采樣、隨機游走和子圖抽取等，我們在底層會做這些算子的開發(fā)和效率的優(yōu)化，在有了這些算子之后，在算子上面就是一些標準的圖算法，比如在圖的構建這一塊，現(xiàn)在有基于知識圖譜的圖的構建和基于行為同步性的圖構建，還有通過KNN的方式去做臨近圖的構建。在圖傳播方面包括常用的標簽傳播算法，在圖分割方面包括聯(lián)通子圖、高位子圖和涉及發(fā)現(xiàn)的一些算法。在圖嵌入方面主要是節(jié)點的插入，有基于拓撲結構的Node2Vec、加入屬性信息的EGES、還有通過標簽信息和隨機性共同考慮去做的圖剪輯的算法。現(xiàn)在圖算法的應用在斗魚場景主要就是風控這一塊。風控這一塊主要運用場景就是做黑產(chǎn)的團伙的挖掘。另外應用方向是會做一些圖Embedding，并將它的結果會作為特征去輸入到下游的一些其他任務中。另外，在推薦場景下，我們也有一些圖上推薦向量召回的應用。以上就是目前我們圖算法的框架。
2. 斗魚圖算法的演進

斗魚圖算法是從2018年開始做的，2018年時實際上采用的是一些比較基礎的圖分割的算法。比如連通圖、數(shù)據(jù)發(fā)現(xiàn)、標簽傳播等。這些算法在當時具有一定效果，但是在往后延伸之后，就發(fā)現(xiàn)這些傳統(tǒng)的圖算法存在一些問題，例如過于依賴圖的構造，如果圖沒有建好或者圖的信息被黑產(chǎn)篡改了，會嚴重影響算法的效果。第二個問題是在做圖割的過程中這些算法比較簡單。它們主要考慮的是節(jié)點與節(jié)點連接的緊密性，但實際上如果只根據(jù)這一點去做這圖割，那么最終的結果是不可控的。常見的問題就是切出來的團伙，要么粒度過小，要么粒度過大，要么沒法解釋。所以在這個傳統(tǒng)圖算法做好之后，要去后置很多規(guī)則，這樣的弊端就是我們會損失很多有問題的團伙，但只能抓住一些有明顯問題的團伙?；谝陨蠁栴}，我們在2019年時一個方面去豐富構圖方法，因為那之前的各種算法大多為直接的關聯(lián)，如用戶喜歡什么設備這種非常直接的關聯(lián)，但豐富構圖方法的主要目的是說去挖掘一些更隱性的關聯(lián)。比如我們通過這種知識圖譜的推理，從而去建立新的實體與實體之間的關聯(lián)?；蛘卟捎靡恍┫嗨贫鹊姆绞饺ザ攘吭緵]有強關聯(lián)的節(jié)點，然后我們給他一些虛擬的關聯(lián)。所以通過豐富構圖算法，可以建立更多的節(jié)點與節(jié)點之間的聯(lián)系。相當于能納入我們這個算法的節(jié)點會更多，另一點我們會去做一些圖的表征學習。那么做圖的表征學習其優(yōu)勢就在于相當于它的信息會更好的融合，而且我們能更方便的融入一些如節(jié)點的屬性信息等，因此，我們不用只去依靠這個邊的一些強度的信息。這樣可以提高識別的覆蓋率，但即便如此，我們還是繞不開圖的構造的問題，即使用這種相似度的方式去構造一個圖，但其業(yè)務含義并不強。另外如果采取這種表征學習，實際上在后續(xù)劃分出的團伙后還是會面臨可行性的問題。另外在這個階段也會出現(xiàn)其他的問題，比如業(yè)務方反饋得到團伙整體沒問題，但是會發(fā)現(xiàn)其中有少量個體和這個團體整體的特征有一些出入，而且這些個體可能是充值或者等級比較高的，那基本就是一個誤殺，所以基于上面這幾點，我們在2020年時候就去做了全場景團伙挖掘的算法。這個算法相當于我們把整個場景都串聯(lián)起來了，而非單場景的，因為團伙的作案可能是多場景的一個流竄作案，那么單場景使用的信息必然就是一個單場景的信息使用。這樣可以提高信息的整體使用效率。并且通過一些手段能夠比較好地去避免一些明顯的誤殺，并且能夠提供非常準確的可解釋性。所以后面在講實踐應用的時候，會具體講自研的全場景挖掘算法，它具體是怎么做的。
03圖算法風控建模

1. 采用圖算法做流量反作弊的優(yōu)勢
用圖去做流量反作弊優(yōu)勢有這樣幾點，一方面如前面我們所說的斗魚場景中有很多主播刷量的場景，這種就很可能是一個黑產(chǎn)團伙的行為，他需要在規(guī)定的時間內去完成這樣一個任務。所以無論這個黑產(chǎn)如何去規(guī)避他的一些行為，這種聚集性和關鍵性是很難去逃脫的，除非他刷單的效率很低。此外只要是在規(guī)定時間內需要達到一定目標的話，他必然是一個頻繁聚集的。關鍵性的操作就會很多，表現(xiàn)在圖上就可以完美的去描述這樣的一個特征，所以圖跟黑產(chǎn)作案的特征是非常契合的。另外除了特征，圖算法對新的攻擊的抗性會比較高。因為圖的特征它并不像統(tǒng)計的特征那么少，可能很快就會被黑產(chǎn)摸清楚是什么的指標或者閾值，圖的拓撲結構就讓人很難去發(fā)覺就是個究竟是哪一塊操作被識別到了。所以用圖來做流量反作弊的話是有很強的魯棒性的。第三個方面就是圖可以對關系數(shù)據(jù)做一些描述。關系數(shù)據(jù)不同于我們平常的一些統(tǒng)計數(shù)據(jù)，它實際上是有一些統(tǒng)計特征在里面的。除了圖算法之外其他模型對關系數(shù)據(jù)的利用和處理都相對復雜一些。所以基于這三點，我們會選擇圖算法，作為流量反作弊的運用。

綜上，我們將所有場景的信息納入到一個模型中，不需要再針對單個場景去做建模。自我學習和防誤殺的兩個機制，保證了生成團伙的準確性，并且因為我們生成的團伙來源于基礎特征，所以通過團伙的特征取值可以迅速的生成團伙的可解釋性，最終相當于我們把從傳統(tǒng)的圖算法演化成了現(xiàn)在的形式，目前的形式在我們的業(yè)務中取得了非常顯著的效果。