深圳舉辦騰訊大數(shù)據(jù)技術(shù)沙龍首站——Angel專場
近日,騰訊大數(shù)據(jù)技術(shù)沙龍首站——Angel專場在深圳舉辦,騰訊大數(shù)據(jù)團隊詳細披露了騰訊大數(shù)據(jù)十年發(fā)展歷程,并全面展示了騰訊第三代全棧機器學(xué)習(xí)平臺Angel在大模型數(shù)據(jù)訓(xùn)練、深度學(xué)習(xí)、圖計算等方面的技術(shù)能力,也深入分享了在微信支付、效果廣告、微眾銀行等場景上的應(yīng)用案例。
作為大數(shù)據(jù)領(lǐng)域的前沿探索者,騰訊大數(shù)據(jù)從2009年開始, 經(jīng)歷離線計算、實時計算與機器學(xué)習(xí)三個階段,在實踐中積累了大量的經(jīng)驗。大數(shù)據(jù)技術(shù)在過去10多年中極大改變了企業(yè)對數(shù)據(jù)的存儲、處理和分析方式。如今,大數(shù)據(jù)技術(shù)逐漸成熟,涵蓋了計算、存儲、數(shù)倉、數(shù)據(jù)集成、可視化、NOSQL、OLAP分析、機器學(xué)習(xí)等豐富領(lǐng)域。在未來,大數(shù)據(jù)技術(shù)還會往引擎容器化、大數(shù)據(jù)機器學(xué)習(xí)、數(shù)據(jù)湖等方面不斷延伸。
會上,騰訊大數(shù)據(jù)負責(zé)人劉煜宏正式發(fā)布了"星火計劃",他表示:"在騰訊大數(shù)據(jù)十年的發(fā)展歷程中, 我們不斷追求技術(shù)創(chuàng)新, 集群數(shù)從30臺到突破35000臺。2016年,我們打破了計算奧運會之稱的Sort Benchmark 4項世界紀錄,性能全球領(lǐng)先。騰訊大數(shù)據(jù)的發(fā)展從開源中受益,秉承著開放共享的精神, 今天我們也推出技術(shù)共享的'星火計劃',希望能夠助力和反哺大數(shù)據(jù)生態(tài)繁榮。"
騰訊大數(shù)據(jù)發(fā)展"三部曲"
據(jù)劉煜宏介紹,2009年之前,騰訊主要使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫。2009年開始,傳統(tǒng)的單機數(shù)據(jù)庫所提供的服務(wù),在系統(tǒng)可擴展性、性價比方面已不再適用騰訊業(yè)務(wù)爆發(fā)式的增長。面對這種變化,騰訊大數(shù)據(jù)轉(zhuǎn)向分布式,基于開源的Hadoop體系,構(gòu)建了騰訊第一代大數(shù)據(jù)平臺,并建設(shè)離線計算平臺,主要發(fā)力規(guī)模化。騰訊大數(shù)據(jù)由此進入第一階段。三年里,騰訊實現(xiàn)了從關(guān)系型數(shù)據(jù)庫到自建大數(shù)據(jù)平臺的全面遷移,到2012年,騰訊大數(shù)據(jù)的單集群規(guī)模突破了4400臺。
2012年,移動互聯(lián)網(wǎng)爆發(fā),應(yīng)對業(yè)務(wù)數(shù)據(jù)統(tǒng)計及時性、快速性的需求,騰訊大數(shù)據(jù)從Hadoop轉(zhuǎn)向Spark和Storm體系,在吸收開源技術(shù)的基礎(chǔ)上,結(jié)合騰訊自身的需求進行重寫,探索流式計算、秒級采集系統(tǒng)的建設(shè),構(gòu)建企業(yè)級的實時數(shù)據(jù)分析體系,騰訊大數(shù)據(jù)發(fā)展進入第二階段。
2015年至今,騰訊大數(shù)據(jù)邁入了第三階段。隨著數(shù)據(jù)挖掘、數(shù)據(jù)應(yīng)用的深入,騰訊大數(shù)據(jù)再次自我迭代,于2016年推出了自研機器學(xué)習(xí)平臺Angel,專攻復(fù)雜計算場景,可進行大規(guī)模的數(shù)據(jù)訓(xùn)練,支撐內(nèi)容推薦、廣告推薦等AI應(yīng)用場景。它由騰訊與北京大學(xué)聯(lián)合研發(fā),兼顧了工業(yè)界的高可用性和學(xué)術(shù)界的創(chuàng)新性。不僅支撐騰訊自身業(yè)務(wù)需求,在行業(yè)上也具有里程碑意義。
從海量業(yè)務(wù)中來,專注圖計算場景
作為面向機器學(xué)習(xí)的第三代高性能計算平臺,騰訊Angel在稀疏數(shù)據(jù)高維模型的訓(xùn)練上具有獨特優(yōu)勢,擅長推薦模型和圖網(wǎng)絡(luò)模型相關(guān)領(lǐng)域。當前業(yè)界主流的大規(guī)模圖計算系統(tǒng)主要有Facebook的Big Graph、Power graph、Data bricks的 Spark GraphX等,但這些系統(tǒng)并不都支持圖挖掘、圖表示學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)的三大類型算法。
據(jù)騰訊Angel開發(fā)負責(zé)人肖品介紹,騰訊Angel從騰訊海量業(yè)務(wù)場景中而來,是超大樣本和超高維度的機器學(xué)習(xí)平臺。從性能上來看,Angel優(yōu)于現(xiàn)有圖計算系統(tǒng),能夠支持十億級節(jié)點、千億級邊的傳統(tǒng)圖挖掘算法,百億邊的圖神經(jīng)網(wǎng)絡(luò)算法需求。它可運行于多任務(wù)集群以及公有云環(huán)境,具備高效容錯恢復(fù)機制,也更容易支持新算法,同時,Angel能夠較好支持圖挖掘、圖表示、圖神經(jīng)網(wǎng)絡(luò)算法,具備圖學(xué)習(xí)的能力。
如今,Angel已在QQ、微信支付、騰訊廣告、騰訊視頻等騰訊旗下產(chǎn)品中廣泛應(yīng)用,并向微眾銀行等行業(yè)合作伙伴全面開放,普遍適用于智能推薦、金融風(fēng)險評估等圖計算業(yè)務(wù)場景。
到開源中去,積極貢獻社區(qū)
發(fā)布僅一年時間,2017年,騰訊Angel就正式開源。2018年8月,騰訊將Angel捐贈給Linux旗下專注人工智能的LF AI基金會,結(jié)合基金會成熟的運營,全面升級的 Angel與國際開源社區(qū)深入互動,致力于讓機器學(xué)習(xí)技術(shù)更易于上手研究及應(yīng)用。
"Angel在2018年加入LF AI基金會進行孵化后,一直按照開源社區(qū)的模式進行運營,增長速度非???,增加了特征工程、自動機器學(xué)習(xí)等很多新的功能,在Github上增加了超過2000個Star。" Linux Foundation APAC大中華區(qū)總監(jiān)楊軒表示: "Angel是LF AI基金會下最活躍的項目之一,相信不久的將來,Angel將進入LF AI的頂級項目之列。"目前,Angel在GitHub上Star數(shù)已超過5300,F(xiàn)ork數(shù)超過1300,總共有39位代碼貢獻者,提交了超過2336個commit。
面向未來,大數(shù)據(jù)、AI和云的深度融合
劉煜宏表示:"AI、云計算與大數(shù)據(jù)密不可分,Angel從大數(shù)據(jù)平臺到全棧機器學(xué)習(xí)平臺的成長,也驗證了這一行業(yè)方向。未來我們將把騰訊大數(shù)據(jù)的能力和技術(shù),與AI、與云做深度融合,進一步落地大數(shù)據(jù)的價值,更好的助力合作伙伴和用戶。"
騰訊Angel在深度學(xué)習(xí)和圖計算能力的演變,也與大數(shù)據(jù)的行業(yè)發(fā)展方向相契合。據(jù)劉煜宏介紹,未來,騰訊大數(shù)據(jù)將持續(xù)發(fā)力數(shù)據(jù)湖、批流統(tǒng)一(批量計算、流線計算的融合)、AI+大數(shù)據(jù)、云計算+大數(shù)據(jù)四個主要方向。騰訊大數(shù)據(jù)星火計劃是由騰訊發(fā)起、面向大數(shù)據(jù)愛好者的技術(shù)共享體系,基于騰訊大數(shù)據(jù)10年研發(fā)與運營經(jīng)驗,以社區(qū)開源、網(wǎng)絡(luò)課程、線下沙龍、技術(shù)峰會等多種形式,充分開放騰訊十多年來在大數(shù)據(jù)領(lǐng)域的技術(shù)積累。本次Angel專場是星火計劃的首次線下活動。