騰訊AI “絕悟”制勝王者榮耀：一天訓(xùn)練抵得上人類440年

昨日，騰訊AILab與王者榮耀共同探索的前沿研究項(xiàng)目-策略協(xié)作型AI“絕悟”在吉隆坡舉辦的王者榮耀最高規(guī)格電競(jìng)賽事—;—;世界冠軍杯半決賽的特設(shè)環(huán)節(jié)中，在職業(yè)選手賽區(qū)聯(lián)隊(duì)帶來的5v5水平測(cè)試中獲勝，升級(jí)至王者榮耀電競(jìng)職業(yè)水平。

而就在同一天，“絕悟”的1v1版本也在上海舉辦的國際數(shù)碼互動(dòng)娛樂展覽會(huì)ChinaJoy首次對(duì)公眾亮相，向頂級(jí)業(yè)余玩家開放為期四天的體驗(yàn)測(cè)試。其中在首日的504場(chǎng)測(cè)試中，“絕悟”的測(cè)試勝率為99.8%，僅有1場(chǎng)輸給了王者榮耀國服第一后羿。

據(jù)悉，“絕悟”名字寓意絕佳領(lǐng)悟力，其技術(shù)研發(fā)始于2017年12月，并在2018年12月通過了由前職業(yè)選手與主播聯(lián)隊(duì)帶來的頂尖業(yè)余水平測(cè)試。

“絕悟”在游戲測(cè)試中的對(duì)戰(zhàn)實(shí)況

此次測(cè)試的“絕悟”版本建立了基于“觀察-行動(dòng)-獎(jiǎng)勵(lì)”的深度強(qiáng)化學(xué)習(xí)模型，無需人類數(shù)據(jù)，從白板學(xué)習(xí)（TabulaRasa）開始，讓AI自己與自己對(duì)戰(zhàn)，一天的訓(xùn)練強(qiáng)度抵得上人類440年。AI從0到1摸索成功經(jīng)驗(yàn)，勤學(xué)苦練，既學(xué)會(huì)了如何站位、打野、輔助保護(hù)和躲避傷害等游戲常識(shí)。

而更令人驚喜的是，AI也探索出了不同于人類常規(guī)做法的全新策略。團(tuán)隊(duì)還創(chuàng)建OneModel模型提升訓(xùn)練效率，優(yōu)化通信效率提升AI的團(tuán)隊(duì)協(xié)作能力，使用零和獎(jiǎng)懲機(jī)制讓AI能最大化團(tuán)隊(duì)利益，使其打法果斷，有舍有得。

探索全新策略：開局時(shí)“絕悟”沒選擇傳統(tǒng)人類對(duì)線走位策略，而是由雙C位英雄虞姬和王昭君先一起清理中路第一波兵線，壓制敵方中輔。之后又轉(zhuǎn)上路壓制曹操血線。

長(zhǎng)線策略：對(duì)線期，賽區(qū)聯(lián)隊(duì)三人壓迫下路，“絕悟”果斷選擇用三個(gè)AI反壓賽區(qū)聯(lián)隊(duì)的上路，最終雙方互換一塔，維持均勢(shì)。

團(tuán)隊(duì)協(xié)作：比賽中期，“絕悟”四人追擊娜可露露，AI達(dá)摩一腳將娜可露露反踢入AI群中，再由四個(gè)AI完美配合拿下自己的首殺。

即時(shí)策略：一對(duì)一時(shí)，賽區(qū)聯(lián)隊(duì)實(shí)力較強(qiáng)的曹操追擊“絕悟”虞姬，虞姬在殘血狀態(tài)退至高地?？吹讲懿倏顾看鬁p后，把握機(jī)會(huì)絕地反殺。

即時(shí)策略+團(tuán)隊(duì)協(xié)作：比賽后期在賽區(qū)聯(lián)隊(duì)的上路高地塔團(tuán)戰(zhàn)，AI王昭君先手被對(duì)方秒殺，“絕悟”果斷選擇反打，以漂亮的一波團(tuán)戰(zhàn)全殲對(duì)手。

即時(shí)策略+團(tuán)隊(duì)協(xié)作：在賽區(qū)聯(lián)隊(duì)全隊(duì)覆滅后，“絕悟”的兵線尚未到達(dá)，下路高地塔還有過半血量，“絕悟”果斷選擇四人輪流抗塔，無兵線強(qiáng)拆塔。注：賽事尾聲，賽區(qū)聯(lián)隊(duì)團(tuán)滅后，“絕悟”未直接推水晶，而是計(jì)算整體收益后，選擇先推最后一個(gè)高地塔，再推水晶直至勝利。

“絕悟”面臨的技術(shù)難點(diǎn)

游戲中測(cè)試的難點(diǎn)，是AI要在不完全信息、高度復(fù)雜度的情況作出復(fù)雜快速的決策。在龐大且信息不完備的地圖上，10位參與者要在策略規(guī)劃、英雄選擇、技能應(yīng)用、路徑探索及團(tuán)隊(duì)協(xié)作上面臨大量、不間斷、即時(shí)的選擇，這帶來了極為復(fù)雜的局面，預(yù)計(jì)有高達(dá)10的20000次方種操作可能性，而整個(gè)宇宙原子總數(shù)也只是10的80次方。

若AI能在如此復(fù)雜的環(huán)境中，學(xué)會(huì)人一樣實(shí)時(shí)感知、分析、理解、推理、決策到行動(dòng)，就可能在多變、復(fù)雜的真實(shí)環(huán)境中發(fā)揮更大作用。因此業(yè)界認(rèn)為下一個(gè)AI里程碑，可能會(huì)在復(fù)雜策略游戲中誕生。世界頂級(jí)科技公司均在推進(jìn)此類研究，如GoogleDeepmind（星際爭(zhēng)霸2）、Facebook（星際爭(zhēng)霸2）及OpenAI（Dota2）等。

關(guān)于“絕悟”更多技術(shù)細(xì)節(jié)解讀，騰訊AILab表示將通過論文等形式進(jìn)一步分享，并通過開放研究，幫助和啟發(fā)更多研究者。

騰訊AILab在智能體研究中取得的進(jìn)展

騰訊AILab一直是此類智能體研究的先行者。2016年起，研發(fā)的圍棋AI“絕藝”（FineArt），現(xiàn)擔(dān)任中國國家圍棋隊(duì)訓(xùn)練專用AI；2017年，啟動(dòng)“絕悟”研發(fā)；2018年，“絕悟”達(dá)到業(yè)余頂尖水平，騰訊還在射擊類頂級(jí)AI競(jìng)賽VizDoom奪冠，并在《星際爭(zhēng)霸2》首先研發(fā)出擊敗內(nèi)置AI的智能體。

而這兩次技術(shù)水平測(cè)試結(jié)果代表騰訊在深度強(qiáng)化學(xué)習(xí)、多智能體決策智能課題上的國際級(jí)AI研究水準(zhǔn)，也標(biāo)志著公司在攻堅(jiān)通用人工智能（ArtificialGeneralIntelligence）難題上更進(jìn)一步。

對(duì)在這兩次技術(shù)水平測(cè)試中所取得的成果，騰訊副總裁姚星介紹，“電子競(jìng)技”將成為策略協(xié)作型AI“絕悟”未來短期內(nèi)的主要應(yīng)用場(chǎng)景。作為數(shù)字時(shí)代最受年輕人歡迎的運(yùn)動(dòng)，電競(jìng)已于2018年成為亞運(yùn)會(huì)表演項(xiàng)目，中國隊(duì)參賽獲兩金一銀的佳績(jī)。與傳統(tǒng)體育項(xiàng)目一樣，電競(jìng)職業(yè)選手也需要手眼腦協(xié)調(diào)、策略和操作快速反應(yīng)、團(tuán)隊(duì)協(xié)作精神及大量刻苦訓(xùn)練。借助在算法和數(shù)據(jù)方面的優(yōu)勢(shì)，AI可為職業(yè)選手提供數(shù)據(jù)、戰(zhàn)略與協(xié)作類實(shí)時(shí)分析與建議，及不同強(qiáng)度與級(jí)別的專業(yè)陪練。以前沿科技推動(dòng)電競(jìng)專業(yè)化發(fā)展，AI將繼續(xù)推動(dòng)中國電競(jìng)在全球范圍內(nèi)保持領(lǐng)先。

而長(zhǎng)期應(yīng)用上，“絕悟”將是騰訊攻克AI終極研究難題—;—;通用人工智能的關(guān)鍵一步。AGI代表研發(fā)能在通用系統(tǒng)中執(zhí)行多種復(fù)雜命令，達(dá)到或超越人類水平的AI，從“絕藝”到“絕悟”，不斷讓AI從0到1去學(xué)習(xí)進(jìn)化，并發(fā)展出一套合理的行為模式，這中間的經(jīng)驗(yàn)、方法與結(jié)論，長(zhǎng)期來看，有望在大范圍內(nèi)，如醫(yī)療、制造、無人駕駛、農(nóng)業(yè)到智慧城市管理等領(lǐng)域帶來更深遠(yuǎn)影響。