優(yōu)步研發(fā)出人工智能新算法 取得了不小的進(jìn)展
一種新型的機(jī)器學(xué)習(xí)算法剛剛掌握了一些已被證明是人工智能的頭疼的回歸視頻游戲。
接下來的人將會(huì)知道人工智能算法在古老,優(yōu)雅的策略游戲Go中擊敗了世界頂級(jí)人類玩家,這是最難以想象的游戲之一。但是,來自8位電腦游戲時(shí)代的兩個(gè)像素化經(jīng)典作品 - 蒙特祖瑪?shù)膹?fù)仇和陷阱已經(jīng)阻礙了AI研究人員。
這種看似矛盾的原因是有道理的。蒙特蘇馬的復(fù)仇和陷阱雖然看似簡單,但看似簡單!通過強(qiáng)化學(xué)習(xí)已經(jīng)不受掌握,這種技術(shù)本來擅長學(xué)習(xí)征服視頻游戲。DeepMind是Alphabet的子公司,專注于人工智能,著名地用它來開發(fā)能夠?qū)W習(xí)如何在專家級(jí)別上玩幾個(gè)經(jīng)典視頻游戲的算法。強(qiáng)化學(xué)習(xí)算法與大多數(shù)游戲很好地融合,因?yàn)樗麄兏鶕?jù)積極的反饋調(diào)整他們的行為 - 得分上升。該方法的成功使人們產(chǎn)生了希望,AI算法可以教會(huì)自己做各種有用的東西,這些東西目前對(duì)機(jī)器來說是不可能的。
蒙特祖瑪?shù)膹?fù)仇和陷阱的問題!是沒有可靠的獎(jiǎng)勵(lì)信號(hào)。兩個(gè)標(biāo)題都涉及典型場景:主角探索充滿致命生物和陷阱的塊狀世界。但是在每種情況下,許多在游戲中前進(jìn)所必需的行為都無助于提高分?jǐn)?shù),直到很久以后。普通的強(qiáng)化學(xué)習(xí)算法通常無法擺脫蒙特祖瑪?shù)膹?fù)仇和陷阱中的第一個(gè)房間!他們得分正好為零。
這些新算法來自優(yōu)步在舊金山的人工智能研究團(tuán)隊(duì),由Jeff Clune領(lǐng)導(dǎo),他也是懷俄明大學(xué)的副教授。該團(tuán)隊(duì)在一個(gè)環(huán)境中展示了一種根本不同的機(jī)器學(xué)習(xí)方法,該環(huán)境幾乎沒有提供顯示算法的線索。
這種方法引出了一些有趣的實(shí)際應(yīng)用,Clune和他的團(tuán)隊(duì)在今天發(fā)布的博客文章中寫道 - 例如,在機(jī)器人學(xué)習(xí)中。這是因?yàn)槲磥淼臋C(jī)器人需要弄清楚在復(fù)雜的環(huán)境中應(yīng)該做些什么并且只提供一些稀疏的獎(jiǎng)勵(lì)。
優(yōu)步于 2016年12月啟動(dòng)了人工智能實(shí)驗(yàn)室,目標(biāo)是實(shí)現(xiàn)可能對(duì)其業(yè)務(wù)有用的根本性突破。更好的強(qiáng)化學(xué)習(xí)算法最終可用于自動(dòng)駕駛和優(yōu)化車輛路線等事項(xiàng)。
人工智能研究人員通常試圖解決蒙特祖瑪?shù)膹?fù)仇與陷阱所帶來的問題!通過指導(dǎo)強(qiáng)化學(xué)習(xí)算法有時(shí)隨機(jī)探索,同時(shí)為探索增加獎(jiǎng)勵(lì) - 所謂的“內(nèi)在動(dòng)機(jī)”。
但優(yōu)步研究人員認(rèn)為,這無法捕捉人類好奇心的一個(gè)重要方面?!拔覀兗僭O(shè)當(dāng)前內(nèi)在動(dòng)機(jī)算法的一個(gè)主要弱點(diǎn)是脫離,”他們寫道?!捌渲兴惴ㄍ浟怂麄冊L問過的有前途的區(qū)域,這意味著他們不會(huì)回到他們身邊,看看他們是否會(huì)導(dǎo)致新的狀態(tài)。”
該團(tuán)隊(duì)新的強(qiáng)化學(xué)習(xí)算法系列,被稱為Go-Explore,記住了之前的狀態(tài),并將在稍后返回特定區(qū)域或任務(wù),看看它是否有助于提供更好的整體效果。研究人員還發(fā)現(xiàn),通過讓人類玩家突出有趣或重要的區(qū)域來增加一些領(lǐng)域知識(shí),可以大大加快算法的學(xué)習(xí)和進(jìn)步。這很重要,因?yàn)榭赡艽嬖谠S多真實(shí)情況,您希望算法和人員一起工作來解決一項(xiàng)艱巨的任務(wù)。
他們的代碼在蒙特祖瑪?shù)膹?fù)仇中平均得分為400,000分 - 比人類專家的平均值高出一個(gè)數(shù)量級(jí)。在陷阱!它平均增加了21,000,遠(yuǎn)遠(yuǎn)超過大多數(shù)人類玩家。
“這些結(jié)果令人印象深刻,”斯坦福大學(xué)助理教授Emma Brunskill說,他專門研究強(qiáng)化學(xué)習(xí)。她說,令人驚訝和令人興奮的是,這些技術(shù)產(chǎn)生了如此巨大的優(yōu)勢。
其他人工智能研究人員一直在嘲笑這些臭名昭著的硬視頻游戲。10月,舊金山非營利組織OpenAI的一個(gè)團(tuán)隊(duì)展示了一種能夠在Montezuma的復(fù)仇方面取得重大進(jìn)展的算法。
最近,斯坦福大學(xué)的Brunskill小組在陷阱方面取得了較小的進(jìn)展!使用類似優(yōu)步團(tuán)隊(duì)的方法。
現(xiàn)在AI算法可以解決這些視頻游戲,挑戰(zhàn)是從街機(jī)中出現(xiàn)并解決現(xiàn)實(shí)問題。
Brunskill同意這種工作可能對(duì)機(jī)器人技術(shù)產(chǎn)生重大影響。但她說,其他現(xiàn)實(shí)世界的情況,特別是那些涉及人類行為建模的情況,要困難得多?!翱纯催@種方法對(duì)于更復(fù)雜的設(shè)置有多好,這將是非常有趣的,”她說。