控制AI之戰(zhàn)：揭秘谷歌與DeepMind的愛恨情仇

AlphaGo堪稱是經(jīng)典的公關(guān)案例。自被谷歌收購以來，DeepMind曾多次制造奇跡，吸引了全球的關(guān)注。

05.前路漫漫，現(xiàn)實與技術(shù)挑戰(zhàn)并存

從長遠來看，DeepMind看上去已經(jīng)邁出了很大一步。該公司已經(jīng)開發(fā)出軟件，可以學(xué)習(xí)在超人水平上執(zhí)行任務(wù)。哈薩比斯經(jīng)常以雅達利游戲機上的電子游戲《Breakout》為例，玩家控制球棒在屏幕底部水平移動，用它將球反彈到懸浮在其上方的方塊，并在撞擊時將其摧毀。

當(dāng)所有的方塊都被抹去時，玩家就贏了。如果玩家用球棒打偏了球，她就輸了。在沒有人類的干預(yù)下，DeepMind的程序不僅學(xué)會了玩游戲，而且還研究出了如何將球轟到方塊后面的空間，以及如何利用反彈來突破更多的方。哈薩比斯說，這證明了強化學(xué)習(xí)的力量和DeepMind計算機程序的超自然能力。

這是個令人印象深刻的演示。但哈薩比斯漏掉了幾件事。第一，如果虛擬球棒被移動到更高的位置，程序就會失敗。DeepMind的程序所學(xué)到的技能是如此有限，以至于它甚至不能對環(huán)境的微小變化做出反應(yīng)。至少在沒有數(shù)千輪強化學(xué)習(xí)的情況下，它無法對此做出應(yīng)對。

但世界恰好處于這樣善變的模式。對于診斷智能來說，沒有兩個身體器官是完全一樣的。對于機械智能來說，沒有兩個引擎可以同樣的方式進行調(diào)諧。因此，將在虛擬空間中完善的程序發(fā)布道現(xiàn)實世界面臨著重重挑戰(zhàn)。

DeepMind很少提及的第二個警告是，虛擬環(huán)境中的成功取決于獎勵功能的存在，這是允許軟件衡量其進度的信號。該程序了解到，發(fā)射小球到方塊上方的空間使其多次反彈能夠使得分上升。DeepMind與AlphaGo合作的大部分工作是構(gòu)建能與如此復(fù)雜的游戲兼容的獎勵函數(shù)。

不幸的是，現(xiàn)實世界并不提供簡單的回報，進步很少用單一標(biāo)準(zhǔn)來衡量。即使在這些措施存在的地方，政治挑戰(zhàn)也會使問題復(fù)雜化。將氣候健康的獎勵信號(大氣中二氧化碳顆粒的數(shù)量)和石油公司的獎勵信號(股價)相協(xié)調(diào)，需要滿足許多互相矛盾的動機。

獎勵信號往往很弱。人腦在完成任務(wù)的過程中，很少會收到關(guān)于任務(wù)成功的明確反饋。

DeepMind通過使用大量的計算機能力找到了解決這個問題的方法。AlphaGo需要數(shù)千年的人類游戲時間來學(xué)習(xí)任何東西。許多AI思想家懷疑，對于報酬較低的任務(wù)，這種解決方案是不可持續(xù)的。DeepMind承認存在這樣的模棱兩可之處。

該公司最近專注于戰(zhàn)略電腦游戲《星際爭霸2》(StarCraft 2)。在游戲早期做出的決定會在稍后產(chǎn)生影響，這更接近于許多現(xiàn)實世界任務(wù)所特有的那種令人費解和延遲的反饋。

今年1月，DeepMind軟件在一次演示中擊敗了世界上許多頂尖的人類游戲玩家，雖然受到了嚴(yán)重的限制，但其表現(xiàn)仍然令人印象深刻。DeepMind的軟件也開始學(xué)習(xí)獎勵功能，比如遵循人類監(jiān)工的反饋。但是，將人類的指令放入循環(huán)中，可能會失去純粹計算機處理所提供的規(guī)模和速度獎勵。

由于嚴(yán)格的保密協(xié)議，DeepMind和谷歌現(xiàn)任、前任研究人員要求保持匿名，他們也對DeepMind能否通過這些方法接觸到AGI表示懷疑。

對這些人來說，專注于在模擬環(huán)境中獲得高性能使得獎勵信號問題很難解決。然而，這種方法是DeepMind的核心。它有個內(nèi)部排行榜，顯示來自競爭對手團隊的程序爭奪對虛擬域的控制權(quán)。

哈薩比斯始終把生活看作是一場游戲。他的職業(yè)生涯中有很大一部分用來開發(fā)游戲，他的大部分閑暇時間都花在了玩游戲上。在DeepMind，它們是哈薩比斯為開發(fā)AGI而選擇的工具。就像他的軟件一樣，哈薩比斯只能從他的經(jīng)驗中學(xué)習(xí)。

人們對AGI的追求可能最終會迷失方向，因為它發(fā)明了許多有用的醫(yī)療技術(shù)，并超過了世界上最偉大的棋盤游戲玩家。這些都堪稱是重要的成就，但不是哈薩比斯所渴望的。但他仍有可能幫助AGI誕生，就在谷歌的眼皮底下，但卻不受谷歌的控制。如果這樣做，哈薩比斯將贏得最艱難的比賽。