全球AI泰斗Stuart Rusell：研究人工智能太誘人了，不可抗拒

 UC Berkeley 大學(xué)計算機科學(xué)系教授，人工智能著名教材《Artificial Intelligence: A Modern Approach 》第一作者日前接受了Edge的專訪。目前全世界有1300多所學(xué)校，包括一些知名大學(xué)，都在使用他的書作為人工智能標(biāo)準(zhǔn)教材。這位人工智能界赫赫有名的大師分享了他對人工智能的獨特觀點。他認為，大多數(shù)人對智能的定義都是不清晰的。結(jié)合自己多年來的研究心得，他在訪談中嘗試對“智能”一詞進行定義：有限最優(yōu)性(bounded optimality)。他認為：我仍然不認為我們應(yīng)該將 AI 看作算法的集合。算法只是針對特定問題的高度工程化的產(chǎn)物。

【人物簡介】Stuart Russell，UC Berkeley 大學(xué)計算機科學(xué)教授。他是人工智能著名教材《Artificial Intelligence: A Modern Approach 》第一作者。

研究人工智能太誘人了，不可抗拒

我的工作領(lǐng)域是人工智能，從一開始我就問自己如何能創(chuàng)造真正的智能系統(tǒng)。我的一部分大腦總在考慮下一個障礙會在哪里。為什么我們的認知放在現(xiàn)實世界中總是出錯?錯誤的本質(zhì)是什么?如何避免?如何創(chuàng)造新一代表現(xiàn)更好的系統(tǒng)?同時，如果我們成功了，會發(fā)生什么?

回溯到1994年，利益和可能出現(xiàn)的弊端尚且是均勢的。盡管人工智能可能帶來的大規(guī)模失業(yè)風(fēng)險已很明顯，失控可能出現(xiàn)。如果你建造了比你更聰明的系統(tǒng)，很明顯會有失控的問題。想象你是只大猩猩，問問自己，我的祖先應(yīng)該進化成人類嗎?

從大猩猩的觀點來看，這可不是個好主意。94年我要說我對為什么我們會失去對AI的控制還不太理解。打個比方，人們在猩猩和人類或者人類和超級外星文明中做類比，但問題是猩猩沒有故意去設(shè)計人類，人類也沒有故意去設(shè)計出超級外星文明。

問題的本質(zhì)是什么?我們能否解決?我愿意相信能夠解決。一種解決思路是要么減緩AI的發(fā)展，要么停止發(fā)展智能系統(tǒng)中的某些方面——如果我們不知如何控制它的話。這是非常困難的，因為壓力巨大。我們都想要更智能的系統(tǒng)——它們能帶來巨大的經(jīng)濟利益。

比爾·蓋茨說過，解決了機器學(xué)習(xí)的問題，抵得上十個微軟。彼時，那要花掉4萬億，這對人類推進技術(shù)進步來說還算是劃算的。我們?nèi)绾巫孉I更能干?如果可以，我們?nèi)绾文茏尳Y(jié)果對我們更有利?這是我經(jīng)常會問自己的問題。

我問的另一個問題是：為什么我的同事們沒有問自己這樣的問題?是因為惰性嗎?一個典型的工程師或計算機學(xué)家是不是已經(jīng)陷入了某種慣性思維?或者他們是在一條他們沒有想過通往何處的軌道上，也從來不會去想是不是應(yīng)該停下來或者慢下來?或者只是我錯了?在我的思考中，是不是有一些錯誤，將我導(dǎo)向了失控的誤判?我總在問自己是不是我錯了。

我審視了人們關(guān)于這個問題是否值得注意的爭論。他們不愿意直面這個問題，因為似乎反對聲是來自于人類的一些防備心。很明顯，威脅是存在的。我們可以看看原子物理學(xué)的發(fā)展歷史。有一些非常著名的原子物理學(xué)家就是不承認原子物理學(xué)會導(dǎo)向核武器。

核武器的想法大約出現(xiàn)在至少1914年，當(dāng)時H.G.Wells寫了World Set Free，其中他描述了一種原子炸彈的武器。物理學(xué)的部分他寫的不是太準(zhǔn)確。他想象原子炸彈能夠持續(xù)爆炸數(shù)周，釋放出巨大的能量，會給一座城市帶來巨大的能源。基本就是這樣。也有一些物理學(xué)家，比如Frederick Soddy，預(yù)見到了風(fēng)險，但更有像Ernest Rutherford這樣的科學(xué)家就是不承認可能出現(xiàn)的危險。直到Leo Szilard發(fā)明原子鏈反應(yīng)的前夜，Rutherford 還在否認。正式的實體建設(shè)本可以避免，而從無到有也不過區(qū)區(qū)16小時。

我不認為AI會發(fā)生同樣的事情，因為我們還有一個瓶頸需要突破。Szilard似乎就是突破了一個瓶頸，想出了原子鏈反應(yīng)的方法，不過在真正的核反應(yīng)被演示出來，這仍然花了5、6年的時間。

5、6年只是彈指一揮間。如果我們有5、6年時間搞出超級人工智能系統(tǒng)，我們也就不用擔(dān)心控制問題了，同時我們也可能會看到消極的結(jié)果。如果幸運的話，它們會被限制起來，這就會成為一個我們?yōu)槭裁床灰@么做的反面例子。就好像切爾諾貝利被用來說明為什么要限制原子能反應(yīng)一樣。

早先我沒有太多考慮過限制和控制的問題。我的第一個AI項目是1975年的一個國際象棋程序，當(dāng)時是在高中。那時我讀了很多科幻小說，還看了《2001漫游》和《星際迷航》。在流行文化里，人工智能失控應(yīng)該是猴年馬月的事情。

年輕時我是個單純的科技樂觀主義者，對我來說研究人工智能太誘人了，不可抗拒。高中時我學(xué)習(xí)了計算機科學(xué)，對機器學(xué)習(xí)非常感興趣，我寫了一個小游戲程序，接著就是那個國際象棋程序。我讀了一些AI方面的書籍，不過那時我并不覺得AI是個嚴(yán)肅的學(xué)術(shù)領(lǐng)域。

從物理學(xué)到人工智能

我希望成為物理學(xué)家，所以本科選擇了物理學(xué)。我和物理學(xué)畢業(yè)生、博士后和一些導(dǎo)師聊了聊，對于原子理論的未來不太樂觀。你得花個10年在290個作者里脫穎而出，如果走運的話，再花個十幾年成為博士后，然后你可能得到一個教職，但也有可能成為一個出租車司機。

1982年我畢了業(yè)，沒什么大事。弦理論開始流行了。人們在尋找物理學(xué)的大一統(tǒng)理論，卻沒找到什么靠得住的。我記得非常清楚，我和當(dāng)時任教的Chris Liewellyn Smith有過一次交談——他很快就要去CERN當(dāng)主任了——我問他在做些什么。在所有我認識的和在哈佛上過課的老師中，他是最聰明的一個。他說他也在搞大一統(tǒng)理論，還在努力把它們轉(zhuǎn)換成數(shù)理邏輯。因為學(xué)過一點AI，我明白他的意思。數(shù)理邏輯可以讓人直接比較兩個理論，來判斷它們是否相等或產(chǎn)生可測試的結(jié)果。對物理學(xué)家來說，這是個相當(dāng)新的想法，不光是供爭論，而且能提出數(shù)學(xué)上的證據(jù)。

他檢驗了81條理論中的64條，結(jié)果只有3條獨立的理論，所以人們只是在書寫理論，都沒意識到他們和別人總結(jié)的理論沒什么不同。

這3條理論中有2條，原則上，是無法測試的，這意味著整個宇宙里都沒有可供觀測的結(jié)果。第三條可以被測試，但想看到任何可供觀測的結(jié)果要花上1031年。對我來說，這次談話相當(dāng)壓抑。平衡可能就是那時被打破的——還有關(guān)于畢業(yè)生和博士后的那件事——我于是投身到計算機科學(xué)，去了加州。

斯坦福受訓(xùn)

到達斯坦福的時候，我?guī)缀鯖]碰上任何計算機學(xué)家。我在高中和大學(xué)之間的那段時間，在IBM工作了一年。他們有一些非常好的計算機學(xué)家。在那兒我做了一些有意思的事，我對人工智能領(lǐng)域的計算機學(xué)家是個什么樣子也多少有了些認識。

在Edinburgh我遇到了Alan Bundy，我也是在Edinburgh被授予的博士學(xué)位，那里有英國最好的AI項目。很多人建議我如果我能進斯坦?；蛘進IT，我應(yīng)該從二者里挑一個。盡管比申請截止時間晚了6周，我還是進了斯坦福。他們愿意考慮我的申請真是太好了。

我剛到那兒的時候，我的第一任導(dǎo)師是Doug Lenat。Doug非常積極樂觀，充滿干勁，他研究的問題也很酷。他繪制了他的Eurisko系統(tǒng)，作為一個多層機器學(xué)習(xí)系統(tǒng)，被用來自由成長為一個智能系統(tǒng)。

Doug很有野心，我喜歡這一點。我和他工作了一段時間。不幸的是，他沒有終身職位。對于任何學(xué)術(shù)機構(gòu)來說，他的野心可能有些太大了。有些人沒有看到他論文和實驗中的嚴(yán)謹和清晰。

然后我和Mike Genesereth一起工作，他在數(shù)學(xué)上更為嚴(yán)謹。每篇論文都應(yīng)該有理論支撐。他想建立一套非常牢固的能力和概念的體系，但仍然有建立真正智能系統(tǒng)的野心。他對諸如自動診斷、自動設(shè)計這樣的應(yīng)用類科技也有興趣。

我和Zohar Manna有一些交流，他更像一位計算機邏輯學(xué)家，對用邏輯學(xué)來驗證和綜合推理更有興趣。我從他那里吸取了不少有趣的想法。不過，他對AI不是特別感興趣，所以我們不是太合得來。一度我曾希望請Doug Lenat 和Zohar Manna作為我的兩位論文導(dǎo)師，但他們之間根本沒有溝通，所以沒能如愿。

82年我去了斯坦福。那里有Feigenbaum，Nils Nilsson 就在距離不遠的SRI。Minsky當(dāng)時還有點不太顯眼。他論文發(fā)表得比較少。1976年他已經(jīng)發(fā)表了那篇Frames的論文，有些影響。斯坦福，像很多大學(xué)一樣，有他們的AI分支，而且他們也不太把他們自己的學(xué)生介紹到其他學(xué)校的AI分支去。

斯坦福有啟發(fā)式算法程序項目，由Ed Feigenbaum帶頭，主要是關(guān)于專家系統(tǒng)的。Mike Genesereth 也參與其中，但他采用的主要是基于邏輯的方法。概率當(dāng)時還不被認為是特別相關(guān)的。當(dāng)時對于為什么你不能在構(gòu)建系統(tǒng)時采用概率論還是有爭論的。

概率論的廣泛介入是Eric Horvitz和David Heckerman這兩個醫(yī)學(xué)AI項目的畢業(yè)生以及Ted Shortliffe加入以后的事。他們閱讀了Judea Pearl關(guān)于貝葉斯網(wǎng)絡(luò)的著作，或者像他們當(dāng)時叫的，置信網(wǎng)絡(luò)。我那時開始理解那本著作有多重要了。1988年P(guān)earl的著作問世時，我相信以前我學(xué)到的一些內(nèi)容很可能是錯的了。使用概率論是完全可行的，實際上，面對不確定性，它的效果比基于規(guī)則的方法好得多，此前斯坦福一直在推行基于規(guī)則的方法。

我的論文研究是機器學(xué)習(xí)方面的，但使用了邏輯工具來理解學(xué)習(xí)系統(tǒng)內(nèi)部發(fā)生了什么，尤其是，一個學(xué)習(xí)系統(tǒng)如何能借助它已經(jīng)學(xué)會的東西來幫助它進一步的學(xué)習(xí)新知識。到今天為止這個問題仍很關(guān)鍵，因為當(dāng)人類學(xué)習(xí)時，他們是借助一切他們已知的信息來理解未知的。

人類通常會從一、兩個典型的現(xiàn)象或一種新接觸的事物或經(jīng)歷中快速學(xué)習(xí)，而當(dāng)前的機器學(xué)習(xí)系統(tǒng)可能需要數(shù)萬或數(shù)百萬的例子才能達到學(xué)習(xí)的效果。當(dāng)前機器學(xué)習(xí)系統(tǒng)被設(shè)計為只學(xué)習(xí)很少的或零先前經(jīng)驗，因為人類對這個問題什么也不甚了解，但其實這并不是常態(tài)，人類總在不停的積累經(jīng)驗，機器只是模擬了人類生命的前五分鐘的那種無知狀態(tài)。之后當(dāng)人類已經(jīng)知道了一些東西，就會開始使用他們所知道的東西來學(xué)習(xí)下一件事情了。

從零開始學(xué)習(xí)是一件好事，但它不能很好地解釋智力，除非你能證明你開始的這個空無一物的程序，繼續(xù)喂給它經(jīng)驗，它變得超級智能。我們距離那個目標(biāo)還很遠。

有限理性研究

如果你想想當(dāng)前的學(xué)習(xí)系統(tǒng)內(nèi)部發(fā)生了什么 - 我知道這有點跑題 - 我們教他們學(xué)會認識一只羊或奧爾茲莫比爾牌汽車。這些是離散的邏輯類別，我們這樣做是因為它對我們建立了一個羊識別器或奧爾茲莫比爾牌汽車識別器，而且是有用的，但如果這將變成一個更大規(guī)模的智能系統(tǒng)的一部分呢?如果你是一個深層學(xué)習(xí)的信徒，你不相信深度學(xué)習(xí)網(wǎng)絡(luò)會使用離散的邏輯類別或“羊有四條腿”這種明確的知識，你為什么認為訓(xùn)練羊識別器是邁向通用智能的一個步驟，除非通用智能確實使用離散的邏輯類別思考，或者至少反觀人類似乎是這樣的?

我做的第一件被認為是機器學(xué)習(xí)領(lǐng)域的一件大事，就是在有限理性(bounded rationality)上的研究。在我看來，智力是一種做事成功的能力。正確思考或快速地學(xué)習(xí)都有一個目的，就是能夠行事成功，或是選擇最有可能實現(xiàn)目標(biāo)的行動。

智力的定義一直圍繞著經(jīng)濟學(xué)家所推崇的“理性”、控制理論家所關(guān)注的“最佳控制”、運營研究者所提到的“決策問題的最佳政策”。在某種意義上，這些的確是我們想要的智力的正確定義。

在AI中，智力的定義是一種限制性的形式，應(yīng)該有一個邏輯目標(biāo)，比如我想到這個地方，或建造這個建筑——這是對于“成功”的定義，一個智能的機器就是生成保證實現(xiàn)該目標(biāo)計劃的智能體。當(dāng)然，在現(xiàn)實世界中，沒有任何保證，只有權(quán)衡。不確定性和權(quán)衡利弊是被包含在經(jīng)濟學(xué)對于“理性”的定義中當(dāng)中的，是預(yù)期效用的最大化的一部分;但在我看來，這不可能是AI的基礎(chǔ)，因為它不能轉(zhuǎn)化為計算。

如果我們將AI設(shè)置為構(gòu)建效用最大化的智能體，那我們永遠不會達成任何目標(biāo)，因為它從根本上是不可行的，我們甚至不能把效用最大化應(yīng)用在棋盤上。棋盤是一個微小的，離散的問題。眾所周知的，棋盤和完全可觀測的現(xiàn)實世界相比只是滄海一粟。而我們又必須在現(xiàn)實世界中運作，這是將會是非常龐大的。我們不知道規(guī)則是什么，我們不能縱觀世界的全部。世界是那么復(fù)雜，有數(shù)以萬計的微小因素在影響著它。如果想從尋求所謂完美的理性出發(fā)，那便是自尋死路。

定義智能：有限最優(yōu)性

鑒于此，我努力提出一種定義智力的新方法，力求可以提出一套有指導(dǎo)意義的解決方案。這就是有限最優(yōu)性(bounded optimality)的概念。大致解釋說來，如果你有一臺機器，機器是有限的——因為它的速度是有限的，內(nèi)存是有限的，這意味著只有有限數(shù)量的程序可以在該機器上運行，并且在該有限集合中，一個或一些等效類程序比所有其他程序更好——這是我們應(yīng)該關(guān)注的。

這就是我們所說的某個機器的有限最佳程序，也可以引申為某個工作環(huán)境下的最佳程序。我們可以在這種思路下取得進展是因為我們在有限能力的機器和有限條件的環(huán)境中來思考去怎樣解決問題。我們可以說，“這是，對于那臺機器和這個環(huán)境下，最好的程序?？紤]到機器不能無限快地運行，它只能做一定量的計算。

在我年輕的時候閱讀了很多哲學(xué)，啟發(fā)了我提出這些想法。哲學(xué)家所做的事就是尋找那些讓你困惑的地方，或者有一些明顯的悖論和需要解決的問題的地方。我們退后一步，我們說：“好吧，我們很困惑，或者我們有一個矛盾，因為我們默認了一堆關(guān)于我們應(yīng)該解決什么問題的假設(shè)。如果我們抓住這些概念性的障礙不放，就不能做出正確的事，那么我們應(yīng)該如何退一步并改變問題的定義呢?

我們一直在做的是試圖定義什么是“理性行動”，也就是效用最大化的行動，然后就可以說：“好吧，AI的目標(biāo)是建立總能選擇理性行動的系統(tǒng)。事實上，對于有界系統(tǒng)，理性行動的概念是沒有意義的，就像是你非要問“如果我不可能計算我應(yīng)該做什么，我該怎么辦? “。這個問題是沒有答案的。你只能談?wù)勁渲檬鞘裁?，?dāng)在現(xiàn)實世界面臨決策問題時，我能盡力而為。

理性元推理

我在Kahneman和Tversky是研究生時就注意到了他們的觀點，他們對“理性”的批判是有實驗支持的。所有的實驗表明，人類在經(jīng)典意義上并不是理性的。從人工智能的角度來看，這就提出了新的問題，AI應(yīng)該關(guān)注什么?我們不打算復(fù)制人類，人類的很多行為只是進化史中很多事件的累積結(jié)果。沒有人說人類本身就是登峰造極之作，但是也沒有人能說還有比大自然更好的配置人類的大腦的方式。

現(xiàn)在，很多人重新詮釋人類非理性行為，以此證明人類的有限最優(yōu)性。如果你能做出足夠的假設(shè)，你可以證明人類所犯的所謂的錯誤，是在人類硬件的限制下的最優(yōu)程序所產(chǎn)生的某些后果。程序犯這些類型的錯誤完全是可以預(yù)判的，也是合理的。所以如果你是有限的，無法做無限量的計算，那么你應(yīng)該計算些什么?這就引出了我們所謂的理性元推理(rational meta-reasoning)，簡單可以理解為，你做的計算就是有助于你盡快提高最終決策質(zhì)量的計算。

你可以把這個應(yīng)用到下棋上，并使用它來控制這個下棋程序的搜索。機器可以在游戲中提前思考數(shù)十億步棋，但是一個人最多只是提前思考幾十步。人類如何選擇值得思考的東西?這就是個問題。到底什么值得思考?

很顯然這類問題就不值得考慮，比如“好，如果我下這步棋，然后我的對手下這步愚蠢的棋...”為什么要這么想呢?他不太可能做出那么愚蠢的回應(yīng)，所以不值得花時間思考如果他做出那個愚蠢的回應(yīng)，我將如何贏得比賽。但是，人類就通常會這樣想。當(dāng)你學(xué)會下棋時，你不用學(xué)習(xí)alpha-beta樹搜索算法 ，這個算法用于如何在樹的各個分支之間分配你的思考時間。我們的大腦能很自然地知道或?qū)W習(xí)如何將思想分配給不同的可能性，然后很快做出一個好的決定。

我想出了如何做到這一點，并表明你可以應(yīng)用這種理性元推理技術(shù)來控制諸如游戲樹搜索之類的東西，即使沒有設(shè)計算法，也能獲得非常好的結(jié)果。

我仍然不認為我們應(yīng)該將 AI 看作算法的集合。算法是針對特定問題的高度工程化的產(chǎn)物。我們有非常高度工程化的雙人游戲的算法。當(dāng)你去玩一個像步步高這樣的三人游戲，你便需要一個全新的算法。然而，人類不是這樣的。人類學(xué)習(xí)下棋，學(xué)習(xí)玩步步高，不需要工程師給出一個新的算法。所以，人類的思維過程必然是從一些更統(tǒng)籌的控制過程中來進行思考和計算，然后得出決策。

也許你也可以說它確實是一個算法，但它是一個能計算出所有能進行計算的價值的算法，然后它只做最有價值的一類計算。這是才是這個算法的本質(zhì)。這種算法規(guī)則適用于所有不同類型的游戲 - 單人搜索問題，雙玩家，有幾率的雙玩家問題，多玩家，規(guī)劃問題，等等。這個普適性值得被注意。

有兩個貢獻是我在80年代末和90年代早期工作中最驕傲的：第一，認識到有界最優(yōu)性是對智力的定義中最后行為指導(dǎo)意義的概念;第二，就是理性元推理的技術(shù)。

在思考了很多關(guān)于理性和智力的問題后，我決定寫一本教科書，因為我沒有看到這些概念在現(xiàn)有的AI教學(xué)中被清楚地列出來。大多是千篇一律都是：“有個領(lǐng)域叫自然語言處理，講的是這些這些;有一個領(lǐng)域叫搜索，說的是這些這些;有一個領(lǐng)域稱為游戲，我會告訴你那些那些。”問題就在于，各領(lǐng)域之間沒有一個統(tǒng)一的線索。

因為沒有整體的線索，所以我寫的教科書中就為人們明確，其實所有問題背后是理性的代理或有限的理性代理。而且，針對搜索問題、游戲、規(guī)劃問題所開發(fā)的特定方法其實只是你對環(huán)境所做的特定假設(shè)后所出現(xiàn)的結(jié)果，以及在這些假設(shè)下做出的所謂理性的決策。在搜索問題中，我們假設(shè)世界是完全可被觀測的，是具有確定性的，而且只有一個代理，等等;在所有這些假設(shè)下，搜索算法是有意義的，但它們只適用于理性決策中的特殊情況。

我在教本科時一直有寫自己的思考，記了長達200頁。我記這些東西的時候并不是為了出書，只是我后來發(fā)現(xiàn)我講的內(nèi)容越來越多地偏離現(xiàn)有的教科書了。

AI冬天在88年左右開始，我昨天還在與Aspen Institute交換電子郵件說起這件事兒。他們曾經(jīng)在80年代時使用“AI冬天”這個詞來指代發(fā)生在60年代末，70年代初的那個“冬天”。“AI冬天”這個詞是Hector Levesque在1986年的一個小型論文中提到的。 “AI冬天”是由“核冬天”這個詞演化而來的，據(jù)我所知這是在1983年國家研究委員會對大型核戰(zhàn)爭對氣候的潛在影響進行了大量研究后所發(fā)明的一個詞。AI冬天這個詞被第一次使用的時候是80年代末，這也是專家系統(tǒng)行業(yè)崩潰的時候。

在那之后，資金枯竭了，學(xué)生也減少了。我非常擔(dān)心這個領(lǐng)域一蹶不振，這個擔(dān)心一部分也是因為我們當(dāng)時還在使用70年代或80年代初寫的教科書。Pearl(貝葉斯網(wǎng)絡(luò)的主要提出者之一)出版社的書在88年出版，那時我們已經(jīng)有了貝葉斯網(wǎng)絡(luò)，解決了許多導(dǎo)致專家系統(tǒng)行業(yè)沒落的問題。

專家系統(tǒng)為什么會失敗

關(guān)于專家系統(tǒng)產(chǎn)業(yè)為什么會失敗，當(dāng)下有著許許多多的原因。他們說：“在我們的經(jīng)濟中，有大量的知識性工作。他們都是很昂貴的，專家很難得到。他們要么是退休了，要么是消失了。所以，在建立以知識為基礎(chǔ)的專家系統(tǒng)上，存在一個很大的經(jīng)濟利基。而建立以知識為基礎(chǔ)的專家系統(tǒng)的方法就是去采訪專家。你應(yīng)該讓他從本質(zhì)上描述他的推理步驟，你把這些知識作為規(guī)則寫下來，隨后，你就能建立基于規(guī)則的專家系統(tǒng)，它能模擬專家的推理步驟。但是，很遺憾，我不認為它會以這種方式運行。

每個人都知道，這些問題中，很多都存在不確定性。醫(yī)學(xué)的診斷是一個典型的例子。每個人對醫(yī)學(xué)診斷的認知有一部分都是醫(yī)學(xué)院所教授的那樣：如果你有這些癥狀，那么你就滿足某些病的條件，如果你滿足了某些病的條件此外還有一些別的狀況，那么你將會發(fā)展到另外一些癥狀。整個推理的過程被假定為，從癥狀到結(jié)論再到診斷結(jié)果。

他們按照這個方向?qū)懥艘?guī)則，當(dāng)然你不能從任何給定的癥狀，就斷定一個人有一個特定的疾病，如阿爾茨海默病。所以在過程中，必須加入不確定性。必須有一些結(jié)合了證據(jù)以支撐結(jié)論，或者否定證據(jù)等等的方法。

它們基本上必須構(gòu)成一種處理所有這種不確定性的微積分，這不是概率論，因為概率論不允許基于規(guī)則的推理步驟。事實上， Pearl 在他的書中所做的一個主要事情就是解釋為什么鏈規(guī)則( chaining of rules )不能得到那些概率論認為你應(yīng)該這么做的證據(jù)。

這些系統(tǒng)的發(fā)展趨勢是，使用少量的規(guī)則，你可以調(diào)整所有規(guī)則的權(quán)重，這樣你在你希望處理的一系列案例上，它能正確地運行。但當(dāng)你的案例范圍變得更大，有更多的規(guī)則和更深層次的鏈接，你會面臨證據(jù)數(shù)量過多或者數(shù)量不足的問題。進而，你在得到最終的結(jié)論時，也會面臨更多的問題，因為你的確定性遠比你真正想要的高得多。這都是真的，因為規(guī)則基本上是在運行一個泵循環(huán)，由于他們自身處在推理過程中，所以他們會獲得越來越多的的確定性。

實際情況是，一些公司在建立了大型的專家系統(tǒng)后，他們發(fā)現(xiàn)，讓這些系統(tǒng)得到正確的結(jié)論，以及系統(tǒng)的維護都變得越來越難。還有一些別的原因，比如，你不得不買一個Symbolics Lisp機器運行來這些包(packages)。您無法將其與其他數(shù)據(jù)處理硬件和軟件集成。你必須雇傭特殊的AI程序員，他們知道如何在Lisp中編程。這其中有很多原因，但主要的是技術(shù)本身有缺陷。

另一個有趣的問題是：人類的知識就是人們所認為的形式嗎? 這些你用證據(jù)鏈接起來的規(guī)則，會隨著你的推進增加不確定性嗎?事實證明，要采訪人并得到那些規(guī)則是非常困難的。你一般不會問，“如果你看到癥狀A(yù)，B和C，你能得到什么結(jié)論，確定性如何?你反而會問，“如果一個人有這種疾病，我們一般能見到看到什么癥狀?這是在因果方向上的，也是專家如何理解健康和疾病的。他們的認知方式是：“這種微生物寄宿在你的腸道，導(dǎo)致這種情況發(fā)生，所以會發(fā)生這些癥狀，這就是為什么我們看到一個人眼里含有血絲” 。

當(dāng)Horvitz 和Heckerman采訪專家時，他們發(fā)現(xiàn)可以非常迅速地從疾病到癥狀的方向提取這些因果條件概率，對于專家來說，估計這些概率是非常自然的，而且這些概率也是非常穩(wěn)定(robust)。想想這樣，如果一個人有腦膜炎，肯定有一個因果過程，導(dǎo)致他們有一定的癥狀，因果過程是獨立的。它與患者群體的大小無關(guān)。

但看看它的另一方面：腦膜炎給你的印象是一個僵硬的脖子。那么，如果有人頸部很僵硬，他們患有腦膜炎的可能性是多少?這取決于很多因素，比如是否有腦膜炎傳染病流行?為什么這個病人在我的辦公室第一個感染?他們的狀況是不是真的很糟糕?還是他們之所以頸部很僵硬，是因為曾經(jīng)遇到過車禍?

你可以在因果方向評估的可能性，被認為更有穩(wěn)定性。在更寬的范圍中，它們比診斷方向的概率更有效，因為該概率是否有效 ，也就是你頸部僵硬是不是以為這你患有腦膜炎，這高度依賴于個體之外的其他情況。以及所以所有這些問題一起使專家系統(tǒng)行業(yè)失敗了，并且，它的失敗非?？?。

關(guān)于深度學(xué)習(xí)

在這些領(lǐng)域發(fā)生的事是：有一些新的技術(shù)在出現(xiàn)?，F(xiàn)在的深度學(xué)習(xí)，似乎每個人都在說：“如果我沒能抓住這一技術(shù)，沒能在公司內(nèi)建立一個知道如何使用這一技術(shù)的小組，那我會被遠遠地甩在身后。”所以，許多公司都開始對深度學(xué)習(xí)技術(shù)進行投入，但是，沒有任何證據(jù)表明深度學(xué)習(xí)技術(shù)可以有效地解決他們的難題，僅僅是基于一個假設(shè)——如果我不這樣做我就落后了。這一技術(shù)有著獲利潛力，我們無法承擔(dān)錯過它的損失。

所以他們在守株待兔，也許在六個月或一年后，他們?nèi)匀辉诘却麄兊耐顿Y回報，不管這種回報是什么。然后他們開始聽到一些傳言，比如，類似的公司在嘗試六次后失敗的故事——因為深度學(xué)習(xí)并沒有解決公司要解決的問題，這一技術(shù)對很多問題都不管用。所以，他們很快就失去信心了。

所有這些還沒使用深度學(xué)習(xí)技術(shù)獲得成功的公司可能會在一夜之間轉(zhuǎn)變自己的思維方式，從“維持我們的競爭力是至關(guān)重要的”轉(zhuǎn)變到“我們最好早點擺脫它，不然我們會看起來很蠢”。這就是80年代后期發(fā)生在專家系統(tǒng)技術(shù)上的事。

這是一個恥辱，因為當(dāng)時我們已經(jīng)有了技術(shù)解決方案，它能減少很多這些困難。

我記得1993年，我和一群華爾街人一起去吃飯。當(dāng)時，在他們眼中，我就是個怪胎。我向他們解釋，我從事人工智能，在他們聽來，我就像在做冷融合工作一般，他們的反應(yīng)是：“AI失敗了。對嗎?它已經(jīng)不復(fù)存在。”在他們看來，AI和基于規(guī)則的專家系統(tǒng)在商業(yè)市場中似乎是同一件事。在華爾街和投資者社區(qū)的心目中，它不存在。他們的觀點是，“忘記它吧”，當(dāng)然，在學(xué)術(shù)領(lǐng)域，我們?nèi)匀辉谕七M。

經(jīng)典教材是如何煉成的?

正如我所提到的那樣，我在1994年寫了一本教材，想盡可能多地把我們知道的如何使用理性智能體框架的知識融入書中，然后再加入大量關(guān)于概率決策的理論知識。Peter Norvig 是書的合著者。 我當(dāng)時有一些課堂講義，Peter 會時不時地到伯克利來。他當(dāng)時是在波士頓的SUN 工作，在那有一個實驗室。

在Peter 回到伯克利時，我們一起與Robert Wilensky 討論是不是可以寫一本伯克利 AI 課程教材。Robert 是 Peter 的導(dǎo)師，他對AI 有自己獨特的觀點，他曾是Roger Schank 的學(xué)生。雖然我非常喜歡Robert的陪伴，但是我們依然很難在內(nèi)容上達成一致。我們對于人工智能的看法有根本上的差異，所以無法展開工作。他有著強勢的個性，所以當(dāng)時我們之間也有很多的爭吵。不幸的是，幾年前，他去世了。

但是，Peter 確實一個非常好相處的人，他的隨和簡直讓人難以置信。這也是他為什么如此成功的一個原因。 他從來不會試圖凸顯自我或者能力，他是完全理性化的。你可以和他討論，他不會覺得受到威脅。他也不試圖威脅你，所以與他合作是非常有效率的。他也是一個好的作家和一個偉大的程序員，所以我們花了很多時間一起寫關(guān)于這本書的代碼。在這本書上，我們做的另一個重要的事情是，嘗試建立建一套完整的代碼，以反映書的原則，書中的理性智能體框架是通用的。我們在一定程度上取得了成功。雖然不完美，但它是一個進步。

這本書將 Pearl 此前所做的工作，還有一些其他的想法，帶到了聚光燈下。強化學(xué)習(xí)也是出現(xiàn)于80年代后期，但是，并沒有被廣泛地了解或者學(xué)習(xí)。當(dāng)時，大多數(shù)AI 研究者都不了解馬爾科夫決策過程的整個概念。我們試圖搭建橋梁，展示 AI 是統(tǒng)計學(xué)和運籌學(xué)的繼續(xù)，它研究的是馬爾科夫決策過程。因此，他們做的事是就是在不確定性下做決策。

在經(jīng)濟學(xué)上，學(xué)習(xí)效用理論(utility theory)，你怎么搭建這些用來描述價值的函數(shù)?我們試圖把所有這些都帶進來，并且創(chuàng)造與其他領(lǐng)域的聯(lián)系，這對AI 領(lǐng)域的發(fā)展也是有用的，讓人們意識到，比起只是閱讀上一年的大會程序手冊然后對論文做一些小改動，AI 領(lǐng)域還是有很多研究需要做的。其實，在所有這些與我們關(guān)心的一些問題相關(guān)的領(lǐng)域已經(jīng)有很多文獻。所以在1994年，這本書的成果有點讓人意外。

這是個很有意思的事。伴隨智能系統(tǒng)而來的風(fēng)險要追溯到 AI 歷史的早期。 “ Robot ”這個詞來自1920年的一部捷克戲劇，在那個戲劇上，機器仆人崛起并接管世界。在 AI 領(lǐng)域，既有的風(fēng)險一直都是一個威脅。圖靈曾經(jīng)談到這個話題：我不知道你能叫它自暴自棄還是什么，但是，“在某個階段，我們應(yīng)該期望機器控制。

“智能爆炸”(intelligence explosion)一詞，來自 I.J. Good 發(fā)表在1965年的一篇論文，他指出，足夠智能的系統(tǒng)可以做自己的AI研究和硬件設(shè)計，并迅速生產(chǎn)他們的下一代，然后這個過程將加速，人類將被遠遠地摔在身后。當(dāng)時，人們看著他的文章，說，“這聽起來不錯，”然后他們只是回去工作，好像實際的語義內(nèi)容是不相干的。

Norbert Wiener 1960年在一篇論文中寫道。他看到了 Arthur Samuel 的跳棋程序，這是一個通過自己下棋進行學(xué)習(xí)的程序，最后在跳棋上能力還勝過了 Samuel 。這件事在1957 和1958年時很好地證明了，人們認為計算機只能完成編程所要求的任務(wù)是一個絕對錯誤的認知。如果機器具備學(xué)習(xí)能力，那么它就能超過程序員自身。

Wiener 正處在開始思考技術(shù)對人類的影響的問題，以及如果我們遵循現(xiàn)在的道路，我們能否在長期的未來獲得成功。他使用了魔法師的學(xué)徒(Sorcerer’s Apprentice)作為例子，“如果你把一個目標(biāo)輸入機器里，你最好絕對地保證這一目的是你真正想要的”，他說。這是自動化所面臨的一個大問題，他當(dāng)時所說的自動化就是我們現(xiàn)在所說的智能系統(tǒng)或者AI。

所以，要思考，或者甚至是想象未來會發(fā)生什么都是非常困難的。但是，如果我們沒有讓其走在正確的方向，我們可能會面臨一個并不那么美好的未來。我們需要做的是盡最大的努力弄清楚這一事情。所以，我認為這篇論文是很有價值的。

AI 100 報告“不可理喻”

在英國有政府任命的所謂健康和安全官員，一個忙著走進每個人的辦公室說“噢，你應(yīng)該關(guān)上窗戶”或“你的車道得拓寬一些”，等等。不過你想象一下100萬年前這位健康和安全官員走到那些可憐的先民面前說“啊，你可不能吃那些東西，不安全啊。你的頭發(fā)可能會著火啊。這可能會引起全球變暖啊!必須得停下來啊!”

100萬年前，限制科技的發(fā)展太早了。但懷著對全球變暖問題的尊重，我要說100年前其實是個很好的時間點，或者120年前。那時我們已經(jīng)發(fā)明了內(nèi)燃機和發(fā)電及電力系統(tǒng)，我們本可以在完全依賴于化石燃料之前，在發(fā)展風(fēng)力和太陽能發(fā)電方面投入更多的精力。而且我們也知道，Arrhenius和其他科學(xué)家早就預(yù)言了用掉這些化石燃料的結(jié)果。

Alexander Gram Bell為此寫過論文，但被忽視了。沒有投票選擇的過程。政府更愿意聽從企業(yè)的游說，而非科學(xué)家。你可能會說是科學(xué)家發(fā)明了內(nèi)燃機，但他們也發(fā)現(xiàn)了全球變暖并且提出了相應(yīng)警告。社會傾向于聽那些好話，但無視那些逆耳忠言。

當(dāng)基因工程在70年代啟動時，多數(shù)人不知道那意味著什么。大多數(shù)人甚至不知道DNA是什么。如果當(dāng)時解釋得能更充分清晰，他們很可能會同意科學(xué)家的決定，那就是：1)我們要對這方面的實驗嚴(yán)格限制，以免意外制造出感染人類的疾病氣管;2)我們不允許修改人類基因圖譜的實驗。這就是科學(xué)家所做的，值得贊揚。

這種做法尤其顯得難能可貴，鑒于長期以來基因?qū)嶒灥哪康氖撬^的人類種群的優(yōu)化。這就是誕生于加州但20世紀(jì)30年代移入德國的優(yōu)生學(xué)。這些研究的主要目的之一就是這個。

因為他們會說，“我們可以這么做，但我們不做，因為會產(chǎn)生不希望的社會后果。”我想這是非常勇敢的。本來發(fā)起一個真正的公眾討論會很有趣。我相信他們不會允許記者出席。

對于一個民主國家來說，要決定那些復(fù)雜的技術(shù)問題的界限何在，總是非常困難的。我們?nèi)绾蜗拗坪藙恿?如何限制醫(yī)學(xué)發(fā)展?限制經(jīng)常是伴隨著災(zāi)難而來的，而且限制很難充分設(shè)計，因為人們正處在災(zāi)難帶來的憤怒和恐懼之中。

對于AI的發(fā)展，我希望能充分設(shè)計，盡量未雨綢繆，并意識到回避問題不是辦法。 比如說，我看到了幾周前剛剛出爐的AI100報告。Eric Horvitz 完成了這個關(guān)于斯坦福百年來關(guān)于AI研究的報告。他們應(yīng)該每隔幾年就發(fā)布這樣一篇報告。一些科學(xué)家合力完成了這份報告，試圖預(yù)測到2030年AI會對一個典型的北美人的生活產(chǎn)生什么影響。到時會出現(xiàn)什么樣的技術(shù)，有何影響?他們討論了風(fēng)險，基本上他們否定了達到人類水平AI的可能性，這在我看來有些不可理解。如果他們是AI學(xué)院的正式員工，那他們真應(yīng)該集體辭職。報告說可能會有風(fēng)險，但我們不應(yīng)該去討論它，因為這可能會阻礙相關(guān)的研究，這簡直是不可理喻。