LLM很難變成AGI？科學(xué)家：創(chuàng)造AGI理論上可行

今年9月份OpenAI對(duì)外宣稱，AI能力達(dá)到新等級(jí)，相比之前的LLM，新AI更接近人類的思考能力。OpenAI的斷言引起爭(zhēng)論：到底還要等多久機(jī)器才能具備人類大腦一樣的認(rèn)知能力？

大家爭(zhēng)論的智能就是所謂的AGI，它可以幫助人類解決復(fù)雜問(wèn)題，比如氣候變化、大流行、癌癥治療等等。AGI充滿不確定，它也會(huì)給人類帶來(lái)風(fēng)險(xiǎn)。

加拿大蒙特利爾大學(xué)深度學(xué)習(xí)研究人員Yoshua Bengio說(shuō)：“AI可能會(huì)被誤用，人類可能失去對(duì)AI的控制，這些都會(huì)導(dǎo)致惡意事件發(fā)生。”

過(guò)去幾年LLM飛速進(jìn)化，一些人相信AGI已經(jīng)很接近了，但Yoshua Bengio認(rèn)為，考慮到LLM的構(gòu)建和訓(xùn)練方式，LLM單靠自己不能達(dá)到AGI，因?yàn)槿鄙僖恍╆P(guān)鍵要素。

亞利桑那州立大學(xué)計(jì)算機(jī)科學(xué)家Subbarao Kambhampati說(shuō)：“在我人生的大部分時(shí)間里，我覺(jué)得談?wù)揂GI的人是瘋子?，F(xiàn)在呢？幾乎每個(gè)人都在談?wù)摚悴荒苷f(shuō)他們都是瘋子。”

有關(guān)AGI的爭(zhēng)論，為什么變了？

2007年AGI開(kāi)始流行起來(lái)，它的定義并不精準(zhǔn)，大意是說(shuō)AI系統(tǒng)具備人一樣的推理、泛化能力。回看AI歷史，沒(méi)有一個(gè)AI能達(dá)到AGI水準(zhǔn)，即使是稱霸圍棋界的AlphaGo，它的“超能力”也只是局限于狹窄領(lǐng)域。

現(xiàn)在呢？LLM已經(jīng)改變了行業(yè)。由于LLM具備多種多樣的能力，研究人員認(rèn)為某種形式的AGI可能很快會(huì)出現(xiàn)，甚至已經(jīng)出現(xiàn)。

LLM就是神經(jīng)網(wǎng)絡(luò)，它相當(dāng)于受到大腦啟發(fā)的機(jī)器學(xué)習(xí)模型。網(wǎng)絡(luò)由人工神經(jīng)元組成（或者叫計(jì)算單元），它們排列成層，有著可調(diào)節(jié)的參數(shù)（代表神經(jīng)元的連接強(qiáng)度）。

在訓(xùn)練時(shí)，研究人員用到一種名叫NTP(Next Token Prediction) 的方法，模型被反復(fù)輸入文本，文本被分成很多小塊，這些小塊叫token。在一個(gè)序列中，最后一個(gè)token被隱藏或者掩蓋，讓模型預(yù)測(cè)它是什么。模型會(huì)將預(yù)測(cè)結(jié)果與原數(shù)據(jù)對(duì)比，然后調(diào)整模型參數(shù)，讓它具備更好的預(yù)測(cè)能力。

后來(lái)又出現(xiàn)了Transformer模型，它更進(jìn)一步。Transformer可以讓模型知道有一些token會(huì)對(duì)其它token造成更大影響，如此一來(lái)，LLM可以像人一樣解析語(yǔ)言。

到了這一步，LLM可以生成計(jì)算機(jī)程序，讓程序去解決自然語(yǔ)言中描述的問(wèn)題，它可以匯總學(xué)術(shù)論文，可以回答數(shù)學(xué)問(wèn)題。

有人認(rèn)為，只要LLM變得足夠大，就會(huì)孕育出AGI。CoT（chain-of-thought）提示就是一個(gè)例證，它說(shuō)明LLM可以將一個(gè)問(wèn)題分成更小的步驟，方便解決，也可以讓LLM分步解決問(wèn)題，可惜的是CoT在小模型中表現(xiàn)不太好。

LLM模型的局限性，與大腦的“世界模型”

OpenAI開(kāi)發(fā)的o1模型用到了CoT，能解決更復(fù)雜的問(wèn)題，但它并不是AGI。實(shí)驗(yàn)證明，讓o1處理規(guī)劃達(dá)到16步的任務(wù)時(shí)，o1表現(xiàn)不錯(cuò)，但是如果步數(shù)達(dá)到20-40步，o1的表現(xiàn)會(huì)越來(lái)越差。

研究人員經(jīng)常會(huì)用抽象推理和泛化來(lái)測(cè)試AGI能力，比如讓AI處理視覺(jué)拼圖問(wèn)題。在測(cè)試時(shí)，AI需要觀看實(shí)例，總結(jié)出抽象規(guī)則，然后用規(guī)則來(lái)解決新的謎題。

不論LLM是大還是小，在測(cè)試中表現(xiàn)都不太好，因?yàn)樗鼈冃枰M合學(xué)到的知識(shí)，用來(lái)解決新問(wèn)題。

那么LLM有可能進(jìn)化出AGI嗎？研究人員認(rèn)為，雖然現(xiàn)在我們離AGI還很遙遠(yuǎn)，但是使用Transformer架構(gòu)的LLM和AI系統(tǒng)已經(jīng)具備一些AGI的關(guān)鍵特征。

Transformer LLM當(dāng)然也有一些問(wèn)題，比如訓(xùn)練模型的數(shù)據(jù)快耗盡了。當(dāng)我們訓(xùn)練Transformer LLM時(shí)讓它預(yù)測(cè)下一個(gè)token，這樣做可能太過(guò)片面，無(wú)法進(jìn)化出AGI，構(gòu)建能生成解決方案的模型可能會(huì)讓我們離AGI更近一些。

神經(jīng)科學(xué)家為AI行業(yè)帶來(lái)自己的看法，他們認(rèn)為，大腦可以構(gòu)建“世界模型”，所以才有了智力。所謂“世界模型”就是指周邊環(huán)境。大腦可以想象不同的行動(dòng)方案并預(yù)測(cè)結(jié)果，可以規(guī)劃、推理，人腦還可以模擬不同的場(chǎng)景，將自己在某個(gè)領(lǐng)域?qū)W到的技能應(yīng)用于其它新任務(wù)。要讓AI變成AGI，它需要具備構(gòu)建“世界模型”的能力。

有些研究者認(rèn)為，已經(jīng)有證據(jù)顯示在LLM出現(xiàn)了基本世界模型。另一些研究則說(shuō)，AI系統(tǒng)構(gòu)建的世界模型并不可靠。

當(dāng)今LLM的大缺點(diǎn)，缺少內(nèi)部反饋

谷歌DeepMind AGI研發(fā)團(tuán)隊(duì)成員Dileep George認(rèn)為，缺少內(nèi)部反饋是當(dāng)今LLM的一大缺點(diǎn)。人類大腦有很多的反饋連接，信息可以在神經(jīng)元層之間快速流動(dòng)，由于信息可以從感覺(jué)系統(tǒng)向大腦更高層流動(dòng)，所以我們可以創(chuàng)建出映射環(huán)境的世界模型。不只如此，信息還會(huì)向下流動(dòng)，引導(dǎo)人進(jìn)一步獲得更深刻的感官信息。

在OpenAI o1模型中，內(nèi)部CoT提示看起來(lái)有效，屬于反饋連接，但它無(wú)法保證模型可以進(jìn)行抽象推理。

研究人員為L(zhǎng)LM添加外部模型，這種模塊叫“verifier”（驗(yàn)證器）。驗(yàn)證器會(huì)檢查L(zhǎng)LM 在特定環(huán)境中生成的答案，比如制定可行的旅行計(jì)劃，比如搜索結(jié)果讓人不滿意，它會(huì)重新查詢。事實(shí)證明，搭配驗(yàn)證器的LLM制定旅行計(jì)劃時(shí)比普通LLM好很多，但問(wèn)題在于，研究人員必須為每一個(gè)任務(wù)設(shè)計(jì)定制驗(yàn)證器，沒(méi)有通用驗(yàn)證器。

為了適應(yīng)新情況，AGI需要構(gòu)建相應(yīng)驗(yàn)證器，人類不一樣，我們可以利用抽象規(guī)則確保推理正確，即使處理新任務(wù)也可以從容應(yīng)對(duì)，現(xiàn)在的LLM還做不到。

數(shù)據(jù)問(wèn)題也是阻止LLM進(jìn)化的一大障礙。倫敦大學(xué)學(xué)院理論神經(jīng)科學(xué)家Karl Friston認(rèn)為，未來(lái)的系統(tǒng)也許可以高效確定自己到底需要多少數(shù)據(jù)才能構(gòu)建世界模型并正確推理預(yù)測(cè)，這樣就沒(méi)有必要向模型投喂所有數(shù)據(jù)。聽(tīng)起來(lái)很像是代理、自主體。Karl Friston說(shuō)：“在LLM或者生成式AI中你看不到類似的代理，如果能開(kāi)發(fā)出一種智能，它能在某種程度上進(jìn)行選擇，那就意味著朝AGI前進(jìn)了一大步。”

AI系統(tǒng)應(yīng)該有能力構(gòu)建高效世界模型，集成反饋循環(huán)，盡力降低對(duì)外部數(shù)據(jù)的依賴，通過(guò)內(nèi)部模擬、假定反設(shè)事實(shí)、推理、規(guī)劃來(lái)生成數(shù)據(jù)。

用這種方法能否創(chuàng)造出AGI？計(jì)算機(jī)專家認(rèn)為在理論上是可能的，沒(méi)有障礙。新墨西哥州圣達(dá)菲研究所計(jì)算機(jī)科學(xué)家Melanie Mitchell說(shuō)：“人和其它動(dòng)物達(dá)到智能基本上是一個(gè)道理，我并不認(rèn)為生物系統(tǒng)和其它材料構(gòu)建的系統(tǒng)有什么本質(zhì)區(qū)別，非生物系統(tǒng)達(dá)成智能沒(méi)有什么障礙?！?

即使真的有可能創(chuàng)造出AGI，何時(shí)達(dá)成目標(biāo)大家也沒(méi)有定論，有人認(rèn)為只要幾年，有人覺(jué)得十年之內(nèi)不太可能。當(dāng)AGI出現(xiàn)時(shí)可能不會(huì)那么明顯，AGI會(huì)慢慢展示自己的潛能，它會(huì)被人類發(fā)明出來(lái)，然后擴(kuò)大規(guī)模并應(yīng)用，然后才能真正開(kāi)始改變世界。（小刀）