展望超級人工智能帶來的威脅，少數(shù)超級大模型專制的局面是喜是憂？

2024年7月6日下午，由上海開放處理器產(chǎn)業(yè)創(chuàng)新中心和芯原微電子（上海）股份有限公司主辦的“RISC-V和生成式AI論壇”，在上海世博中心成功召開。而作為此次論壇的重頭戲，壓軸的圓桌討論環(huán)節(jié)可謂是星光熠熠、干貨滿滿。

中國RISC-V產(chǎn)業(yè)聯(lián)盟理事長；芯原創(chuàng)始人、董事長兼總裁戴偉民博士擔(dān)任了此次圓桌會議的主持人，RISC-V國際基金會理事長戴路、華東政法大學(xué)政治學(xué)研究院院長兼人工智能與大數(shù)據(jù)指數(shù)研究院院長高奇琦、知合計(jì)算CEO孟建熠博士、芯來智融半導(dǎo)體科技(上海)有限公司CEO彭劍英女士、烏鎮(zhèn)智庫理事長張曉東擔(dān)任了此次圓桌會議的嘉賓。

針對未來超級人工智能展位和超級大模型專制的局面解讀，幾位嘉賓都進(jìn)行了精彩地分享。

超級智能何時(shí)能夠到來？影響幾何？

關(guān)于從AI發(fā)展到AGI（通用人工智能），再進(jìn)一步發(fā)展到超人工智能（ASI）的時(shí)間表，目前學(xué)界和工業(yè)界都有很多不同的觀點(diǎn)。預(yù)測具體時(shí)間非常具有挑戰(zhàn)性，因?yàn)檫@不僅涉及技術(shù)發(fā)展的速度，還包括倫理、政策、經(jīng)濟(jì)和社會接受度等多方面的因素。

Aschenbrener（前OpenAI的安全研究員）于今年6月發(fā)布了《警世預(yù)言》，其中指出2027將會是ASI的元年。

那么ASI的到來會給我們帶來何種影響？高奇琦院長認(rèn)為有三個(gè)“失”，可能帶來風(fēng)險(xiǎn)。

1-失業(yè)問題：歷史上自動(dòng)化無疑已經(jīng)對就業(yè)產(chǎn)生了沖擊。如果超人工智能的發(fā)展速度過快，我們可能無法做好充分的準(zhǔn)備，從而引發(fā)更廣泛的失業(yè)問題。

2-失序問題：當(dāng)前大量的人工智能生成內(nèi)容（AIGC）應(yīng)用可能導(dǎo)致信息過載和信息泡沫，進(jìn)而使得信任變得困難。當(dāng)虛假信息泛濫時(shí)，人們可能會對所有信息持懷疑態(tài)度，這種情況可能嚴(yán)重影響社會秩序。

3-失控問題：隨著通用人工智能（AGI）的發(fā)展，存在一種可能性是AI發(fā)展出自我意識，這已成為眾多討論的話題。盡管“意識”難以明確定義，但不能排除這種可能性。此外，如果惡意分子利用這種類似愛因斯坦級別的智能制造病毒或超級武器，將帶來極大的威脅。

針對“失控”這樣的巨大風(fēng)險(xiǎn)，必須要采取有效的應(yīng)對策略。首先，對于大型模型，必須實(shí)施嚴(yán)格的分級制度。例如，對于規(guī)模巨大的模型，應(yīng)采取類似于核武器安全控制的方法來管理。高院長表示，盡管當(dāng)前很難找到恰當(dāng)?shù)谋容^對象，核武器安全的類比可能較為適合。如核武器控制一樣，雖然通過衛(wèi)星圖像進(jìn)行檢查和監(jiān)控曾是常規(guī)做法，但今天這種方法可能已不再適用。因此，我們需要類似的思考和判斷來確保不過多的行為體擁有這種“超能力”，以避免控制上的困難。

而對于“失業(yè)”和“失控”這類問題，高院長提出了合理收取稅費(fèi)這樣的思路。未來人工智能的使用可能引入類似于強(qiáng)制車險(xiǎn)的稅收政策，以應(yīng)對由此產(chǎn)生的問題。這種稅收不宜過重，以免阻礙產(chǎn)業(yè)發(fā)展。收取的稅款可以用于解決人工智能引發(fā)的問題，并可能用于調(diào)節(jié)產(chǎn)業(yè)發(fā)展速度。此外，這種稅收機(jī)制的構(gòu)思可能借鑒碳中和交易的思路。關(guān)于如何建立這一機(jī)制，可以從雙邊逐步擴(kuò)展到多邊，或者采用類似于APCC的全面協(xié)商方式。這將根據(jù)實(shí)際情況靈活調(diào)整，預(yù)計(jì)未來會有此類進(jìn)程的發(fā)展。

少數(shù)大模型專制的局面，是喜是憂？

超級人工智能的實(shí)現(xiàn)，需要的超大規(guī)模的計(jì)算中心來支持超大規(guī)模的大模型訓(xùn)練。而考慮到資源和成本的問題，像一千萬張H100加速卡這樣的計(jì)算資源，可能只有少數(shù)公司或主體能夠負(fù)擔(dān)得起，這種集中可能就會導(dǎo)致超級人工智能的資源分配不均。

張曉東在其發(fā)言中探討了關(guān)于未來人工智能大模型的幾個(gè)關(guān)鍵趨勢和問題。他引用了谷歌前CEO在MIT的演講，提出了一個(gè)未來設(shè)想，即全球可能只存在幾個(gè)超級巨大的AI模型，主要集中在美國和中國，少數(shù)分布在歐洲。這引發(fā)了對于AI資源高度集中的可能性及其帶來的經(jīng)濟(jì)和社會影響的討論。張曉東比較了AI發(fā)展的兩種可能性：一種是極少數(shù)的巨型模型主導(dǎo)；另一種是多個(gè)較大的模型共存。從安全角度考慮，少數(shù)模型可能有助于防止技術(shù)濫用，類似于核擴(kuò)散防控。最后，他提到了技術(shù)發(fā)展可能超越人類理解（如AlphaZero的棋類表現(xiàn)），顯示了超級AI模型的潛在威脅。張曉東認(rèn)為超級人工智能超越人類智力的可能性很大，而是否有辦法來控制超級人工智能尚不明確。“但是現(xiàn)在我們看到的情況，至少不容樂觀、就是從我個(gè)人的觀點(diǎn)來看，不容樂觀?！睆垥詵|坦言到。

而高奇琦院長又從政治學(xué)和全球治理視角出發(fā)，針對全球大型人工智能模型進(jìn)行了分析。他指出，大型模型作為知識生產(chǎn)的基礎(chǔ)，對全球文化有著深遠(yuǎn)的影響。如果世界上僅存在少數(shù)幾個(gè)以英語為主的大模型，那么強(qiáng)調(diào)本土文化的國家可能感到自己被邊緣化，因?yàn)檫@些模型的訓(xùn)練語料中，他們的文化內(nèi)容可能只占很小一部分。最近，日本在開發(fā)“主權(quán)AI”，即為了保護(hù)和促進(jìn)本土文化而構(gòu)建的自主大型模型，這突顯了在全球范圍內(nèi)維持知識多樣性的重要性。高奇琦認(rèn)為，如果全球只有統(tǒng)一的大模型，可能會導(dǎo)致知識的同質(zhì)化，從而消滅文化多樣性。他強(qiáng)調(diào)，找到保持文化獨(dú)立性和參與全球知識競爭之間的平衡是一個(gè)重大挑戰(zhàn)。

人工智慧的“幻覺”，是想象力還是BUG？

當(dāng)談到超級人工智能的威脅的時(shí)候，高院長提出的“失序”問題，其實(shí)是來自于AI的“幻覺”。從產(chǎn)業(yè)應(yīng)用的角度來講，這種“幻覺”是bug，在自動(dòng)駕駛等場景中，甚至可能是致命的存在。而從另一種角度來看，人工智能的“幻覺”恰恰是其非常像人的一種能力，說明其可能具備更好的創(chuàng)作能力。

張曉東和高奇琦均對人工智能的這種“幻覺”表示贊賞，認(rèn)為這是其“想象力”的一種表現(xiàn)。但同時(shí)兩位也強(qiáng)調(diào)到，在某些場景中，需要限制這種能力，要通過類似“檢索增強(qiáng)”的方式，來將一些幻覺導(dǎo)致的差異進(jìn)行“對齊”，從而消除在某些場景中，由于這種想象力可能會給人們帶來的安全隱患。孟建熠也強(qiáng)調(diào)：“如果寫文章這種場景是可以幻覺多一點(diǎn)，但是在別的領(lǐng)域‘智商’低一點(diǎn)、解決一部分的問題，我覺得其實(shí)已經(jīng)夠了?！?