“學(xué)富五車”的“超級(jí)大腦”，人工智能進(jìn)入“大模型時(shí)代”

什么是架構(gòu)?架構(gòu)是上文中沒有提到的一個(gè)概念，就是說(shuō)這些旋鈕并不是一字排開的，他們分成很多層，不同層級(jí)的旋鈕之間有很多連接。這些層級(jí)和關(guān)聯(lián)關(guān)系就組成了架構(gòu)。比如說(shuō)同樣的十個(gè)旋鈕，下圖中左右兩側(cè)的架構(gòu)是不同的。在參數(shù)量(旋鈕的數(shù)量)和參數(shù)值(旋鈕的刻度)一樣的情況下，架構(gòu)不同，也會(huì)產(chǎn)生完全不同的效果。

2022年對(duì)AI來(lái)說(shuō)注定是不平凡的一年，這不吳恩達(dá)、Bengio等一眾圈內(nèi)大佬在接受DeepLearning.ai的采訪中展望了2023年AI的發(fā)展趨勢(shì)，還分享了自己的科研小故事。

還有不到3天，2022年就要過(guò)去了。

辭舊迎新之際，吳恩達(dá)、Bengio等一眾AI大佬們?cè)贒eepLearning.ai聚在一起，展望了自己眼中的2023年。

作為DeepLearning.ai的創(chuàng)始人，吳恩達(dá)首先發(fā)表了歡迎致辭，并回憶起自己剛開始搞研究的那段歲月 ，為這場(chǎng)多位大佬參與的討論開了個(gè)好頭。

從北京冬奧會(huì)上支持多語(yǔ)言服務(wù)的智能機(jī)器人、AI手語(yǔ)虛擬主播到近日“方向盤后無(wú)人”車開跑，人工智能可謂大放異彩。以Generative Pre-trained Transformer 3(GPT- 3)為代表的大模型(Foundation Model)正在成為人工智能“新高地”。如何理解AI大模型?其發(fā)展主要經(jīng)歷了哪些重要階段?AI大模型主要用于解決哪些問(wèn)題?就業(yè)界關(guān)注的這些熱點(diǎn)問(wèn)題，《人民郵電》報(bào)記者分別采訪了中國(guó)人民大學(xué)高瓴人工智能學(xué)院執(zhí)行院長(zhǎng)文繼榮和中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所人工智能部副主任曹峰。AI大模型就是Foundation Model(基礎(chǔ)模型)，指通過(guò)在大規(guī)模寬泛的數(shù)據(jù)上進(jìn)行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型。

谷歌于2018年10月發(fā)布的BERT模型是最為典型的基礎(chǔ)模型，它利用BooksCorpus和英文維基百科里純文字的部分，無(wú)須標(biāo)注數(shù)據(jù)，用設(shè)計(jì)的兩個(gè)自監(jiān)督任務(wù)來(lái)做訓(xùn)練，訓(xùn)練好的模型通過(guò)微調(diào)在11個(gè)下游任務(wù)上實(shí)現(xiàn)最佳性能。

OpenAI在2020年5月發(fā)布的GPT-3則是一個(gè)自回歸語(yǔ)言模型，具有1750億參數(shù)，在互聯(lián)網(wǎng)文本數(shù)據(jù)上訓(xùn)練得到的這一基礎(chǔ)模型，可以使用提示的例子完成各式各樣的任務(wù)，使用描述任務(wù)(如“把英文翻譯成法語(yǔ)：”)加一個(gè)示例(如“sea otter => loutre de mer”)，再給一個(gè)prompt提示(如“cheese =>”)，GPT-3模型即可生成cheese對(duì)應(yīng)的法文。這類模型正在成為主流的AI范式。

AI大模型是人工智能邁向通用智能的里程碑技術(shù)。深度學(xué)習(xí)作為新一代人工智能的標(biāo)志性技術(shù)，完全依賴模型自動(dòng)從數(shù)據(jù)中學(xué)習(xí)知識(shí)，在顯著提升性能的同時(shí)，也面臨著通用數(shù)據(jù)激增與專用數(shù)據(jù)匱乏的矛盾。AI大模型兼具“大規(guī)模”和“預(yù)訓(xùn)練”兩種屬性，面向?qū)嶋H任務(wù)建模前需在海量通用數(shù)據(jù)上進(jìn)行預(yù)先訓(xùn)練，能大幅提升AI的泛化性、通用性、實(shí)用性。

AI(人工智能)大模型相當(dāng)于“超級(jí)大腦”，正成為人工智能“新高地”。AI大模型有望實(shí)現(xiàn)人工智能從感知到認(rèn)知的躍遷，重新定義人工智能產(chǎn)業(yè)模式和產(chǎn)業(yè)標(biāo)準(zhǔn)，給部分產(chǎn)業(yè)帶來(lái)重大變革。我國(guó)有較大的AI大模型應(yīng)用市場(chǎng)，但發(fā)展過(guò)程中面臨部分技術(shù)薄弱、人才稀缺、成本高昂等多重挑戰(zhàn)，亟須對(duì)相關(guān)技術(shù)研發(fā)和產(chǎn)業(yè)布局加以引導(dǎo)和支持。

“學(xué)富五車”的“超級(jí)大腦”

——“不開心的話可以聽點(diǎn)開心的歌，看看喜劇，也可以去運(yùn)動(dòng)，或者好好休息一下?！?

——“心情不好是一種很正常的情緒，所以不用太過(guò)自責(zé)?！?

針對(duì)“今天心情不好應(yīng)該怎么辦”這一問(wèn)題，一個(gè)人工智能平臺(tái)以不同的“人設(shè)”，給出了不同的回答。通過(guò)網(wǎng)址鏈接進(jìn)入該平臺(tái)，在“人設(shè)問(wèn)答”區(qū)隨機(jī)輸入問(wèn)題，機(jī)器可支持和扮演不同“人設(shè)”，對(duì)問(wèn)題給出多角度答案。該平臺(tái)正是基于AI大模型打造而成。

創(chuàng)新工場(chǎng)首席科學(xué)家、北京瀾舟科技創(chuàng)始人周明介紹，AI大模型也稱人工智能預(yù)訓(xùn)練模型，將海量數(shù)據(jù)導(dǎo)入具有幾億量級(jí)甚至十萬(wàn)億量級(jí)參數(shù)的模型中，機(jī)器通過(guò)做類似“完形填空”等任務(wù)，深度學(xué)習(xí)數(shù)據(jù)中蘊(yùn)含的特征、結(jié)構(gòu)，最終被訓(xùn)練成具有邏輯推理和分析能力的人工智能。

通俗地說(shuō)，AI大模型相當(dāng)于做了無(wú)數(shù)套關(guān)于各領(lǐng)域知識(shí)練習(xí)題、模擬題的“超級(jí)大腦”，深諳各領(lǐng)域知識(shí)內(nèi)在邏輯和解題思路，既能理解人類世界的知識(shí)體系，也可能產(chǎn)出新的知識(shí)。

2018年起，人工智能進(jìn)入“大模型時(shí)代”，由重復(fù)開發(fā)、手工作坊式人工智能，即“一千個(gè)應(yīng)用場(chǎng)景就有一千個(gè)小模型”的零散、低效局面，走向工業(yè)化、集成化智能的全新路徑，以一個(gè)大模型“走天下”，為通用人工智能帶來(lái)曙光。比如，為生產(chǎn)智能音響，各個(gè)品牌競(jìng)相開發(fā)各自的AI小模型，未來(lái)各品牌只需在同一個(gè)AI大模型基礎(chǔ)上開發(fā)即可。

從2020年開始，國(guó)際最頂尖的AI技術(shù)發(fā)展，愈來(lái)愈像一場(chǎng)比拼資金與人才的軍備競(jìng)賽。

2020年，OpenAI發(fā)布NLP預(yù)訓(xùn)練模型GPT-3，光論文就有72頁(yè)，作者多達(dá)31人，該模型參數(shù)1750億，耗資1200萬(wàn)美元;

2021年1月，谷歌發(fā)布首個(gè)萬(wàn)億級(jí)模型Switch Transformer，宣布突破了GPT-3參數(shù)記錄;

4月，華為盤古大模型參數(shù)規(guī)模達(dá)到千億級(jí)別，定位于中文語(yǔ)言預(yù)訓(xùn)練模型;

11月，微軟和英偉達(dá)在燒壞了4480塊CPU后，完成了5300億參數(shù)的自然語(yǔ)言生成模型(MT-NLG)，一舉拿下單體Transformer語(yǔ)言模型界“最大”和“最強(qiáng)”兩個(gè)稱號(hào);

今年1月，Meta宣布要與英偉達(dá)打造AI超級(jí)計(jì)算機(jī)RSC，RSC每秒運(yùn)算可達(dá)50億次，算力可以排到全球前四的水平。

除此之外，阿里、浪潮、北京智源研究院等，均發(fā)布了最新產(chǎn)品，平均參數(shù)過(guò)百億。

看起來(lái)，這些預(yù)訓(xùn)練模型的參數(shù)規(guī)模沒有最大，只有更大，且正以遠(yuǎn)超摩爾定律的速度增長(zhǎng)。其在對(duì)話、語(yǔ)義識(shí)別方面的表現(xiàn)，一次次刷新人們的認(rèn)知。