通義千問大模型，將跑在AI PC上，沒網(wǎng)也能玩

當(dāng)我們使用ChatGPT、文心一言和通義千問等等大語言模型支持的AI工具時(shí)，有一個(gè)必要條件：必須連網(wǎng)。

因?yàn)锳I工具的運(yùn)算在云端，并非電腦本地。但是在上游芯片廠商和終端廠商看來，有網(wǎng)環(huán)境下大模型固然強(qiáng)大，但也需要無需網(wǎng)絡(luò)也能運(yùn)行的端側(cè)大模型來補(bǔ)充，端云結(jié)合，才是萬全之策。

于是在12月15日的英特爾AI主題活動(dòng)上，我們看到了阿里云通義千問大模型成功適配英特爾酷睿Ultra平臺(tái)，未來可在PC等端側(cè)部署。

得益于第一代酷睿Ultra平臺(tái)Meteor Lake有著英特爾40年來最重大的處理器架構(gòu)變革，即分離式模塊架構(gòu)，以及首次集成神經(jīng)網(wǎng)絡(luò)處理單元（NPU），部署在英特爾酷睿Ultra平臺(tái)設(shè)備上的通義千問大模型能夠大幅縮短模型推理響應(yīng)時(shí)間，平均加速可達(dá)3倍。

AI PC的概念，因?yàn)槎藗?cè)大模型的逐漸落地，變得清晰起來。

自去年年底ChatGPT發(fā)布開始，大語言模型技術(shù)支持下的AIGC應(yīng)用獲得了極大的發(fā)展。這一波AI浪潮的主陣地便發(fā)生在PC上，因?yàn)镻C在交互和呈現(xiàn)上，都更契合多數(shù)的AIGC應(yīng)用。但是不管是ChatGPT還是MidJourney，都需要聯(lián)網(wǎng)使用，一旦沒有網(wǎng)絡(luò)，我們便與AI斷連。

因而，PC想要真正進(jìn)化為AI PC，不僅是AIGC應(yīng)用能方便地運(yùn)行在上面，本身自己也需要有強(qiáng)悍的AI處理能力。

所以，阿里云通義千問大模型成功適配英特爾酷睿Ultra平臺(tái)，未來可在PC等端側(cè)部署的新聞就有兩層含義，和一個(gè)象征性意義了。

第一層含義，英特爾喊出AI PC口號(hào)，依仗的是什么？

在今年9月硅谷舉辦的On技術(shù)創(chuàng)新大會(huì)上，英特爾CEO帕特·基辛格提出了PC的革命性概念——AI PC。

想要在PC上高效進(jìn)行AI計(jì)算，運(yùn)行AI應(yīng)用，傳統(tǒng)的CPU+GPU架構(gòu)并非最優(yōu)解，因而在第一代酷睿Ultra Meteor Lake處理器上，英特爾創(chuàng)新性地采用了分離式模塊架構(gòu)，這也是英特爾歷史上最大的處理器結(jié)構(gòu)變革，處理器將由計(jì)算模塊、SoC模塊、圖形模塊以及IO模塊這4個(gè)獨(dú)立模塊組成，并通過Foveros 3D封裝技術(shù)連接。

新增的NPU模塊將主要承擔(dān)起AI運(yùn)算的責(zé)任，因?yàn)槭轻槍?duì)人工智能加速的專項(xiàng)計(jì)算單元。NPU機(jī)型AI計(jì)算時(shí)的優(yōu)勢(shì)是高性能低功耗，另外，低延遲高響應(yīng)速度的CPU和高性能高吞吐量的GPU也會(huì)負(fù)擔(dān)起AI算力的需求，三者協(xié)作，就構(gòu)成了終端上的強(qiáng)大AI算力。

AI PC的體驗(yàn)效果深受其所配備軟件的性能影響，遇強(qiáng)則強(qiáng)。作為AI PC加速計(jì)劃的一部分，超過100家獨(dú)立軟件供應(yīng)商（ISV）和300余項(xiàng)AI加速功能將針對(duì)英特爾酷睿Ultra處理器進(jìn)行專屬優(yōu)化，提供豐富的AI應(yīng)用程序和框架。

舉個(gè)實(shí)際的例子，英特爾和字節(jié)跳動(dòng)旗下的視頻剪輯工具剪映一起優(yōu)化了用戶高頻使用的「智能摳像」功能。在把這個(gè)功能的計(jì)算需求切換到第一代酷睿Ultra產(chǎn)品的NPU之后，我們發(fā)現(xiàn)，處理視頻素材時(shí)不僅耗時(shí)降低，功耗也降低了，這個(gè)時(shí)候空余出來的CPU和GPU算力就可以用在其他的剪輯需求上。

因而，所謂AI PC，不僅是能更好地運(yùn)行AI功能，也能讓效率提升，功耗降低。

第二層含義，像通義千問這樣的大模型，能干啥？

現(xiàn)在我們已經(jīng)可以在PC上進(jìn)行的AI操作百花齊放，包括但不限于，文生文、文生圖、文生音樂，還有AI摳圖、手勢(shì)識(shí)別、動(dòng)作捕捉，更細(xì)節(jié)地還有AI配音變聲和視頻會(huì)議眼神矯正等。

其中有一些基于大語言模型的功能是全新體驗(yàn)，有一些功能則早就在PC上實(shí)現(xiàn)了，比如10代酷睿就率先引入了AI性能的支持，可以為PC帶來自動(dòng)圖像增強(qiáng)、視頻分辨率增強(qiáng)和智能降噪等AI功能。

大語言模型技術(shù)被認(rèn)為是通往通用型人工智能（AGI，Artificial General Intelligence）的道路，AGI是指一種具備與人類相似的廣泛智能水平和能力的人工智能系統(tǒng)，相較之下，目前大多數(shù)人工智能系統(tǒng)專注于特定任務(wù)或領(lǐng)域。

在這個(gè)前提下，阿里云剛剛開源的通義千問720億參數(shù)模型（Qwen-72B）可以稱之為目前最強(qiáng)開源大模型，Qwen-72B在10個(gè)權(quán)威基準(zhǔn)測(cè)評(píng)創(chuàng)下開源模型最優(yōu)成績(jī)，性能超越開源標(biāo)桿Llama 2-70B和大部分商用閉源模型，已經(jīng)具有一定的通用能力了。

基于阿里云開源的Qwen-72B，Qwen-14B、Qwen-7B、Qwen-1.8B四款大語言模型，以及視覺理解大模型Qwen-VL、音頻理解大模型Qwen-Audio，阿里云實(shí)現(xiàn)了「全尺寸、全模態(tài)」的開源。

這意味著，對(duì)于各行各業(yè)的開發(fā)者來說，這些開源大模型能夠有多種選擇，PC、手機(jī)，甚至是IoT設(shè)備的端側(cè)部署都有可能。

通義千問大模型部署在英特爾酷睿Ultra平臺(tái)，未來可在PC等端側(cè)部署便是其中一種成為現(xiàn)實(shí)的可能。

另外，華東理工大學(xué)X-D Lab團(tuán)隊(duì)基于通義千問開源模型Qwen-7B和Qwen-14B開發(fā)了多款行業(yè)大模型，包括心理健康大模型MindChat（漫談）、醫(yī)療健康大模型Sunsimiao（孫思邈）、教育/考試大模型GradChat（錦鯉）等等。

浙江大學(xué)聯(lián)合高等教育出版社基于Qwen-7B開發(fā)了智海-三樂教育垂直大模型，已在全國12所高校應(yīng)用，可提供智能問答、試題生成、學(xué)習(xí)導(dǎo)航、教學(xué)評(píng)估等能力，模型已在阿里云靈積平臺(tái)對(duì)外提供服務(wù)，一行代碼即可調(diào)用。

脫離比特世界，在現(xiàn)實(shí)世界，浙江有鹿機(jī)器人科技有限公司在路面清潔機(jī)器人中集成了Qwen-7B，使機(jī)器人能以自然語言與用戶進(jìn)行實(shí)時(shí)交互，理解用戶提出的需求，將用戶的高層指令進(jìn)行分析和拆解，做高層的邏輯分析和任務(wù)規(guī)劃，完成清潔任務(wù)。

簡(jiǎn)言之，AI的舞臺(tái)不僅僅在于PC，PC也不僅僅只有AI應(yīng)用，但它們之間開始產(chǎn)生巨大的交集，并將改變我們的PC使用習(xí)慣。

畫圖，是用數(shù)位板加壓感筆進(jìn)行創(chuàng)作，還是用文生圖？

寫作，是用鍵盤一個(gè)字一個(gè)字敲出來，還是用文生文？

這些問題已經(jīng)顯現(xiàn)，每一個(gè)擁有AI PC的用戶，也將逐漸面臨選擇和使用習(xí)慣的轉(zhuǎn)變。