突破物理AI開(kāi)發(fā)和部署難題，英偉達(dá)Cosmos和全新Blueprint發(fā)布

隨著人工智能技術(shù)的不斷進(jìn)化，“Physical AI”（物理人工智能）正在成為推動(dòng)全球產(chǎn)業(yè)轉(zhuǎn)型的核心力量。根據(jù)預(yù)測(cè)，這項(xiàng)技術(shù)將影響價(jià)值50萬(wàn)億美元的產(chǎn)業(yè)鏈，從工廠自動(dòng)化到倉(cāng)儲(chǔ)管理，再到人形機(jī)器人和智能駕駛。預(yù)計(jì)未來(lái)將有超過(guò)1000萬(wàn)家工廠、20萬(wàn)個(gè)倉(cāng)庫(kù)、數(shù)十億臺(tái)人形機(jī)器人以及15億輛智能車(chē)輛融入物理人工智能的生態(tài)系統(tǒng)，全面重塑人類(lèi)的生產(chǎn)和生活方式。這是一場(chǎng)規(guī)?？涨暗淖兏?，其背后依賴(lài)于強(qiáng)大的算力、先進(jìn)的AI算法和協(xié)作式機(jī)器人技術(shù)。

在CES2025上，英偉達(dá)發(fā)布了全新的NVIDIA Cosmos 世界基礎(chǔ)模型（World Foundation Models，WFMs）和兩個(gè)全新的Blueprint——Isaac GR00T和Mega，這些全新的模型和工具將會(huì)加速物理AI的開(kāi)發(fā)和提高機(jī)器人的自主性，幫助我們快速迎接AI的下一波浪潮。

物理AI的三個(gè)大腦：模型、模擬、部署

物理AI的實(shí)現(xiàn)需要經(jīng)過(guò)模型構(gòu)建、行為模擬和現(xiàn)實(shí)部署三個(gè)關(guān)鍵步驟，這三個(gè)環(huán)節(jié)串聯(lián)起來(lái)，為人工智能從構(gòu)想到實(shí)際應(yīng)用提供了閉環(huán)支持，使機(jī)器人和自動(dòng)駕駛汽車(chē)能夠真正賦能物理世界。

首先，物理AI的起點(diǎn)是模型的構(gòu)建，通過(guò)深度學(xué)習(xí)算法訓(xùn)練AI，使其具備復(fù)雜任務(wù)的理解能力；接著是行為模擬，在虛擬環(huán)境中對(duì)模型進(jìn)行測(cè)試和優(yōu)化，確保其安全性和可靠性；最后是部署運(yùn)行，將優(yōu)化后的模型應(yīng)用到實(shí)際場(chǎng)景中，實(shí)現(xiàn)實(shí)時(shí)的智能化決策和操作。

為了支持這一流程，英偉達(dá)的三個(gè)大腦（三大計(jì)算平臺(tái)）分別發(fā)揮著至關(guān)重要的作用：

·DGX：作為AI訓(xùn)練平臺(tái)，DGX通過(guò)強(qiáng)大的算力完成深度學(xué)習(xí)模型的創(chuàng)建，為AI提供“知識(shí)”基礎(chǔ)。

·Omniverse：作為虛擬模擬平臺(tái)，Omniverse創(chuàng)造出高度仿真的測(cè)試環(huán)境，使AI模型可以反復(fù)進(jìn)行優(yōu)化和調(diào)整，避免直接在現(xiàn)實(shí)中測(cè)試的高風(fēng)險(xiǎn)。

AGX：作為部署平臺(tái)，AGX使AI能夠在現(xiàn)實(shí)環(huán)境中實(shí)時(shí)運(yùn)行，處理復(fù)雜的傳感器數(shù)據(jù)，執(zhí)行智能決策。

在具體應(yīng)用中，“三計(jì)算機(jī)”解決方案在人形機(jī)器人和自動(dòng)駕駛汽車(chē)領(lǐng)域展現(xiàn)出了強(qiáng)大的適應(yīng)性和功能：

·在人形機(jī)器人中：DGX負(fù)責(zé)訓(xùn)練機(jī)器人如何完成復(fù)雜動(dòng)作，如搬運(yùn)物品或攀爬樓梯；Omniverse則模擬不同的任務(wù)場(chǎng)景，確保機(jī)器人在各種環(huán)境下具備適應(yīng)性；AGX最終將這些能力部署到機(jī)器人中，使其能夠在現(xiàn)實(shí)中獨(dú)立完成任務(wù)。

·在自動(dòng)駕駛汽車(chē)中：DGX訓(xùn)練AI學(xué)習(xí)路況識(shí)別、導(dǎo)航規(guī)劃等駕駛能力；Omniverse則通過(guò)仿真交通環(huán)境，測(cè)試和優(yōu)化AI的駕駛邏輯；AGX將優(yōu)化后的駕駛模型部署到車(chē)輛中，支持汽車(chē)實(shí)時(shí)感知路況、規(guī)劃路徑和做出決策。

雖然 NVIDIA 的“三個(gè)大腦”（DGX、Omniverse 和 AGX）為物理 AI 的開(kāi)發(fā)提供了從模型訓(xùn)練、行為模擬到現(xiàn)實(shí)部署的完整技術(shù)支撐，但在實(shí)際開(kāi)發(fā)中，物理 AI 仍然面臨許多挑戰(zhàn)。這些挑戰(zhàn)不僅對(duì)三大計(jì)算平臺(tái)的能力提出了更高的要求，也凸顯了物理世界與虛擬世界結(jié)合過(guò)程中的復(fù)雜性。

具體來(lái)說(shuō)，物理 AI 的開(kāi)發(fā)難點(diǎn)主要體現(xiàn)在以下幾個(gè)方面：

·數(shù)據(jù)獲取的成本和難度，即使有 DGX 強(qiáng)大的訓(xùn)練能力，如何高效采集豐富且多樣的真實(shí)數(shù)據(jù)仍然是一個(gè)亟待解決的問(wèn)題。

·行為模擬雖然能通過(guò) Omniverse 實(shí)現(xiàn)，但模擬的精確度、場(chǎng)景的復(fù)雜性和對(duì)真實(shí)世界的映射能力也決定了開(kāi)發(fā)的效果。

部署到現(xiàn)實(shí)環(huán)境中的風(fēng)險(xiǎn)和高成本，盡管 AGX 提供了強(qiáng)大的實(shí)時(shí)計(jì)算能力，但復(fù)雜場(chǎng)景下的硬件穩(wěn)定性和安全性依然是巨大挑戰(zhàn)。

這些問(wèn)題揭示了物理 AI 開(kāi)發(fā)不僅僅依賴(lài)于工具的高性能，還需要從系統(tǒng)設(shè)計(jì)、數(shù)據(jù)優(yōu)化到測(cè)試策略的多層次解決方案。以下是這些具體挑戰(zhàn)的進(jìn)一步分析和應(yīng)對(duì)策略。

破解物理AI開(kāi)發(fā)的真實(shí)模型挑戰(zhàn)——英偉達(dá) Cosmos

盡管物理 AI 的發(fā)展?jié)摿薮螅陂_(kāi)發(fā)過(guò)程中面臨著一系列獨(dú)特且復(fù)雜的挑戰(zhàn)。從高成本的數(shù)據(jù)采集到危險(xiǎn)且昂貴的物理測(cè)試，再到場(chǎng)景多樣性帶來(lái)的適應(yīng)性問(wèn)題，這些難點(diǎn)讓物理 AI 的推進(jìn)步伐受限。傳統(tǒng)的方法，無(wú)論是在真實(shí)環(huán)境中采集訓(xùn)練數(shù)據(jù)，還是通過(guò)實(shí)驗(yàn)驗(yàn)證模型性能，都不可避免地面臨資源消耗大、風(fēng)險(xiǎn)高的問(wèn)題。

為了解決這些挑戰(zhàn)，開(kāi)發(fā)者需要一個(gè)更高效、更經(jīng)濟(jì)的解決方案——一個(gè)能夠生成逼真虛擬世界數(shù)據(jù)的平臺(tái)，從而減少對(duì)真實(shí)場(chǎng)景數(shù)據(jù)的依賴(lài)，同時(shí)加速模型開(kāi)發(fā)。這正是NVIDIA Cosmos所要實(shí)現(xiàn)的目標(biāo)。

Cosmos 平臺(tái)的核心在于其模塊化設(shè)計(jì)，開(kāi)發(fā)者可以根據(jù)具體需求選擇適合的功能模塊。以下是 Cosmos 的關(guān)鍵組成部分：

擴(kuò)散世界基礎(chǔ)模型（Diffusion World Foundation Models）：Cosmos 的擴(kuò)散模型能夠從文本、圖像或視頻中生成虛擬世界狀態(tài)或動(dòng)態(tài)視頻。這些模型支持“文本到世界”或“視頻到世界”的轉(zhuǎn)換，幫助開(kāi)發(fā)者快速生成多樣化的模擬場(chǎng)景，從而顯著減少對(duì)真實(shí)數(shù)據(jù)采集的依賴(lài)。

自回歸世界基礎(chǔ)模型（Autoregressive World Foundation Models）：自回歸模型以實(shí)時(shí)方式預(yù)測(cè)視頻片段，通過(guò)逐幀預(yù)測(cè) token 來(lái)生成低分辨率動(dòng)態(tài)視頻。它特別適合需要實(shí)時(shí)生成場(chǎng)景或視頻的任務(wù)，提供了強(qiáng)大的前瞻能力。

高級(jí)視頻分詞器（Advanced Video Tokenizers）：Cosmos 的視頻分詞器技術(shù)能夠?qū)崿F(xiàn)比現(xiàn)有方法高8 倍的壓縮率和12 倍的性能提升。這一突破極大地優(yōu)化了視頻數(shù)據(jù)的存儲(chǔ)和處理效率，使開(kāi)發(fā)者可以更高效地構(gòu)建強(qiáng)大的World Foundation 模型。

視頻策展與處理管道（Video Curation and Processing Pipeline）：基于 NVIDIA Nemo 框架，Cosmos 內(nèi)置的視頻處理管道專(zhuān)為 GPU 優(yōu)化，能夠快速處理數(shù)千萬(wàn)小時(shí)的視頻數(shù)據(jù)。從解碼、分割到標(biāo)注，整個(gè)過(guò)程只需幾天，而傳統(tǒng)方法可能需要數(shù)年。這對(duì)自動(dòng)駕駛汽車(chē)和機(jī)器人公司尤為重要，幫助它們將海量錄制數(shù)據(jù)快速整理為訓(xùn)練數(shù)據(jù)。

安全與定制能力：Cosmos 提供強(qiáng)大的安全保護(hù)機(jī)制（Guardrails），并支持開(kāi)發(fā)者利用自己的數(shù)據(jù)通過(guò) NVIDIA Nemo 進(jìn)行微調(diào)和定制。開(kāi)發(fā)者既可以選擇完全自主操作，也可以依托 NVIDIA DGX Cloud 提供的托管服務(wù)。

Cosmos 的強(qiáng)大功能不僅體現(xiàn)在技術(shù)層面，更直接影響著開(kāi)發(fā)者在實(shí)際應(yīng)用中的效率和成果。對(duì)于機(jī)器人開(kāi)發(fā)者而言，Cosmos 生成的虛擬世界數(shù)據(jù)為機(jī)器人學(xué)習(xí)復(fù)雜任務(wù)提供了理想環(huán)境，無(wú)需在真實(shí)場(chǎng)景中進(jìn)行危險(xiǎn)且昂貴的測(cè)試。通過(guò)這些數(shù)據(jù)，機(jī)器人可以優(yōu)化物體抓取、路徑規(guī)劃以及動(dòng)態(tài)環(huán)境適應(yīng)能力。而在自動(dòng)駕駛領(lǐng)域，Cosmos 則成為開(kāi)發(fā)者創(chuàng)建極端和稀有場(chǎng)景的利器，例如應(yīng)對(duì)野生動(dòng)物穿越道路或緊急車(chē)輛的處理。利用這些虛擬生成的數(shù)據(jù)，開(kāi)發(fā)者不僅可以高效優(yōu)化算法，還能顯著降低獲取邊緣場(chǎng)景真實(shí)數(shù)據(jù)的時(shí)間和成本。

加速仿真，提升機(jī)器人自主性：Isaac GR00T和Mega Omniverse Blueprint

然而Cosmos 并非單獨(dú)運(yùn)行，而是與 NVIDIA Omniverse 深度集成，Omniverse是開(kāi)發(fā)者用于構(gòu)建3D物理環(huán)境、數(shù)字雙胞胎和虛擬世界的操作系統(tǒng)，Cosmos和Omniverse為物理 AI 的開(kāi)發(fā)提供了一種虛擬到現(xiàn)實(shí)的高效工作流。

在 Omniverse 中，開(kāi)發(fā)者可以構(gòu)建復(fù)雜的 3D 工作流，而 Cosmos 則通過(guò)生成高度逼真的多樣化視頻數(shù)據(jù)擴(kuò)展這些場(chǎng)景，將其轉(zhuǎn)化為大規(guī)模的訓(xùn)練數(shù)據(jù)集。這種協(xié)同作用不僅讓開(kāi)發(fā)者能夠構(gòu)建出物理一致性更高的世界基礎(chǔ)模型，還能模擬 AI 模型在多種未來(lái)場(chǎng)景中的表現(xiàn)，幫助開(kāi)發(fā)者預(yù)判可能的結(jié)果并優(yōu)化系統(tǒng)設(shè)計(jì)。

在此次CES上，英偉達(dá)宣布了兩個(gè)全新的blueprint，分別是Isaac GR00T和Mega。

【Isaac GR00T：加速機(jī)器人動(dòng)作生成的合成數(shù)據(jù)革命】

Isaac GR00T 的核心目標(biāo)是通過(guò)生成合成數(shù)據(jù)，將少量的人工演示（tens of demonstrations）擴(kuò)展為成百上千的合成動(dòng)作數(shù)據(jù)（hundreds of synthetic motion generations），并最終轉(zhuǎn)化為百萬(wàn)級(jí)別的訓(xùn)練數(shù)據(jù)（1 million X training data）。這一過(guò)程為機(jī)器人和物理 AI 的訓(xùn)練提供了高效、低成本的數(shù)據(jù)來(lái)源。

GR00T 的工作流程由三個(gè)主要模塊組成。首先，通過(guò)GR00T-Teleop，開(kāi)發(fā)者可以在Isaac Lab中采集人類(lèi)演示數(shù)據(jù)，例如通過(guò) VR 設(shè)備（例如Apple Vision Pro）錄制遠(yuǎn)程控制的動(dòng)作。這些數(shù)據(jù)為機(jī)器人動(dòng)作生成提供了初始模板。接著，利用GR00T-Mimic模塊，系統(tǒng)通過(guò)虛擬仿真生成大量細(xì)化的合成動(dòng)作數(shù)據(jù)，擴(kuò)展數(shù)據(jù)的種類(lèi)和多樣性。最后，在GR00T-Gen中，這些合成數(shù)據(jù)經(jīng)過(guò)Omniverse 和 Cosmos的處理，轉(zhuǎn)化為最終的高質(zhì)量訓(xùn)練數(shù)據(jù)，直接用于機(jī)器人學(xué)習(xí)和優(yōu)化。

Isaac GR00T 是一項(xiàng)針對(duì)通用機(jī)器人基礎(chǔ)模型和數(shù)據(jù)管線的研究計(jì)劃與開(kāi)發(fā)平臺(tái)，旨在加速人形機(jī)器人技術(shù)的發(fā)展 。Isaac GR00T Blueprint的推出將極大促進(jìn)為人形機(jī)器人開(kāi)發(fā)。人形機(jī)器人開(kāi)發(fā)過(guò)程中一個(gè)難點(diǎn)之一，就是如何收集到廣泛、高質(zhì)量的數(shù)據(jù)，并用于機(jī)器人訓(xùn)練。通過(guò)用于合成運(yùn)動(dòng)生成的 Isaac GR00T Blueprint，開(kāi)發(fā)者只需少量人類(lèi)示范，就能輕松生成海量的合成數(shù)據(jù)集。這些數(shù)據(jù)集為機(jī)器人的訓(xùn)練提供了豐富且優(yōu)質(zhì)的素材，從而有助于更高效地完成開(kāi)發(fā)任務(wù)，加速人形機(jī)器人邁向?qū)嶋H應(yīng)用的步伐。

【 Mega：工業(yè)數(shù)字孿生中的機(jī)器人車(chē)隊(duì)仿真藍(lán)圖】

GR00T的定位是加速人形機(jī)器人的動(dòng)作數(shù)據(jù)捕捉，而另一個(gè)新發(fā)布的blueprint——Mega則是專(zhuān)為機(jī)器人車(chē)隊(duì)的開(kāi)發(fā)、測(cè)試和優(yōu)化提供強(qiáng)大的工具支持。無(wú)論是在倉(cāng)儲(chǔ)物流還是工業(yè)制造場(chǎng)景中，Mega 都能通過(guò)高精度的仿真環(huán)境，顯著提升機(jī)器人協(xié)作的效率與安全性。

Mega 利用 Omniverse 的強(qiáng)大能力，幫助開(kāi)發(fā)者在虛擬環(huán)境中實(shí)現(xiàn)對(duì)機(jī)器人車(chē)隊(duì)的全面仿真。通過(guò)集成工業(yè)數(shù)字孿生技術(shù)，Mega 可以將真實(shí)工廠或倉(cāng)庫(kù)的 CAD 數(shù)據(jù)或 2D 轉(zhuǎn) 3D 數(shù)據(jù)導(dǎo)入仿真環(huán)境，生成高度還原的虛擬世界。這使開(kāi)發(fā)者能夠在與真實(shí)場(chǎng)景一致的環(huán)境中測(cè)試機(jī)器人車(chē)隊(duì)的任務(wù)分配、路徑規(guī)劃以及協(xié)作效率。

此外，Mega 支持完整的機(jī)器人傳感器仿真，包括攝像頭、激光雷達(dá)（LiDAR）和物理傳感器，生成高質(zhì)量的感知數(shù)據(jù)供機(jī)器人使用。同時(shí)，Mega 還可以接收來(lái)自車(chē)隊(duì)管理系統(tǒng)的控制信號(hào)，并實(shí)時(shí)反饋機(jī)器人模型的行為表現(xiàn)，形成完整的閉環(huán)仿真和優(yōu)化。

Mega 在倉(cāng)儲(chǔ)物流和工業(yè)制造領(lǐng)域展現(xiàn)了廣泛的應(yīng)用價(jià)值。在倉(cāng)儲(chǔ)場(chǎng)景中，Mega 能夠模擬機(jī)器人車(chē)隊(duì)在倉(cāng)庫(kù)中的操作，通過(guò)優(yōu)化任務(wù)分配和路徑規(guī)劃，大幅提高物流效率并降低運(yùn)營(yíng)成本。在工業(yè)制造中，Mega 可用于測(cè)試機(jī)器人協(xié)作的安全性，確保自動(dòng)化設(shè)備在復(fù)雜環(huán)境中能夠避免碰撞并穩(wěn)定運(yùn)行。此外，Mega 還為機(jī)器人 AI 模型提供高質(zhì)量的仿真數(shù)據(jù)，助力開(kāi)發(fā)者訓(xùn)練和優(yōu)化機(jī)器人算法。

Cosmos+Omniverse深度協(xié)作，奠定物理AI開(kāi)發(fā)完整基礎(chǔ)框架

通過(guò)CES上最新發(fā)布的NVIDIA Cosmos，再結(jié)合Omniverse 平臺(tái)拓展，兩者深度協(xié)作為開(kāi)發(fā)者提供了一套完整的工具鏈，將生成式 AI 數(shù)據(jù)的強(qiáng)大能力與物理仿真的精確性結(jié)合起來(lái)，構(gòu)建從虛擬世界到現(xiàn)實(shí)應(yīng)用的閉環(huán)。

Cosmos 扮演著數(shù)據(jù)生成引擎的角色，Omniverse 提供場(chǎng)景的動(dòng)態(tài)仿真和精確物理建模。Cosmos 利用這些場(chǎng)景生成與實(shí)際應(yīng)用高度相關(guān)的合成數(shù)據(jù)，尤其是在復(fù)雜的邊緣場(chǎng)景和稀有事件的模擬中。例如，在倉(cāng)儲(chǔ)物流的機(jī)器人協(xié)作場(chǎng)景中，Cosmos 可以快速生成物理一致性的數(shù)據(jù)，用于訓(xùn)練 AI 模型適應(yīng)多機(jī)器人協(xié)作的動(dòng)態(tài)變化。

兩者之間的結(jié)合還支持多元宇宙模擬，通過(guò)生成多個(gè)未來(lái)可能性場(chǎng)景，開(kāi)發(fā)者可以在 Omniverse 的虛擬環(huán)境中探索不同的策略或系統(tǒng)行為，并基于這些結(jié)果優(yōu)化最終方案。這種能力不僅提高了模型的可靠性，還為開(kāi)發(fā)者提供了更廣闊的設(shè)計(jì)空間。同時(shí)，Cosmos 的視頻搜索與理解功能進(jìn)一步增強(qiáng)了 Omniverse 的場(chǎng)景仿真能力。開(kāi)發(fā)者可以利用 Cosmos 快速?gòu)囊曨l數(shù)據(jù)中提取關(guān)鍵信息，并直接將其轉(zhuǎn)化為 Omniverse 的虛擬場(chǎng)景，從而實(shí)現(xiàn)快速迭代。無(wú)論是用于工業(yè)自動(dòng)化的機(jī)器人任務(wù)規(guī)劃，還是自動(dòng)駕駛的邊緣場(chǎng)景測(cè)試，這種高效整合都為開(kāi)發(fā)者帶來(lái)了顯著的時(shí)間和資源節(jié)約。

當(dāng)下，物理 AI (Physical AI) 的發(fā)展仍處于早期階段，許多核心技術(shù)尚在探索和完善之中。如何突破高成本的數(shù)據(jù)采集、復(fù)雜的場(chǎng)景模擬以及模型驗(yàn)證的瓶頸，成為推動(dòng)物理 AI 從概念走向現(xiàn)實(shí)的關(guān)鍵。NVIDIA 的 Cosmos 與 Omniverse 為物理 AI 的發(fā)展提供了一個(gè)完整且強(qiáng)大的基礎(chǔ)框架，為機(jī)器人和自動(dòng)駕駛等領(lǐng)域的突破性應(yīng)用提供了堅(jiān)實(shí)的技術(shù)基礎(chǔ)，加速了物理 AI 從研究到應(yīng)用的轉(zhuǎn)化進(jìn)程。