如何讓機(jī)器人更加“真人化”？英偉達(dá)在GTC上發(fā)布全新生成式AI和具身智能技術(shù)

國際機(jī)器人聯(lián)合會(huì) (IFR)預(yù)測(cè)了2024年在機(jī)器人上將會(huì)發(fā)生的五大趨勢(shì)，其中包括AI化、協(xié)作機(jī)器人的普及、移動(dòng)機(jī)械手（MoMas）在制造業(yè)中普及、數(shù)字孿生以及人形機(jī)器人發(fā)展。而將這五條總結(jié)起來看，即我們將會(huì)在2024年看到更多的更加智能化和人性化的機(jī)器人的進(jìn)展，并且協(xié)作機(jī)器人將會(huì)進(jìn)一步走入各行各業(yè)之中。

而令人期待的展望背后，離不開來自芯片、應(yīng)用和制造商各方的創(chuàng)新和努力。全球的機(jī)器人技術(shù)先鋒們正聚焦力量，集結(jié)多元的技術(shù)力量，旨在人工智能通用機(jī)器人領(lǐng)域取得革命性的進(jìn)展。技術(shù)巨擘NVIDIA正在打造一個(gè)全面的機(jī)器人開發(fā)平臺(tái)：這一平臺(tái)專為領(lǐng)先的人形機(jī)器人企業(yè)而設(shè)計(jì)，旨在支撐不斷進(jìn)化的機(jī)器人生態(tài)。他們堅(jiān)信，現(xiàn)代 AI 技術(shù)的快速發(fā)展將為機(jī)器人鋪設(shè)前行之路，助其在人類日常生活的方方面面發(fā)揮關(guān)鍵作用；同時(shí)，包括GenAI和具身智能的未來技術(shù)不僅能幫助人類應(yīng)對(duì)人口下降、氣候變化、疾病等重大挑戰(zhàn)，還能激發(fā)出目前我們所無法企及或想象的創(chuàng)新成就。

在今天的GTC 2024大會(huì)上，英偉達(dá)發(fā)布了關(guān)于機(jī)器人的諸多技術(shù)和平臺(tái)更新，包括首個(gè)人形機(jī)器人基礎(chǔ)模型Project GR00T、新型人形機(jī)器人計(jì)算機(jī)Jetson Thor以及來自Isaac機(jī)器人平臺(tái)的諸多新特性新功能更新。通過一系列的新技術(shù)加持，我們可以預(yù)見到機(jī)器人未來將會(huì)變得更加“真人化”，不僅具備人的外形，而是具備類人的思考和反應(yīng)能力，能夠與人一起在同一環(huán)境中協(xié)作創(chuàng)新。

首個(gè)人形機(jī)器人基礎(chǔ)模型Project GR00T，讓機(jī)器人更加像真人

Project GR00T是英偉達(dá)發(fā)布的首個(gè)人形機(jī)器人通用基礎(chǔ)模型，旨在進(jìn)一步推動(dòng)其在機(jī)器人和具身智能方面的突破。

對(duì)于Project GR00T而言，不僅要具備“人形”，更要具備“人性”。而在“人性”方面的打造，離不開具身智能的技術(shù)加持。

具身智能（Embodied Intelligence)是指機(jī)器人或其他人工智能系統(tǒng)通過與真實(shí)世界的物理交互來學(xué)習(xí)和適應(yīng)環(huán)境的能力。這種類型的智能強(qiáng)調(diào)了機(jī)器人的身體和環(huán)境之間的交互對(duì)于智能行為的重要性。具身智能的理念認(rèn)為，智能不僅僅是計(jì)算或數(shù)據(jù)處理的結(jié)果，而是通過感知環(huán)境、在環(huán)境中移動(dòng)、與環(huán)境互動(dòng)并從這些互動(dòng)中學(xué)習(xí)而形成的。

在具身智能中，機(jī)器人的身體不僅是行動(dòng)的工具，也是感知和認(rèn)識(shí)世界的媒介。這意味著AI系統(tǒng)通過其傳感器接收外部信息，并通過其執(zhí)行器（例如，機(jī)械臂、輪子、其他移動(dòng)裝置等）在物理世界中采取行動(dòng)。通過這種方式，AI能夠更好地理解和適應(yīng)其所處的環(huán)境，從而執(zhí)行復(fù)雜的任務(wù)，如導(dǎo)航、操縱物體或與人類自然交流。

具身智能領(lǐng)域的研究可以應(yīng)用于多個(gè)領(lǐng)域，包括機(jī)器人學(xué)、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和游戲設(shè)計(jì)等。通過具身智能，有望可以創(chuàng)造出能夠更自然、更有效與人類和環(huán)境互動(dòng)的智能機(jī)器人。

而英偉達(dá)通過其強(qiáng)大的GPU硬件技術(shù)和AI平臺(tái)，為開發(fā)具身智能提供了強(qiáng)大的計(jì)算能力和高效工具。軟件方面，此前發(fā)布的Isaac SDK就使開發(fā)者能夠?yàn)闄C(jī)器人提供高級(jí)感知、導(dǎo)航和操作能力，促進(jìn)機(jī)器人在真實(shí)世界中的自主學(xué)習(xí)和互動(dòng)。硬件解決方案方面，Jetson平臺(tái)支持高性能的深度學(xué)習(xí)、計(jì)算機(jī)視覺和多模態(tài)傳感器處理，使得具身智能應(yīng)用成為可能。在AI驅(qū)動(dòng)工具方面，英偉達(dá)的SimNet可以幫助工程師創(chuàng)建精確的仿真環(huán)境，用于測(cè)試和訓(xùn)練具身智能系統(tǒng)，而無需頻繁地進(jìn)行物理測(cè)試。

最新發(fā)布的GR00T技術(shù)驅(qū)動(dòng)機(jī)器人具備了解自然語言的能力，并能夠通過觀察人類的行為來學(xué)習(xí)模仿動(dòng)作——這使它們能夠迅速掌握協(xié)調(diào)性、靈活性以及其他關(guān)鍵技能，從而順利地在真實(shí)世界中導(dǎo)航、適應(yīng)并進(jìn)行交互。在NVIDIA的GTC大會(huì)上，創(chuàng)始人及CEO黃仁勛通過主題演講，展示了這些機(jī)器人如何巧妙地執(zhí)行了一系列復(fù)雜任務(wù)。

這種前沿技術(shù)賦予機(jī)器人的能力，使其行為更加貼近人類。自然語言理解的進(jìn)步讓機(jī)器人能夠與人類進(jìn)行更加流暢、直觀的溝通，不僅能解析語言的字面意義，還能捕捉到語調(diào)和上下文中的隱含情感。其次，觀察并模仿人類動(dòng)作的能力讓機(jī)器人在社交互動(dòng)中顯得更自然，它們能通過觀察人類的肢體語言和反應(yīng)，學(xué)習(xí)到如何在特定情境下做出相應(yīng)的反應(yīng)或表達(dá)，從而在社交互動(dòng)中展現(xiàn)出更加人性化的行為模式。

此外，快速學(xué)習(xí)協(xié)調(diào)性和靈活性等技能，讓機(jī)器人能夠適應(yīng)各種復(fù)雜的環(huán)境和任務(wù)。這不僅限于物理動(dòng)作的模仿，還包括解決問題的能力和在不同情境下做出適應(yīng)性調(diào)整的能力，使得機(jī)器人能夠更好地理解并應(yīng)對(duì)現(xiàn)實(shí)世界的多樣性和不確定性。

通過這些技術(shù)的融合與應(yīng)用，機(jī)器人不再是單一功能的自動(dòng)化工具，而是成為了能夠理解和響應(yīng)人類情感、社交需求，并能在復(fù)雜環(huán)境中獨(dú)立操作的伙伴。這種技術(shù)的發(fā)展，正推動(dòng)著機(jī)器人從工業(yè)和服務(wù)的輔助角色，向更加深入的人類生活領(lǐng)域拓展，預(yù)示著未來機(jī)器人將在人類社會(huì)中扮演更加復(fù)雜且親密的角色。

新型機(jī)器人計(jì)算機(jī)Jetson Thor，加速人形機(jī)器人的開發(fā)

此次發(fā)布的有關(guān)機(jī)器人的另一個(gè)重要解決方案是Jetson Thor，它代表著一種革命性的人形機(jī)器人計(jì)算平臺(tái)，它不僅能夠處理高度復(fù)雜的任務(wù)，還能以安全和自然的方式與人類及其他機(jī)器進(jìn)行交互。這一平臺(tái)以其模塊化的設(shè)計(jì)而聞名，該設(shè)計(jì)精心考慮了性能、能耗以及體積的最優(yōu)平衡，旨在滿足未來計(jì)算需求的同時(shí)，保持極致的效率和靈活性。

核心部分是一個(gè)集成了Transformer engine的下一代GPU，基于NVIDIA最先進(jìn)的Blackwell架構(gòu)。這款GPU能夠提供令人震驚的每秒最多800萬億次的8位浮點(diǎn)運(yùn)算能力，使其成為運(yùn)行如GR00T這類多模態(tài)生成式AI模型的理想選擇。這種強(qiáng)大的AI性能使Jetson Thor能夠無縫執(zhí)行語言理解、圖像識(shí)別和模式生成等任務(wù)，為機(jī)器人、自動(dòng)化系統(tǒng)和智能設(shè)備提供前所未有的智能水平。

此外，Jetson Thor平臺(tái)還集成了功能安全處理器，這是確保系統(tǒng)在執(zhí)行關(guān)鍵任務(wù)時(shí)的可靠性和安全性的關(guān)鍵。高性能CPU集群進(jìn)一步強(qiáng)化了其處理能力，使得復(fù)雜的算法和模型能夠高效運(yùn)行。而100GB的以太網(wǎng)帶寬保證了數(shù)據(jù)傳輸?shù)臉O致速度和低延遲，這對(duì)于實(shí)時(shí)數(shù)據(jù)處理和遠(yuǎn)程操作尤為關(guān)鍵。

這種集成高度先進(jìn)技術(shù)的設(shè)計(jì)，大大簡(jiǎn)化了系統(tǒng)的設(shè)計(jì)和集成工作，為開發(fā)人員提供了前所未有的靈活性和易用性。開發(fā)人員現(xiàn)在能夠更加專注于創(chuàng)新，而不是花費(fèi)大量時(shí)間解決集成和兼容性問題。Jetson Thor開啟了一個(gè)全新的可能性領(lǐng)域，為機(jī)器學(xué)習(xí)、自動(dòng)化和智能交互設(shè)定了新的標(biāo)準(zhǔn)，預(yù)示著我們步入了一個(gè)更加智能、更加互聯(lián)的未來。

Isaac機(jī)器人平臺(tái)大更新，助力客戶探索機(jī)器人未來潛力

在2018年的GTC大會(huì)上，英偉達(dá)首次發(fā)布了Isaac平臺(tái)。這一平臺(tái)旨在為機(jī)器人開發(fā)人員提供一套綜合工具，以便他們能夠創(chuàng)建、模擬和部署適用于各種機(jī)器人應(yīng)用的AI模型。Isaac圍繞著提升機(jī)器人的感知、導(dǎo)航和操控能力而構(gòu)建，特別強(qiáng)調(diào)了機(jī)器人視覺和AI驅(qū)動(dòng)的自主功能。經(jīng)過了多年的迭代升級(jí)，當(dāng)前Isaac為研究人員、開發(fā)人員和企業(yè)提供了強(qiáng)大的工具集，幫助他們探索和實(shí)現(xiàn)機(jī)器人技術(shù)的未來潛力。

而在今年的GTC大會(huì)上，英偉達(dá)同樣也帶來了在Isaac上的一系列新特性和新功能。首先最值得關(guān)注的是能夠支持最新的GR00T模型的、用于其強(qiáng)化學(xué)習(xí)的Isaac Lab和用于計(jì)算編排服務(wù)的OSMO。

新推出的Isaac Lab是一個(gè)基于Isaac Sim開發(fā)的GPU加速、性能優(yōu)化的輕量級(jí)應(yīng)用，旨在支持成千上萬個(gè)機(jī)器人學(xué)習(xí)所需的并行仿真。而為了適應(yīng)分布式計(jì)算環(huán)境中的機(jī)器人開發(fā)工作負(fù)載，新推出的OSMO則負(fù)責(zé)在分布式環(huán)境中協(xié)調(diào)數(shù)據(jù)生成、模型訓(xùn)練以及軟硬件集成的工作流。

除以上兩大新增功能外，NVIDIA還推出了一系列預(yù)訓(xùn)練的機(jī)器人模型、庫和參考硬件，包括Isaac Manipulator和Isaac Perceptor。

Isaac Manipulator為機(jī)械臂提供了卓越的靈活性和AI功能，配備了一系列的基礎(chǔ)模型和GPU加速庫。它能夠?qū)崿F(xiàn)高達(dá)80倍的路徑規(guī)劃加速，通過零樣本感知大幅提高效率和吞吐量，使開發(fā)者能夠自動(dòng)化更多新的機(jī)器人任務(wù)。早期的生態(tài)系統(tǒng)合作伙伴包括Franka Robotics、PickNik Robotics、READY Robotics、Solomon、泰瑞達(dá)子公司TERRA和安川電機(jī)。

而新的Isaac Perceptor則為制造業(yè)和物流業(yè)中的自主移動(dòng)機(jī)器人提供了多攝像頭和3D環(huán)繞視覺功能，旨在提高效率、更好地保護(hù)工人安全，同時(shí)降低錯(cuò)誤率和成本。ArcBest、比亞迪和凱傲集團(tuán)等公司是這些先進(jìn)視覺AI功能的早期行業(yè)合作伙伴，為物料搬運(yùn)等操作引入了新的自主化水平。

結(jié)語

機(jī)器人技術(shù)的進(jìn)步對(duì)于解決全球面臨的各種挑戰(zhàn)，如老齡化社會(huì)、醫(yī)療保健需求增加、生產(chǎn)效率提升等，具有重要意義。我們希望未來的機(jī)器人，不僅具備人形，更重要的是具備“人性”，更加的像一個(gè)真正的人：能夠理解人的自然語言，讀懂人的微表情，恰當(dāng)?shù)睾腿诉M(jìn)行互動(dòng)協(xié)作。而這種能夠進(jìn)行自主學(xué)習(xí)和決策的機(jī)器人系統(tǒng)，背后需要的是高性能計(jì)算（HPC）和深度學(xué)習(xí)的支持。英偉達(dá)通過強(qiáng)大的GPU技術(shù)和AI算法、平臺(tái)的支持，正在幫助我們邁向未來人機(jī)共創(chuàng)的新時(shí)代。