一次降落傘事故成為增強(qiáng)現(xiàn)實(shí)取得進(jìn)展的關(guān)鍵

時間：2022-10-13 09:45:04

關(guān)鍵字：傳感器感知覆蓋虛擬卡具

手機(jī)看文章

掃描二維碼
隨時隨地手機(jī)看文章

[導(dǎo)讀]我爬進(jìn)一個覆蓋著傳感器、電機(jī)、齒輪和軸承的上半身外骨骼設(shè)備中，然后身體前傾，抬起頭，把臉貼在視覺系統(tǒng)吊在天花板下方的目鏡上。在我面前，我看到的是一塊漆成黑色的大木板，中間有金屬孔網(wǎng)格。木板是真實(shí)的。我手中的釘子也是真實(shí)的。我嘗試以最快的速度將釘子從一個孔移動到另一個孔。當(dāng)我開始移動釘子時，目標(biāo)孔上會出現(xiàn)一個虛擬錐體，以及一個向虛擬椎體緩慢移動的虛擬臺面。當(dāng)我將釘子沿著平面滑向錐體并插入孔中時，我能感覺到這個臺面的存在。這就是20世紀(jì)90年代初開發(fā)的虛擬卡具（Virtual Fixtures）平臺，用于測試“感知覆蓋”的潛力，提高人執(zhí)行靈巧性的手動任務(wù)的表現(xiàn)。它奏效了。

1992年，首個交互式增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)備“從天而降”。

我爬進(jìn)一個覆蓋著傳感器、電機(jī)、齒輪和軸承的上半身外骨骼設(shè)備中，然后身體前傾，抬起頭，把臉貼在視覺系統(tǒng)吊在天花板下方的目鏡上。在我面前，我看到的是一塊漆成黑色的大木板，中間有金屬孔網(wǎng)格。木板是真實(shí)的。我手中的釘子也是真實(shí)的。我嘗試以最快的速度將釘子從一個孔移動到另一個孔。當(dāng)我開始移動釘子時，目標(biāo)孔上會出現(xiàn)一個虛擬錐體，以及一個向虛擬椎體緩慢移動的虛擬臺面。當(dāng)我將釘子沿著平面滑向錐體并插入孔中時，我能感覺到這個臺面的存在。這就是20世紀(jì)90年代初開發(fā)的虛擬卡具（Virtual Fixtures）平臺，用于測試“感知覆蓋”的潛力，提高人執(zhí)行靈巧性的手動任務(wù)的表現(xiàn)。它奏效了。

如今，虛擬現(xiàn)實(shí)專家將這個平臺稱為首個交互式增強(qiáng)現(xiàn)實(shí)（AR）系統(tǒng)，其讓用戶能夠在單一沉浸現(xiàn)實(shí)中，同時與真實(shí)對象和虛擬對象互動。

該項(xiàng)目始于1991年，這項(xiàng)工作是我當(dāng)年在斯坦福大學(xué)攻讀博士學(xué)位的課題之一。歷經(jīng)三年，我制作了多個原型，最終完成項(xiàng)目時，我組裝的系統(tǒng)填滿了半個房間，所用的硬件價值近百萬美元。我還從人體測試中采集了大量數(shù)據(jù)，明確表明采用虛擬對象增強(qiáng)真實(shí)工作空間，可顯著提高用戶在精密任務(wù)中的表現(xiàn)。

鑒于時間較短，這項(xiàng)目聽起來一切順利，但由于預(yù)算緊張且設(shè)備需求巨大，項(xiàng)目多次接近“脫軌”。事實(shí)上，要不是因?yàn)?992年夏天一個降落傘（一個真實(shí)的，而非虛擬的降落傘）在俄亥俄州代頓湛藍(lán)的天空中開傘失敗，這項(xiàng)工作可能早就流產(chǎn)了。在解釋這次降落傘事故如何推動增強(qiáng)現(xiàn)實(shí)發(fā)展之前，我先介紹一些歷史背景。30年前，虛擬現(xiàn)實(shí)（VR）領(lǐng)域尚處于起步階段。虛擬現(xiàn)實(shí)一詞本身是杰倫?拉尼爾（Jaron Lanier）在1987年創(chuàng)造的，當(dāng)時他正試圖商業(yè)化第一批頭戴式耳機(jī)和手套。該項(xiàng)工作以伊萬?薩瑟蘭（Ivan Sutherland）的早期研究為基礎(chǔ)，伊萬開創(chuàng)了頭戴式顯示技術(shù)和頭部追蹤技術(shù)，這兩個關(guān)鍵部件促進(jìn)了虛擬現(xiàn)實(shí)領(lǐng)域的發(fā)展。當(dāng)時，將現(xiàn)實(shí)世界和虛擬世界融合為沉浸式、交互式的單一現(xiàn)實(shí)的增強(qiáng)現(xiàn)實(shí)還不具有存在的意義。當(dāng)時，我還是斯坦福大學(xué)的研究生，也是美國國家航空航天局艾姆斯研究中心的兼職研究員，對創(chuàng)造虛擬世界很感興趣。在斯坦福大學(xué)，我在設(shè)計(jì)研究中心工作，該中心的團(tuán)隊(duì)重點(diǎn)研究人與技術(shù)的交匯，創(chuàng)造了非常早期的虛擬現(xiàn)實(shí)手套、沉浸式視覺系統(tǒng)和3D音響系統(tǒng)。在美國國家航空航天局，我在艾姆斯研究中心的高級顯示和空間感知實(shí)驗(yàn)室工作，這里的研究人員探索實(shí)現(xiàn)逼真、沉浸式虛擬世界所需的基本參數(shù)。

當(dāng)然，知道如何創(chuàng)建高質(zhì)量的虛擬現(xiàn)實(shí)體驗(yàn)與能夠真正實(shí)現(xiàn)這一體驗(yàn)并不是一回事。當(dāng)時市面上最好的個人電腦是工作頻率為33兆赫的英特爾486處理器，根據(jù)通貨膨脹調(diào)整后的成本約合8000美元，計(jì)算速度甚至不及當(dāng)今廉價游戲計(jì)算機(jī)的千分之一。另一個選擇是投資6萬美元購買一臺Silicon Graphics的工作站，其計(jì)算速度仍然不到今天普通個人電腦的百分之一。因此，盡管20世紀(jì)80年代末、90年代初的虛擬現(xiàn)實(shí)研究人員從事的是一項(xiàng)開創(chuàng)性的工作，但粗糙的圖形、笨重的耳機(jī)和糟糕的延遲會令人頭暈?zāi)垦；蚋械綈盒?，虛擬體驗(yàn)并不好。我那時在美國國家航空航天局執(zhí)行一個研究項(xiàng)目，優(yōu)化早期3D視覺系統(tǒng)中的深度感覺，我就是那些因延遲而頭暈?zāi)垦５娜酥?。?dāng)時創(chuàng)造的圖像的確是虛擬的，與現(xiàn)實(shí)相差甚遠(yuǎn)。盡管如此，我并未因頭暈或保真度低而氣餒，因?yàn)槲掖_信硬件會穩(wěn)步改進(jìn)。相反，我為當(dāng)時虛擬現(xiàn)實(shí)驗(yàn)的封閉和孤立而感到擔(dān)心。我希望擴(kuò)展這項(xiàng)技術(shù)，將虛擬現(xiàn)實(shí)的性能釋放到現(xiàn)實(shí)世界中。我夢想著創(chuàng)造一個混在一起的現(xiàn)實(shí)世界，讓虛擬物體以真實(shí)的方式存在于身體周邊的環(huán)境中，宛若周邊真實(shí)世界的一部分，讓人們能夠與之接觸與互動，就如同它們真實(shí)存在一樣。當(dāng)時我知道一種非常基礎(chǔ)的混合現(xiàn)實(shí)，即軍事飛行員使用的平視顯示器，它讓飛行數(shù)據(jù)出現(xiàn)在飛行員的視線中，飛行員不需要低頭看駕駛艙儀表。我自己并未有過這樣的體驗(yàn)，而是在《壯志凌云》《終結(jié)者》等20世紀(jì)80年代的熱門電影中熟悉了它們?！秹阎玖柙啤返目諔?zhàn)中，飛行員面前的玻璃板上出現(xiàn)了發(fā)光的十字準(zhǔn)線；《終結(jié)者》中，十字準(zhǔn)線結(jié)合文本和數(shù)字?jǐn)?shù)據(jù)，成為虛構(gòu)機(jī)器人對周圍世界的一部分視角信息。這兩種混合現(xiàn)實(shí)沒有絲毫的沉浸感，圖像呈現(xiàn)在平面上，而非連接3D空間的現(xiàn)實(shí)世界。但它們暗示了一種有趣的可能性。我想我可以完全超越簡單的十字準(zhǔn)線和平面上的文本，我要創(chuàng)建一些虛擬物體，讓它們在空間上顯示為普通環(huán)境中的真實(shí)物體。我希望給這些虛擬物體灌注真實(shí)的物理特性。我需要大量資源來實(shí)現(xiàn)這一愿景，我在斯坦福大學(xué)和美國國家航空航天局獲得的資源遠(yuǎn)遠(yuǎn)不夠。因此，我向美國空軍阿姆斯特朗實(shí)驗(yàn)室的人體感官反饋研究組提交了這一概念，該實(shí)驗(yàn)室現(xiàn)為空軍研究實(shí)驗(yàn)室的一部分。為解釋混合現(xiàn)實(shí)世界和虛擬世界的實(shí)用價值，我用簡單的金屬尺子做個比喻。如果你要在現(xiàn)實(shí)世界中畫一條直線，你可以徒手慢慢地畫，即使花費(fèi)了大量的腦力，畫出的線條仍然不會特別直；而如果你有一把尺子，就可以又快又省力地完成這個任務(wù)了?，F(xiàn)在想象一下，你拿的不是真正的尺子，而是一把虛擬尺子，讓它馬上出現(xiàn)在現(xiàn)實(shí)世界中，完美地顯示在真實(shí)環(huán)境里。這把虛擬尺子在感覺上是真實(shí)存在的，真實(shí)到可以用它來引導(dǎo)真正的鉛筆。因?yàn)槌咦邮翘摂M的，所以它可以是任意形狀和大小，具有金屬直尺永遠(yuǎn)無法實(shí)現(xiàn)的有益且有用的特性。當(dāng)然，尺子只是一個比喻。我向空軍描繪的應(yīng)用范圍很廣，從增強(qiáng)制造拓展到外科手術(shù)。例如，需要進(jìn)行危險手術(shù)的外科醫(yī)生可能使用笨重的金屬卡具來穩(wěn)定雙手，避開重要器官，而如果可以發(fā)明增強(qiáng)手術(shù)新工具——虛擬卡具來引導(dǎo)真實(shí)的手術(shù)刀，這種真實(shí)不僅是視覺上的，還是身體感覺上的，情況就不一樣了。因?yàn)榭ň呤翘摂M的，因此它可以直接穿過患者的身體，不需要切口就可以進(jìn)入患者的身體組織之中。這一概念令軍方興奮不已，軍方的興趣不僅在于外科手術(shù)這類現(xiàn)場任務(wù)，還在于使用遙控機(jī)器人執(zhí)行的遠(yuǎn)程任務(wù)。舉例而言，地球上的技術(shù)人員可以在虛擬卡具和工作現(xiàn)場的視頻圖像的輔助下，遠(yuǎn)程控制機(jī)器人修復(fù)衛(wèi)星?？哲娡馓峁┳銐虻馁Y金，支付我在斯坦福大學(xué)的費(fèi)用和少量的設(shè)備預(yù)算。我還能在俄亥俄州代頓附近的懷特帕特森空軍基地使用計(jì)算機(jī)和其他設(shè)備，這一點(diǎn)也許更為重要。被稱為虛擬卡具的項(xiàng)目終于盤活了，其目標(biāo)是構(gòu)建一個原型，用于人類受試者進(jìn)行嚴(yán)格測試。我成為了一個馬不停蹄出差的研究員，在斯坦福大學(xué)研究核心思想，在美國國家航空航天局艾姆斯中心具體化基礎(chǔ)技術(shù)，在懷特帕特森基地組裝整個系統(tǒng)。現(xiàn)在來談?wù)勀切┙德鋫恪?/span>作為20出頭的年輕研究員，當(dāng)時的我渴望了解周圍不同實(shí)驗(yàn)室正在進(jìn)行的多個項(xiàng)目。我在懷特帕特森基密切關(guān)注的項(xiàng)目是設(shè)計(jì)新的降落傘。如你所想，降落傘研究團(tuán)隊(duì)提出新設(shè)計(jì)時，并不是把它綁在一個人身上進(jìn)行測試，而是將降落傘綁到裝有傳感器和儀器的假人裝置上。兩名工程師帶著硬件登上飛機(jī)，投下假人裝置并相伴起跳，觀察傘布的展開情況。接著聽我的故事，你會明白為何降落傘成為早期增強(qiáng)現(xiàn)實(shí)系統(tǒng)開發(fā)的關(guān)鍵。回到虛擬卡具項(xiàng)目，我的目標(biāo)是證明一個基本概念，即可以用逼真的虛擬對象來增強(qiáng)真實(shí)的工作區(qū)域，幫助用戶執(zhí)行靈巧性高的人工作業(yè)。要驗(yàn)證這一概念，我不會讓用戶進(jìn)行外科手術(shù)或修理衛(wèi)星，而是需要可重復(fù)的簡單任務(wù)來測定量化人工作業(yè)的表現(xiàn)。美國空軍已有一項(xiàng)使用多年的標(biāo)準(zhǔn)化作業(yè)，用于測試人在不同精神和身體壓力下的敏捷性。這個插釘子作業(yè)被稱為菲茨定律，即讓測試對象在大釘板上的各個孔之間快速移動金屬釘子。于是，我開始組裝系統(tǒng)，將虛擬卡具與真實(shí)釘板融合，創(chuàng)建3D空間完美的混合現(xiàn)實(shí)體驗(yàn)。我的目標(biāo)是讓虛擬物體盡可能逼真，真實(shí)釘子撞在虛擬卡具上的感覺和撞到真實(shí)釘板一樣真實(shí)。我編寫了軟件來仿真各種虛擬卡具，從簡單的臺面，防止人手超越目標(biāo)孔，到造型細(xì)膩的圓錐體，幫助用戶將真正的釘子釘?shù)秸鎸?shí)的孔洞中。我創(chuàng)建了虛擬覆蓋層，模擬材質(zhì)且具有相應(yīng)的聲音，有些覆蓋層甚至能夠模擬穿過濃稠的虛擬蜂蜜液體的感覺。為提高真實(shí)性，我對每個虛擬元素的物理特性進(jìn)行建模，在3個維度上準(zhǔn)確表示元素的位置，與用戶對真實(shí)木板的感知保持一致。當(dāng)用戶將手移至與虛擬平面相對應(yīng)的區(qū)域時，外殼裝置中的電機(jī)會向后推一下，這一接口技術(shù)現(xiàn)在通常稱為觸覺反饋。它的感覺十分真實(shí)，你甚至可以沿著虛擬平面的邊緣滑動，就像將鉛筆沿著真正的尺子移動一樣。為將虛擬元素與真實(shí)的釘板準(zhǔn)確對齊，需要高質(zhì)量的攝像頭。當(dāng)時的攝像頭比今天貴得多，我已經(jīng)沒有預(yù)算再買攝像頭了。這是一個令人沮喪的障礙：空軍讓我使用了各種令人驚嘆的硬件，但對于一臺簡單的攝像頭，他們卻無能為力。似乎每個研究項(xiàng)目都需要攝像頭，其中大多數(shù)項(xiàng)目的優(yōu)先級都遠(yuǎn)高于我的項(xiàng)目。這便將故事帶回到了測試試驗(yàn)型降落傘的跳傘工程師。有一天，這些工程師來實(shí)驗(yàn)室聊天；他們提到降落傘未能打開，假人裝置垂直墜落到地上，所有的傳感器和攝像頭都摔毀了。這對我的項(xiàng)目而言也不是一個好消息，因?yàn)槲抑?，如果大樓里還有額外的攝像機(jī)，一定會被工程師拿走。后來我問工程師是否可以給我看看他們測試失敗的殘骸。變形的金屬、懸著的電路和破碎的攝像機(jī)雜亂地丟在一起。盡管這些攝像機(jī)外殼破裂、鏡頭損壞，看起來很糟糕，但我仍然想知道能不能找到一個還能使用的，滿足我的需求。奇跡出現(xiàn)了，我利用摔壞的6個工作單元拼湊出2個工作單元。于是，利用“從天而降”摔在地上的攝像機(jī)，交互式增強(qiáng)現(xiàn)實(shí)系統(tǒng)的首次人體測試終于實(shí)現(xiàn)了。要了解這些攝像頭對系統(tǒng)的重要性，不妨想想如今簡單的增強(qiáng)現(xiàn)實(shí)應(yīng)用程序，例如《精靈寶可夢》。如果手機(jī)背面沒有攝像頭實(shí)時捕捉并顯示現(xiàn)實(shí)世界，那就不是增強(qiáng)現(xiàn)實(shí)體驗(yàn)，而只是個標(biāo)準(zhǔn)的視頻游戲。虛擬卡具系統(tǒng)亦是如此。多虧了那個失敗的降落傘裝置的攝像頭，我順利創(chuàng)建出具有精確空間表現(xiàn)的混合現(xiàn)實(shí)，提供可同時在真實(shí)和虛擬環(huán)境中進(jìn)行接觸和交互的沉浸式體驗(yàn)。至于項(xiàng)目的試驗(yàn)部分，我進(jìn)行了一系列人體研究，用戶在研究中體驗(yàn)了利用各種虛擬卡具疊加真實(shí)任務(wù)板的感知。最有用的卡具是錐體和臺面，當(dāng)用戶將釘子對準(zhǔn)孔洞時，卡具可以對用戶的手進(jìn)行引導(dǎo)。最有效的則是身體試驗(yàn)，在現(xiàn)實(shí)世界中不易制造的東西，在虛擬環(huán)境中卻很容易實(shí)現(xiàn)。例如，我通過編程實(shí)現(xiàn)了對釘子具有“磁性吸引力”的虛擬臺面。對用戶而言，就有了釘子好像被吸到臺面上的感覺，然后他們可以沿著臺面滑動釘子，直到釘子又被吸了一下。這類卡具可將試驗(yàn)中的速度和靈巧度提高1倍以上。在我們當(dāng)時考慮的虛擬卡具的各類應(yīng)用中，最具商業(yè)可行性的是在遠(yuǎn)程或危險環(huán)境中手動控制機(jī)器人，例如危險廢棄物的清理。如果通信距給遠(yuǎn)程遙控機(jī)器人操作帶來了延遲，那么虛擬卡具對于提高人的靈巧度將變得更加有價值。今天，研究人員仍在探索將虛擬卡具用于遠(yuǎn)程遙控機(jī)器人應(yīng)用，并取得了巨大成功，包括衛(wèi)星修復(fù)和機(jī)器人輔助手術(shù)。

而我選擇了完全不同的方向，推動增強(qiáng)現(xiàn)實(shí)實(shí)現(xiàn)更多主流應(yīng)用。因?yàn)樘摂M卡具項(xiàng)目對我個人影響最大的并不是在插釘子任務(wù)中提高性能，而是當(dāng)人類受試者爬出系統(tǒng)時，臉上洋溢著燦爛的笑容，陶醉于剛才非凡的經(jīng)歷。許多人主動和我說，這項(xiàng)技術(shù)有一天將會無處不在。

我同意他們的看法。我當(dāng)時確信我們會在20世紀(jì)90年代末看到這項(xiàng)沉浸式技術(shù)成為主流。事實(shí)上，人們在嘗試這些早期原型時的熱情反響，真的令我深受鼓舞。我在1993年創(chuàng)立了Immersion公司，以實(shí)現(xiàn)主流消費(fèi)應(yīng)用為目標(biāo)。當(dāng)然，目標(biāo)并沒有很快實(shí)現(xiàn)。冒著再次犯錯的風(fēng)險，我真誠地相信，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)（現(xiàn)在通常被稱為元宇宙）將在21世紀(jì)20年代末成為大多數(shù)人生活的重要組成部分?；诮诖蠊靖倪M(jìn)技術(shù)的投資激增，我預(yù)測到21世紀(jì)30年代初，增強(qiáng)現(xiàn)實(shí)將取代手機(jī)，成為我們訪問數(shù)字內(nèi)容的主要界面。另外，在30年前早期體驗(yàn)過增強(qiáng)現(xiàn)實(shí)的測試對象中，沒有一個人知道自己使用的是從飛機(jī)上掉下來的硬件。但他們確實(shí)知道，自己是第一批伸手觸摸到增強(qiáng)現(xiàn)實(shí)未來的人。

作者：Louis Rosenberg