近日，F(xiàn)acebook CEO 扎克伯格透露公司正在研究一款可用于AR眼鏡的腦機接口技術，但該技術并非將AR眼鏡以植入性芯片的形式進行，而是希望能開發(fā)成可量產(chǎn)的可穿戴技術。
類似《刀劍神域》中那般腦機接口被認為是虛擬現(xiàn)實的最終形態(tài)，也是最理想的形態(tài)，然而這個離我們似乎還有些遙遠。
一直想要發(fā)展VR社交的Facebook，一邊在規(guī)劃幾十年后的未來，同時也在踏踏實實地走好每一步。比如剛剛公布的Codec Avatars技術，就讓VR社交中的虛擬人物表情動作達到了非常真實的狀態(tài)，仿佛在虛擬世界中復刻了一個“真實”的你。
就此新科技與前卡內(nèi)基梅隆大學(Carnegie Mellon University)副教授現(xiàn)
FaceBook超逼真化身的研究者Yaser Sheikh進行了交談。
視頻畫面中有一名年輕女子，她的眼睛閃爍著光芒說：“門口站著一個大塊頭的傻瓜。然后他說：‘你以為你是誰，蓮娜·荷恩（上世紀美國超級黑人巨星）嗎？’我說雖然我不是荷恩，但我就像姐姐一樣了解荷恩?！?/p>
上面這段獨白來自沃頓·瓊斯的戲劇《1940年的廣播時刻》的開場白。畫面中的年輕女子繼續(xù)說著這段臺詞，能看出來她很清楚自己在做什么。當她詳細講述門衛(wèi)的聲調(diào)變化時，臉上蕩漾出笑容，就像在跟你講笑話一般。她咬字準確時，嘴唇的形狀會發(fā)生恰到好處的變化，聲音抑揚頓挫。她的表情經(jīng)過如此精細的校準，朗讀臺詞時如此地胸有成竹，再加上黑色背景，恍然之中你會覺得自己仿佛正置身于百老匯劇院，眼前在上演的正是上世紀70年代后期的百老匯戲劇。
唯一的不足之處就是：她脖子以下的身體都消失不見了。
Yaser Sheikh伸出手停止了視頻的播放。剛剛畫面中的年輕女子實際上是一個看上去極其逼真的VR虛擬化身，她令人驚艷的表現(xiàn)背后是收集的數(shù)據(jù)在運作。
形象創(chuàng)建
為了創(chuàng)建每個頭像，F(xiàn)acebook使用了一個專門的拍攝工作室，由132個指向中心的攝像頭組成。幾個小時后，一個人做出各種各樣的面部表情，系統(tǒng)就會生成一個獨特的逼真的頭像。另一個新建的系統(tǒng)捕捉身體。
Yaser Sheikh解釋道:“目前，創(chuàng)造逼真的化身需要使用Facebook現(xiàn)實實驗室匹茲堡辦公室的高度定制的攝像頭和麥克風系統(tǒng)，捕捉研究參與者的大量高質(zhì)量音頻和視頻。這些數(shù)據(jù)被用來訓練人工智能系統(tǒng)，也許有一天，用戶可以通過幾張快照或幾段視頻，快速、輕松地構建自己的編解碼化身?！?/p>
由于一些原因，目前無法與消費者合作，因此研究的主要焦點是使用機器學習來生成這種細節(jié)的化身?？赡苡幸惶欤阍贔acebook或Instagram上現(xiàn)有的照片就足夠了。我問Yaser Sheikh，他是否嘗試過把自己的照片從Facebook上傳到Facebook的系統(tǒng)中，看看他是否能利用Facebook創(chuàng)建一個化身。他說，在嘗試之前，他們需要更多地了解光是如何與皮膚相互作用的。
捕獲研究
為了驅(qū)動這些面部化身，F(xiàn)acebook在頭戴式捕捉研究設備的內(nèi)部建立了一個帶有攝像頭的系統(tǒng)，其中一個攝像頭安裝在鼻子上。讓人令人印象深刻。
VR頭盔的內(nèi)部相對較暗，你不想讓光線蒙蔽用戶。可以用肉眼看不見的紅外光來照明。這些類型的光用于Oculus Rift的“星座”位置跟蹤系統(tǒng)，經(jīng)常用于眼球跟蹤。Facebook在這里使用同樣的技術來照明捕獲系統(tǒng)。
其它處理
Facebook在加利福尼亞州的索薩利托有一個單獨的團隊，他們正在研究一種不同的方法來制作逼真的化身。
Yaser Sheikh解釋道：“這涉及到探索基于物理可以與任何交互的虛擬環(huán)境,結合基礎研究生物力學、神經(jīng)科學、運動分析、和物理驅(qū)動模擬，這項技術仍然依賴于實時數(shù)據(jù)采集，就像編解碼的化身一樣，但它驅(qū)動的不是實時傳感器數(shù)據(jù)驅(qū)動神經(jīng)網(wǎng)絡，而是一個基于物理的模型，靈感來自人體解剖?！?/p>
Facebook應該在今年晚些時候分享更多關于這種方法的信息。
研究了很長時間，但仍然很遙遠
Facebook的Oculus多年來一直在研究人臉跟蹤和逼真的化身。在2015年的SIGGRAPH大會上，Oculus與南加州大學合作進行的研究揭示了一個硬件原型，一個笨重的手臂附在一個開發(fā)工具包上。
眼鏡泡沫內(nèi)襯中的附加傳感器將能夠讀取攝像頭被遮擋時的表情。
匹茲堡的FRL沒有參與早期的研究。Facebook正在“尋找可能的解決方案”，Yaser Sheikh分享了一些“奇跡”，這些奇跡需要發(fā)生才能成為主流。他說，總的來說，他們的目標是最終將技術轉(zhuǎn)移到產(chǎn)品團隊。不過，他提醒說，他們首先需要弄清楚如何在提供最少信息的情況下制作出真實的化身。
Yaser Sheikh說:“完成身體的其余部分是另一個奇跡?！?/p>
控制距離和數(shù)字化
在消費產(chǎn)品中，Yaser Sheikh的團隊和Facebook的其他人正在打造的高品質(zhì)化身將從根本上改變溝通的本質(zhì)。我們將不再討論有限的卡通近似表情。我們將與人類對話，不管距離有多遠。
一些研究人員和科學家認為，再現(xiàn)人類微妙表情的問題是VR中最難解決的問題之一。不過，有一天，與這些化身的對話可能會成為遠程通信的主要形式，取代并消除視頻通話的限制。
這項技術的發(fā)展也帶來了巨大的風險。如果你的外表和行為習慣可以被別人當作有意模仿，那么數(shù)字化模仿的風險是巨大的。
Yaser Sheikh通過電子郵件更詳細地解釋了這一點:
這是早期的研究，隨著我們繼續(xù)開發(fā)這項技術，我們正在務實地考慮我們可以采取的措施，以打擊濫用化身。例如，我們正在研究如何確保您的頭像在真實帳戶中是安全的。我們?nèi)绾卧谄脚_上處理真實身份將是其中的關鍵部分，我們已經(jīng)討論了未來設備的幾個安全和身份驗證選項。顯然，我們離這種技術還有一段路要走，但我們現(xiàn)在想要考慮解決方案。
下載文檔
