淺談眼球追蹤解決VR/AR三大問題

眼球追蹤就是這樣一個讓機(jī)器人更懂人類的技術(shù)。

眼球追蹤主要是研究眼球運(yùn)動信息的獲取、建模和模擬。一是根據(jù)眼球和眼球周邊的特征變化進(jìn)行跟蹤，二是根據(jù)虹膜角度變化進(jìn)行跟蹤，三是主動投射紅外線等光束到虹膜來提取特征。

早在2012年，眼控技術(shù)研究科技公司Tobii宣布研發(fā)出了適配Windows 8的眼控Gaze界面。這是一家做眼球追蹤技術(shù)較早的瑞典公司。2007年公司估值1400萬美元，2009年則達(dá)到了2680萬美元。2012年，英特爾注資2100萬美元進(jìn)Tobii公司，也是出于對windows 8操作系統(tǒng)一次投資。2014年，Tobii 推出了第二代智能眼鏡 Glass 2，利用每個鏡片配備 2 個攝像頭以及相應(yīng)的軟件技術(shù)，實現(xiàn)對眼球動作的精準(zhǔn)捕捉。

Tobii 智能眼鏡

英特爾雖然很早就收購了眼球追蹤的公司，但是經(jīng)過多年，眼球追蹤依然未成為筆記本電腦的核心交互方式。而VR的發(fā)展卻讓我們看到了眼球追蹤技術(shù)應(yīng)用的更多的可能性。

Oculus的創(chuàng)始人Palmer Luckey曾表示，眼部跟蹤技術(shù)會成為VR技術(shù)未來的一個“重要組成部分”。不僅能實現(xiàn)注視點渲染技術(shù)，它還能用來創(chuàng)造一種視覺深度，以創(chuàng)作出更好的用戶界面。

（1）減少眩暈

VR要帶給人沉浸感，就要做到能讓人在虛擬空間里自然運(yùn)動，這需要通過運(yùn)動追蹤來改變場景的呈現(xiàn)。目前的VR設(shè)備主要是利用空間定位技術(shù)來捕捉人的身體的位置運(yùn)動，用慣性傳感器來捕捉人的頭部的運(yùn)動，人在轉(zhuǎn)動頭部時，視角會發(fā)生相應(yīng)的變化。

但是這只是比較初級的動作捕捉，人其實大多數(shù)時候都是通過轉(zhuǎn)動眼球而不是頭部來改變視覺。人們習(xí)慣用眼球轉(zhuǎn)動（而不是頭部轉(zhuǎn)動）去觀察。

目前的VR只追蹤頭部不追蹤眼球運(yùn)動容易使人眩暈（MoTIon Sickness）。人類對于頭部轉(zhuǎn)動和相對應(yīng)的視野的變化是極度敏感的。如果用戶的頭轉(zhuǎn)動了，而相對的，視野轉(zhuǎn)動有延遲，只要很微小的延遲就能感覺得到。有多微小呢？研究表明，頭動和視野的延遲不能超過20ms，不然就會非常明顯。而眼球追蹤技術(shù)運(yùn)用在這里正好可以解決這一問題，以眼球的變化來控制場景的變化。

（2）注視點渲染

場景的變化很必要，但是要讓VR呈現(xiàn)出同自然世界一樣的場景和空間感所需的信息量和計算量是極大的。目前的VR大多數(shù)是將全部場景以同等的清晰度來呈現(xiàn)，用戶移動頭部和身體時虛擬物體也會相應(yīng)地變換位置，視點拉近和退后都會影響景深，這些變化都需要大量的計算和不斷更新。

目前的VR能達(dá)到每秒36次的刷新，而要達(dá)到人眼場景轉(zhuǎn)換的速度則需要2000-3000次每秒，要實時渲染出這些場景，就連很高配的電腦都達(dá)不到。

而事實上，VR根本就不需要也不應(yīng)該以全部的清晰度來呈現(xiàn)場景里的所有物體。在日常生活中，我們都明白“近大遠(yuǎn)小”，并且當(dāng)我們注視一個物體時，這個物體會變清晰而其他物體會變模糊，這樣我們看物體才有空間感和景深。如果當(dāng)我們的視線轉(zhuǎn)移了，畫面中的物體還是全部清晰的，那么我們的眼睛就會感到“不適應(yīng)”，并且會因為處理過多信息而疲勞。

注視點渲染的效果

注視點渲染可以解決VR里畫面呈現(xiàn)的問題，通過追蹤眼睛的注視點，計算機(jī)可以只清晰渲染出注視點的場景，而將周邊的場景模糊呈現(xiàn)。這樣我們眼睛在虛擬環(huán)境中看物體和在自然場景中看物體的體驗就會變得一致，這樣虛擬和現(xiàn)實的切換就不會有明顯的障礙，由視點和運(yùn)動帶來的眩暈也會減輕。

Oculus首席科學(xué)家Michale Abrash在談及VR趨勢時說道，VR將在5年內(nèi)解決聚焦的景深問題。而視點渲染技術(shù)和眼球追蹤技術(shù)是關(guān)鍵的解決辦法。前文已寫到，英偉達(dá)與七鑫易維展開合作將從底層技術(shù)實現(xiàn)GPU基于眼球追蹤的注視點優(yōu)化渲染技術(shù)。

（3）眼球觸發(fā)的交互界面

VR中的交互目前還是一個尚需探索的領(lǐng)域，用戶已經(jīng)習(xí)慣了2D的平面界面信息呈現(xiàn)，在進(jìn)入VR里時會出現(xiàn)信息迷失的狀態(tài)。在很多的試驗中發(fā)現(xiàn)，用戶不會通過轉(zhuǎn)動頭部來獲取整個環(huán)境信息，也很難自己找到隱藏的菜單和選項，通常需要工作人員的指引或者是游戲語音的引導(dǎo)。

眼控VR將會為VR帶來全新的玩法，在射擊類游戲中可以由眼睛控制光標(biāo)鎖定，當(dāng)用戶閉上一只眼時自動調(diào)出瞄準(zhǔn)鏡等，還可以根據(jù)玩家在游戲場景中注視點不同觸發(fā)不同的劇情，當(dāng)玩家注視路口時，會自動出現(xiàn)地圖導(dǎo)航，當(dāng)注視NPC不同部位觸發(fā)不同的劇情等。除此之外眼控的交互方式還可以應(yīng)用于游戲菜單，不需要使用的菜單會自動隱藏，使用時通過眼控觸發(fā)，使VR界面更加干凈。

當(dāng)然，虛擬現(xiàn)實中的交互方式還有待探索，不管是Leap MoTIon主張的手勢交互，還是眼球控制的技術(shù)點交互，都必須符合人們的交互習(xí)慣。

眼球追蹤的下一步怎么走？

雖然各大巨頭都各自收購、投資了眼球追蹤技術(shù)公司，眼球追蹤技術(shù)在解決VR因為的眩暈癥、提升沉浸感、增強(qiáng)交互方面都有極大的作用，眼球追蹤技術(shù)已然成為AR/VR發(fā)展的關(guān)鍵性和基礎(chǔ)性技術(shù)。