要做好VR，ARM建議先關(guān)注以下難題

　　如果你還未曾見過人們初次體驗虛擬現(xiàn)實（VR）的情景，我強(qiáng)烈建議你感受一下。無論是七歲的孩童，還是七十歲的老人，他們戴上眼鏡之后，都情不自禁會像演員一般手舞足蹈，伸長著脖子，盯著周圍的虛擬空間，仿佛突然進(jìn)入了全新的世界維度。然后，他們還會興奮地分享眼前景象，“快看！”“你真該看看！”這讓我想起隨身聽興起的那些日子，我們興奮地朝著對面的人大聲說話，卻忘了歌曲只有自己才能聽見。這樣來介紹VR非常的貼切：這是一個令人興奮的新事物，能夠立刻吸引住你，讓你情不自禁地想要和別人分享。的確，F(xiàn)acebook收購Oculus說明他們已經(jīng)看到了VR應(yīng)用于社交媒體的巨大潛力。想象這樣一個未來場景并不困難：我們坐在虛擬咖啡廳，對著親朋栩栩如生的頭像聊天；或者在你最喜愛的社交網(wǎng)絡(luò)上瀏覽VR視頻和360度全景照片，而現(xiàn)實上，你卻只是穿著睡衣坐在家里的沙發(fā)上。關(guān)于VR未來發(fā)展的展望無處不在，然而， VR未來將如何被使用和消費(fèi)，我們?nèi)孕枋媚恳源?。就目前而言，也有一些其他技術(shù)擁有和VR同樣的潛力和影響力，比如和VR來自同一家族的增強(qiáng)現(xiàn)實（AR）。本文中，我將討論當(dāng)今的VR市場及其面臨的挑戰(zhàn)，并介紹能夠?qū)崿F(xiàn)VR的技術(shù)。

　　游戲被認(rèn)為是VR率先采用的領(lǐng)域，盡管它只是VR技術(shù)眾多潛在用途的其中之一。VR技術(shù)打開了全新的世界，讓游戲開發(fā)者可以營造更高級的沉浸感，創(chuàng)造全新的游戲機(jī)制、體驗與控制方法，這些體驗是絕對是傳統(tǒng)技術(shù)無法實現(xiàn)的。移動游戲剛問世時，很多開發(fā)商都只是單純地將傳統(tǒng)游戲移植到移動平臺。這一做法卻因無法實現(xiàn)而被舍棄。兩者不同的控制方法和形狀因子、多樣化的用戶與使用模式、以及移動市場截然不同的期望，都促使開發(fā)商重新思考移動游戲的核心。從PC、電視遷移到移動設(shè)備，游戲本身所受到的影響遠(yuǎn)超預(yù)期。今天，手機(jī)游戲仍然與PC和電視游戲共享品牌。盡管在高端設(shè)備上，我們已經(jīng)可以支持相同的圖像內(nèi)容，但游戲行業(yè)已經(jīng)掌握該如何調(diào)整傳統(tǒng)游戲，使其更適應(yīng)移動市場，并針對移動市場開發(fā)了完全不同的游戲類型。如此轉(zhuǎn)變推動了移動游戲市場的快速成長，有時，移動游戲的收益甚至超過傳統(tǒng)的PC、電視游戲。

　　我們正處于新一輪的探索期：如何將VR更好地應(yīng)用于游戲、了解哪些有用，哪些沒用。所有人都在探尋并試圖如何抓住這一千載難逢的機(jī)遇。接下來的數(shù)年將是見證奇跡的時刻，我們將親眼目睹VR的發(fā)展和演化。歷史的經(jīng)驗告訴我們，全沉浸式的游戲盡管可以營造更身臨其境的感官體驗，但是被外星人一槍爆頭的感覺只會讓人驚恐萬分。相較于此，溫和的娛樂形式盡管乍看起來沒什么特別，但通常卻更令人印象深刻。當(dāng)然，也不排除會有很多開發(fā)商覺得，白天嚇人一大跳是件值得驕傲的事情。有的玩家也很樂意體驗一下世界最大的虛擬過山車是什么感覺。市場需求是多種多樣的，所以我不希望一概而論。Oculus Store中多元化的應(yīng)用告訴我們，“體驗”和“概念”將各自衍生出全新的娛樂形式。即便只在其中添加細(xì)微的交互元素，也有可能打造出一款全新的“游戲”。

　　如果能夠從用戶取景的角度來考量，我們可以做地更好。這種新的思維方法特別適用于內(nèi)容渲染，并進(jìn)一步突出視圖自適應(yīng)技術(shù)的優(yōu)勢。從OTOY和8i正在開發(fā)的新技術(shù)，或者光場相機(jī)相關(guān)及新型領(lǐng)域的快速成長中，我們不難發(fā)現(xiàn)，GPU為中心的視頻技術(shù)正快速進(jìn)步。這是一個快速發(fā)展的領(lǐng)域，我們希望整個行業(yè)也可以跟上步伐。

　　
　　實現(xiàn)高品質(zhì)VR的挑戰(zhàn)

　　高品質(zhì)移動VR不僅對GPU有更高的要求，對整個系統(tǒng)都是很大的挑戰(zhàn)。發(fā)熱限值是VR設(shè)備的重要參數(shù)，為確保設(shè)備運(yùn)行時間內(nèi)不超出發(fā)熱限制，很多組件都需要重新設(shè)計，才能夠?qū)崿F(xiàn)視頻、GPU和顯示器的超低延遲、零拷貝路徑，以及嚴(yán)格的功耗管理。Linux系統(tǒng)對實時操作的要求不高，但低延遲的VR應(yīng)用則需要接近實時的系統(tǒng)運(yùn)行。因此，線程間通信和線程優(yōu)先級、動態(tài)調(diào)頻調(diào)壓（DVFS）及其他系統(tǒng)集成細(xì)微的改變都會對“光子運(yùn)動”關(guān)鍵路徑的穩(wěn)健性產(chǎn)生影響。

　　一款安卓應(yīng)用需要經(jīng)過操作系統(tǒng)的三重緩沖，僅僅圖像提交路徑就會產(chǎn)生50ms的延遲。盡管最后的效果還過得去，短時視頻體驗也還不錯，但是眼睛和屏幕的延遲非常明顯。如此，看不了太久，延遲就會使人不舒服，甚至感到惡心，哪怕是觀看相對靜態(tài)的內(nèi)容也不會有很大的改觀。盡管VR體驗讓人印象深刻，但產(chǎn)業(yè)發(fā)展的重點是為大眾市場帶來高品質(zhì)VR產(chǎn)品，唯有此，才能進(jìn)一步釋放其巨大的發(fā)展?jié)摿Α?/p>

　　業(yè)界通用的“光子運(yùn)動”延遲最高為20ms。低于20ms的話，延遲就難以被察覺。對刷新率為60幀／秒（16毫／幀）的標(biāo)準(zhǔn)面板來講，這一目標(biāo)很難實現(xiàn)；但通過一系列技術(shù)的結(jié)合，三星Gear VR設(shè)備現(xiàn)在已經(jīng)可以實現(xiàn)：

　　• “異步時間扭曲”流程

　　• 直接渲染到顯示器前置緩沖

　　• 使用低持續(xù)性的OLED顯示器

　　一旦通過應(yīng)用框架，應(yīng)用程序就可以收集最新的頭部追蹤數(shù)據(jù)，將當(dāng)前世界渲染成“眼部緩沖區(qū)（eyebuffer）”（一種特殊紋理，對應(yīng)左右眼分成邏輯兩側(cè)）。如果可能的話，我們建議應(yīng)用程序以60幀／秒的速度運(yùn)行，但實際應(yīng)用中很難保證，所以將目標(biāo)設(shè)定為30幀／秒更為顯現(xiàn)實。為了保證幀速率，降低有效延遲時間，異步運(yùn)行的時間扭曲流程會負(fù)責(zé)收集最新的有效eyebuffer，并在顯示器讀取之前直接將其寫入前置緩沖。安裝ARM Mali GPU的“context—priority”擴(kuò)展后，時間扭曲流程能采用單獨的高優(yōu)先級OpenGL ES（嵌入式系統(tǒng)開放圖形庫）內(nèi)容進(jìn)行渲染。提交高優(yōu)先級內(nèi)容后，GPU上現(xiàn)有的渲染工序會自動中斷，完成高優(yōu)先級內(nèi)容渲染后再繼續(xù)原有任務(wù)。采用該流程，時間扭曲可以及時提交渲染任務(wù)，顯示器也可以再次讀取返回的數(shù)據(jù)。時間扭曲對顯示屏的渲染時間比應(yīng)用程序更短，其獲得的頭部追蹤數(shù)據(jù)也就更新，進(jìn)而可以調(diào)整eyebuffer內(nèi)容，使之與頭部的實際方向更加匹配。時間扭曲僅能針對頭部轉(zhuǎn)動進(jìn)行調(diào)整，而無法根據(jù)頭部固定位置或動畫場景來調(diào)節(jié)，但實際應(yīng)用中，因為頭部轉(zhuǎn)動的時間延遲低于可被注意到的閾值，流暢的體驗就可以形成。這“剛好及時”將內(nèi)容渲染到前置緩沖的方式最適合低持續(xù)性的OLED顯示器。

　　對全局背光LCD顯示器來講，屏幕必須及時照亮單點圖像。相反，低持續(xù)性O(shè)LED顯示器的照亮?xí)r間很短，因為幀緩沖已經(jīng)完成讀取。若屏幕保持水平，使用慢動作攝影機(jī)觀看，每一幀的畫面你都會看到一道在面板上從左到右運(yùn)行的光波。這使得觀看屏幕時，頭部可以旋轉(zhuǎn)至不同方向，并進(jìn)一步降低延遲。

　　盡管延遲時間是一個亟待攻克的技術(shù)難關(guān)，但人們對VR的需求不會因此而終結(jié)。在頭部佩戴鏡頭以放大面板倍率則進(jìn)一步印證了我們對高清面板的渴望。哪怕原始分辨率已經(jīng)達(dá)到1440p，面板的視差發(fā)光格柵仍清晰可見；但對分辨率大于 1440p，幀率超過 60 FPS的顯示屏來講，我們還需要在系統(tǒng)上花更大的功夫，并進(jìn)一步提高外置存儲器帶寬。隨著壓縮視頻、GPU和顯示器間的幀緩沖交換變得愈加重要，所有ARM IP均使用無損ARM幀緩沖壓縮（AFBC）技術(shù)，以盡可能地減少幀緩沖存儲器流量。還有一點非常重要，為了高效地創(chuàng)建eyebuffer，且無需為左右眼重復(fù)做功，應(yīng)用程序需要更有效地渲染至多視圖。在具備該技術(shù)的平臺上，Mali可以支持“多視圖” OpenGL ES擴(kuò)展，允許應(yīng)用程序在一幀圖像到達(dá)驅(qū)動器后提交繪制命令，同步完成左右眼的eyebuffer創(chuàng)建。這一流程可以顯著縮短應(yīng)用程序和驅(qū)動器需要的CPU計算時間。同時，我們進(jìn)一步優(yōu)化了Midgard Mali GPU的頂點運(yùn)算能力，運(yùn)行頂點著色器中不依賴眼睛的部分，并實現(xiàn)雙眼共享。Vulkan是Khronos公司開發(fā)的全新跨平臺API，可以進(jìn)一步降低CPU開銷，讓開發(fā)者對產(chǎn)品有更大的掌控力度，促進(jìn)移動VR的發(fā)展。

　　VR是一項開創(chuàng)性的技術(shù)，正在快速發(fā)展的過程中。得益于現(xiàn)代移動設(shè)備的普及和強(qiáng)大功能，VR不再只是昂貴的定制臺式機(jī)或控制臺系統(tǒng)的專屬。為了真正實現(xiàn)VR，發(fā)揮其對世界的潛在影響，移動VR必須面向大眾市場。作為這一領(lǐng)域的意見領(lǐng)袖，我們致力于推動其繼續(xù)發(fā)展并與合作伙伴密切協(xié)作，提供高品質(zhì)的VR體驗，發(fā)揮該技術(shù)的最大潛力，實現(xiàn)更加美好的虛擬世界。