Imagination將光線追蹤技術(shù)率先引入移動(dòng)SoC

作者：Imagination Technologies內(nèi)容經(jīng)理Benny Har-Even

從今年8月底科隆游戲展開始，光線追蹤技術(shù)(ray tracing)再次成為了行業(yè)的焦點(diǎn)，國(guó)內(nèi)諸多科技媒體、尤其是游戲行業(yè)媒體對(duì)此進(jìn)行了大量報(bào)道，主要原因是英偉達(dá)(NVIDA)推出的面向PC游戲市場(chǎng)的顯卡已經(jīng)支持這種開創(chuàng)性的圖形技術(shù)了。

然而，Imagination是第一家將光線追蹤技術(shù)變成現(xiàn)實(shí)的廠商，我們方法的與眾不同之處在于：從頭開始設(shè)計(jì)，采用嚴(yán)格標(biāo)準(zhǔn)在嵌入式硬件平臺(tái)實(shí)現(xiàn)部署。換句話說，Imagination所做的正是我們所擅長(zhǎng)的：讓前沿技術(shù)更加的高效，而且讓更多的人將來在移動(dòng)平臺(tái)上享受該技術(shù)的美妙。

當(dāng)然，現(xiàn)在還為時(shí)尚早，甚至面向PC市場(chǎng)的GPU巨頭也還沒有發(fā)布相關(guān)的游戲，這也證明了圍繞一項(xiàng)新技術(shù)創(chuàng)建生態(tài)系統(tǒng)的難度。一旦這些實(shí)現(xiàn)，消費(fèi)者就會(huì)看到真正的效果，并且希望他們所有的設(shè)備中都能看到這種光線追蹤技術(shù)。

從底層創(chuàng)新到IP授權(quán)

任何一篇關(guān)于光線追蹤技術(shù)的文章里幾乎都可以看到“圣杯”這樣的字眼，它像是一直追求的東西但是似乎總是遙不可及。然而，我們第一次談到光線追蹤IP是在2012年，然后是2014年我們推出了支持光線追蹤技術(shù)GPU系列，這一系列GPU集成了專門用于光線追蹤加速的模塊。這主要是為了用于移動(dòng)硬件平臺(tái)，但是為了演示和開發(fā)的方便性，我們將芯片集成在一塊PCIe評(píng)估板卡上，并在2016年進(jìn)行了運(yùn)行測(cè)試。

現(xiàn)在PowerVR光線追蹤技術(shù)可以通過授權(quán)使用，能夠支持獨(dú)立的光線追蹤處理器或混合的光線追蹤/光柵化器件。

那么，怎樣實(shí)現(xiàn)光線追蹤呢?

讓我們快速回顧一下為什么光線追蹤技術(shù)被認(rèn)為是一件大事，如果你看過任何的3D圖形場(chǎng)景就會(huì)發(fā)現(xiàn)場(chǎng)景的真實(shí)水平高度依賴光照。在被稱為光柵化的傳統(tǒng)圖形渲染技術(shù)中，光照和陰影都是提前計(jì)算的，然后應(yīng)用到場(chǎng)景中進(jìn)行模擬。然而這種方法充其量也是很拙劣的場(chǎng)景模擬。

光線追蹤是完全不同的，它真實(shí)模擬了現(xiàn)實(shí)世界中光的效果。在現(xiàn)實(shí)生活中，光源(比如太陽)發(fā)出的虛擬光束會(huì)不斷進(jìn)行傳播或者房間內(nèi)的一束光線照射到不同的物體上，光線會(huì)與物體相互作用，根據(jù)物體的表面性質(zhì)發(fā)射到另一個(gè)表面，這樣光線會(huì)不斷的進(jìn)行跳躍，從而產(chǎn)生光影。

計(jì)算機(jī)中的光線追蹤或者更精確的路徑追蹤過程與真實(shí)世界中的光線傳播方式是相反的。光線實(shí)際上是從相機(jī)的某個(gè)視角照射到場(chǎng)景內(nèi)的物體上，然后算法會(huì)計(jì)算光線如何與物體表面的相互作用，追蹤從每個(gè)物體上返回光源的光線，這樣的結(jié)果是場(chǎng)景內(nèi)像是被現(xiàn)實(shí)世界中的太陽照亮一樣：有真實(shí)反射和陰影效果。

傳統(tǒng)上計(jì)算機(jī)不可能做到這一點(diǎn)兒，因?yàn)橛?jì)算負(fù)載太高了，因此會(huì)采用光柵化的方法進(jìn)行“作弊”。

當(dāng)然，雖然我們還沒有將其應(yīng)用到游戲中，但是我們已經(jīng)很熟悉光線追蹤的效果。你將會(huì)在每一部3D動(dòng)畫電影中看到這樣的效果，有好看的人物和真實(shí)的場(chǎng)景。然而這些場(chǎng)景需要在專門的服務(wù)器集群上經(jīng)過幾個(gè)月時(shí)間的渲染才能完成，這對(duì)于游戲來說并不適合，游戲必須實(shí)現(xiàn)以每秒至少30幀的速度實(shí)時(shí)生成場(chǎng)景。

正如前面所討論的那樣，這在以前是不可能的，因?yàn)橐婕暗骄薮蟮挠?jì)算成本，但是Imagination采用一種混合的方式改變了游戲面臨的難題，它結(jié)合了光柵化的速度和光線追蹤的視覺精度兩方面的優(yōu)點(diǎn)。

一個(gè)具有真實(shí)陰影的光線追蹤機(jī)器人

使光線追蹤生效

如果你想了解我們是如何做到這一點(diǎn)的：將陰影、反射和折射集成到傳統(tǒng)的光柵化游戲引擎中，那就點(diǎn)擊下面這個(gè)鏈接的閱讀文章吧，在我們的博客文章《實(shí)時(shí)光照的混合渲染：光線追蹤vs光柵化》中，我們?cè)敿?xì)討論了這種技術(shù)的區(qū)別。

當(dāng)然如果沒有API支持新的硬件和技術(shù)可以說什么都不是，為此Imagination創(chuàng)建了OpenRL作為光線追蹤的API，后續(xù)我們?cè)黾恿薕penGL ES光線追蹤擴(kuò)展以及面向Vulkan的API。

混合光線追蹤技術(shù)現(xiàn)在已經(jīng)在微軟DirectX12中實(shí)現(xiàn)，這為全新的臺(tái)式PC機(jī)顯卡鋪平了道路。

高效vs蠻力

當(dāng)然，一個(gè)關(guān)鍵的區(qū)別之處在于，雖然英偉達(dá)(NVIDIA)RTX卡在游戲狀態(tài)下的功耗測(cè)量為225W，但是我們的解決方案是專門為移動(dòng)平臺(tái)而設(shè)計(jì)的，我們芯片的運(yùn)行功率只有2W，這款Demo板卡的功率也只有10W左右。而且我們采用的還是比較老的28nm工藝技術(shù)，這個(gè)Demo展示了我們的解決方案是如何在低功率情況下正常運(yùn)行的，巔峰速率可達(dá)到300MRay/sec，這參考了英偉達(dá)(NVIDIA)新版顯卡的功率。

我們相信未來發(fā)熱和功耗這兩方面對(duì)于光線追蹤設(shè)備來說是至關(guān)重要的，支持光線追蹤技術(shù)需要專用固定功能的硬件平臺(tái)，而且要比傳統(tǒng)光柵化或通用計(jì)算硬件平臺(tái)要高效的多，我們的方法具備帶寬高效和高質(zhì)量?jī)煞矫娴膬?yōu)勢(shì)，這種獨(dú)特的高效方式無疑是雙贏的。

雖然AR和VR還沒有成為主流，但是仍然有很多人相信它們會(huì)成為焦點(diǎn)。當(dāng)涉及到VR時(shí)要保證各方面順滑，需要采用可變采樣率和凹形渲染等技術(shù)，而這些技術(shù)在我們的混合光線追蹤方案中也更加的容易實(shí)現(xiàn)。

光線追蹤將有助于提升VR場(chǎng)景的真實(shí)感

將移動(dòng)光線追蹤帶到主流

為了推動(dòng)其成為主流，我們必須創(chuàng)造一種支持無線且輕量級(jí)的設(shè)備，給用戶使用時(shí)帶來愉快的體驗(yàn)。以麻省理工學(xué)院(MIT)的一位記者為例，他通過VR頭盔參加了Facebook的Oculus會(huì)議。整個(gè)過程都是無線的，但是最后他對(duì)這臺(tái)設(shè)備糟糕的電池續(xù)航時(shí)間感到失望，因此我們對(duì)功率效率的關(guān)注是關(guān)鍵。

在移動(dòng)設(shè)備上安裝支持光線追蹤技術(shù)的游戲會(huì)怎樣?就我個(gè)人而言，我比較偏愛CSR2這款游戲，它是一款簡(jiǎn)單的賽車競(jìng)速游戲，最大的吸引力在于賽車的外觀非常的真實(shí)，閃亮的表面會(huì)反光，這很大程度上要?dú)w功于物理層的渲染(我們?cè)?016年討論過移植到PowerVR硬件平臺(tái)上運(yùn)行的效果)，但是如果在真正的光線追蹤反射效果下，這些賽車看起來將多么不可思議呢?

CSR2讓你感覺像在真實(shí)世界用一輛虛擬汽車，當(dāng)然這顯然是不真實(shí)的——缺少光線追蹤效果讓這款游戲顯得有些瑕疵!

CSR2還涉及到AR：讓你能夠使用攝像機(jī)將虛擬汽車放在現(xiàn)實(shí)世界中，可以是在房間內(nèi)的小桌子上或者寬闊的戶外。當(dāng)我把一輛巡洋艦放在我自己的花園里并將截圖展示給我的同事看，我能明顯的觀察到他們被糊弄了一秒鐘然后才意識(shí)到那不是真的，最重要的是光照效果暴露了?，F(xiàn)在想象一下，如果你的智能手機(jī)能夠分析相機(jī)畫面中的光線，并且在渲染虛擬物體時(shí)考慮到這一點(diǎn)，那么增強(qiáng)現(xiàn)實(shí)的效果將會(huì)提升一個(gè)層次。

同樣這也會(huì)對(duì)汽車行業(yè)產(chǎn)生一定的影響，正如我們已經(jīng)討論過的，現(xiàn)在很多汽車的顯示屏都會(huì)顯示環(huán)繞攝像頭采集的圖像，使用光線追蹤技術(shù)，燈光條件就會(huì)被考慮在內(nèi)，使得汽車儀表盤的畫面看起來更加的真實(shí)，而且也更加容易判斷障礙物。

準(zhǔn)備好采用光線追蹤IP

我們很高興的是光線追蹤又回到了議程上，雖然光線追蹤技術(shù)一直在蓬勃發(fā)展，一旦用戶在電腦上看到了它的效果，用戶就會(huì)非常的喜歡，而且確實(shí)期待它出現(xiàn)在移動(dòng)平臺(tái)、VR頭戴和游戲機(jī)上。

我們擁有多年的光線追蹤技術(shù)開發(fā)經(jīng)驗(yàn)，并隨時(shí)準(zhǔn)備與相關(guān)各方進(jìn)行討論將我們的IP以怎樣的方式將光線追蹤技術(shù)引入到功率有限的設(shè)備上，比如智能手機(jī)、VR/AR、游戲機(jī)和汽車市場(chǎng)等。

如果你想以一種節(jié)能和低成本的方式構(gòu)建下一代圖形硬件，那么你需要和功效方面的專家好好溝通一下，通過合作我們不僅要最終摘得圖形技術(shù)的“圣杯”，而且要將其交付給廣大的用戶，提供更加真實(shí)的用戶體驗(yàn)，將3D圖形技術(shù)推動(dòng)到更高的階段。