當(dāng)音頻遇上vr時(shí)鐘什么體驗(yàn)

VR可以說(shuō)是當(dāng)下最火熱的科技趨勢(shì)之一，但VR音頻技術(shù)卻從沒(méi)有在專業(yè)音頻領(lǐng)域獲得熱捧。雖然音頻技術(shù)幾乎是和視頻服務(wù)一起進(jìn)入市場(chǎng)，但在VR游戲、VR電影等中的表現(xiàn)卻遠(yuǎn)不如畫(huà)面更“吸睛”。

這么久以來(lái)，VR音頻這個(gè)概念一直都不溫不火。無(wú)論是CD、SACD音樂(lè)、黑膠唱片還是流媒體音樂(lè)服務(wù)使用的都是較為傳統(tǒng)的立體聲音頻技術(shù)。這幾年，盡管有類似純音頻藍(lán)光環(huán)繞技術(shù)、雙聲道錄制技術(shù)、宣稱能真實(shí)還原家庭影院級(jí)的環(huán)繞聲體驗(yàn)等的不斷出現(xiàn)，但并不能讓大眾發(fā)現(xiàn)其在技術(shù)上有什么較大的突破。

雖然早在2010年，配備Realiser A8處理器的耳機(jī)確實(shí)有著強(qiáng)大的空間定位能力，并能做出令人震撼的聲音效果，但遺憾的是，其生產(chǎn)商已經(jīng)不再生產(chǎn)這一產(chǎn)品。

如此一來(lái)，VR音頻的身影也變得越發(fā)莫測(cè)了起來(lái)，仿佛越來(lái)越?jīng)]了存在感。難道說(shuō)，VR音頻就要這樣涼涼了么？

斯坦福研發(fā)全息聲音合成系統(tǒng)，自動(dòng)渲染動(dòng)畫(huà)聲音

而就在近日，斯坦福新開(kāi)發(fā)出的一項(xiàng)有關(guān)聲音的新技術(shù)，又將VR音頻帶回了大家眼前。斯坦福研究人員通過(guò)計(jì)算快速移動(dòng)和震動(dòng)表面所產(chǎn)生的壓力波，開(kāi)發(fā)出了一款全息聲音合成系統(tǒng)。斯坦福方面宣稱該系統(tǒng)可以自動(dòng)為計(jì)算機(jī)動(dòng)畫(huà)渲染逼真的聲音。

對(duì)于這個(gè)新系統(tǒng)，斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的Doug James教授說(shuō)道：“我們可以用物理和計(jì)算機(jī)圖形為場(chǎng)景制作動(dòng)畫(huà)。在此之前，行業(yè)內(nèi)的技術(shù)無(wú)法為復(fù)雜的動(dòng)畫(huà)內(nèi)容生成逼真又同步的聲音，比如說(shuō)濺水或碰撞物體。而此時(shí)，該系統(tǒng)填補(bǔ)了技術(shù)上的這一空白?！?/p>

通過(guò)幾何和物理運(yùn)動(dòng)，系統(tǒng)可以計(jì)算出每個(gè)對(duì)象的振動(dòng)，以及如何像揚(yáng)聲器那樣通過(guò)振動(dòng)來(lái)激發(fā)聲波。其能計(jì)算由快速移動(dòng)和震動(dòng)表面拋出的壓力波，但不能復(fù)制室內(nèi)聲學(xué)。因此，盡管不能在宏偉的大教堂中重現(xiàn)回聲，但該系統(tǒng)可以實(shí)現(xiàn)各種其他情況下的聲音。例如，鈸相撞、顛倒的碗旋轉(zhuǎn)到停止、往杯子里倒?jié)M水、虛擬人物用擴(kuò)音器說(shuō)話等。

由此方法產(chǎn)生的模擬聲音將非常的逼真。該系統(tǒng)顧及到了動(dòng)畫(huà)中每個(gè)對(duì)象所產(chǎn)生的聲波，同時(shí)還能預(yù)測(cè)這些聲波，在場(chǎng)景中與其他對(duì)象和聲波相互作用，將會(huì)產(chǎn)生什么樣的彎曲、反彈或削弱的效果。斯坦福方面表示，許多的測(cè)試都表明了該系統(tǒng)生成的聲音都十分讓人震撼。

但這項(xiàng)系統(tǒng)也有令人遺憾的地方。其仍難以逼真的模擬出，那些復(fù)雜對(duì)象間相互作用所發(fā)出的聲音。對(duì)此，斯坦福研究小組也坦言，這需要他們繼續(xù)投入研究來(lái)找到應(yīng)對(duì)的解決方案。

其實(shí)相較于視覺(jué)，人們?cè)诼?tīng)覺(jué)上并沒(méi)有那么敏感。很多時(shí)候，在畫(huà)面與聲音同步進(jìn)行的情況下，人們更容易在畫(huà)面中獲取到較多的信息，從而忽略了一些聲音上的細(xì)節(jié)。那么，是不是說(shuō)明VR音頻就不重要了呢？

答案顯然是否定的。對(duì)于VR中的音頻處理，小編認(rèn)為大家需要用一種新的思考方式。過(guò)于逼真的聲音確實(shí)不適合所有的承載模式。比如在影院中，當(dāng)觀眾面對(duì)著2D視頻，然而聲音卻從四面八法而來(lái)，這確實(shí)會(huì)分散觀眾的注意力，并讓其產(chǎn)生對(duì)視頻內(nèi)容的不解。

但是，VR頭顯的出現(xiàn)，改變了這一切。研究顯示，逼真的音頻是在VR中建立臨場(chǎng)感的重要先決條件。通過(guò)VR頭顯，用戶可以轉(zhuǎn)向任何方向，并看到一個(gè)連續(xù)的視覺(jué)場(chǎng)景。視覺(jué)上連續(xù)的場(chǎng)景與環(huán)繞式聲音，兩者共同構(gòu)建了一個(gè)VR系統(tǒng)。也正因此，才有望為用戶提供一個(gè)更接近現(xiàn)實(shí)的臨場(chǎng)感。

而為了追求好的臨場(chǎng)感、現(xiàn)場(chǎng)感，其必不可少的就是交互性。當(dāng)用戶佩戴上頭顯，其至少轉(zhuǎn)頭會(huì)看到不同的全景內(nèi)容，聲音也隨之變化。類似于在游戲里邊，玩家從一個(gè)房間進(jìn)入到另外一個(gè)房間，聽(tīng)到從同一個(gè)點(diǎn)發(fā)出的聲音都應(yīng)該是不一樣的。這和視覺(jué)的變化其實(shí)差不多。正是由于這些交互特性的引入使得真實(shí)性的提升，也證明了VR音頻的存在是很有必要的。

VR音頻就是需要通過(guò)交互來(lái)給用戶一個(gè)更好的臨場(chǎng)感。另外很重要的一點(diǎn)，開(kāi)發(fā)者通過(guò)VR音頻可以更方便的展現(xiàn)自己的意圖。用戶還可以通過(guò)聲音來(lái)更好地理解開(kāi)發(fā)者想表達(dá)的意思。相反，如果沒(méi)有聲音的提示，那么觀眾在觀看的時(shí)候是完全按照自己的喜好，邊看視頻邊猜測(cè)視頻到底在表達(dá)什么。

很顯然，這是非常沒(méi)有效率的。而但凡是國(guó)外那些拍得非常好的VR作品，無(wú)一例外其聲音效果都做得非常棒。依賴于VR音頻，這些視頻將更有目的性的去引導(dǎo)觀眾觀看內(nèi)容。這樣一來(lái)，也讓視頻作品更具有了節(jié)奏感。

在VR中，用戶處于場(chǎng)景中心，可以自主選擇觀看的方向和角度。用戶想要通過(guò)頭顯加耳機(jī)的方式感受VR體驗(yàn)，就需要在雙聲道立體聲輸出的耳機(jī)上聽(tīng)到來(lái)自各個(gè)方向的聲音。另一方面，用戶時(shí)常需要來(lái)回轉(zhuǎn)動(dòng)頭部或有大幅度的身體運(yùn)動(dòng)，因此還要考慮身體結(jié)構(gòu)對(duì)于聲音的影響。如此一來(lái)，就需要解決兩個(gè)關(guān)鍵的問(wèn)題，一個(gè)是怎么放，另一個(gè)是怎么聽(tīng)。

首先，聲音怎么放？開(kāi)發(fā)者在VR中制作聲音時(shí)，就要以用戶為中心，在整個(gè)球形的區(qū)域內(nèi)安排聲音位置。當(dāng)其確定某一方向?yàn)榛鶞?zhǔn)后，畫(huà)面內(nèi)容與用戶位置也就相對(duì)確定了。以此來(lái)定位的話，既有水平方向的環(huán)繞聲，也有了垂直方向上的聲音。通過(guò)水平轉(zhuǎn)動(dòng)和垂直轉(zhuǎn)動(dòng)這兩個(gè)參數(shù)，開(kāi)發(fā)者就能控制視角在360度球形范圍的朝向，以及隨時(shí)與畫(huà)面配合的聲音的變化。

另一方面，用戶只有一副耳機(jī)，該如何實(shí)現(xiàn)電影院里杜比全景聲的效果呢？這里面用到一項(xiàng)技術(shù)叫做HRTF（Head-related Transfer Function，頭部傳送函數(shù)），該技術(shù)能夠計(jì)算并模擬出聲音從某一方向傳來(lái)以及移動(dòng)變化時(shí)的效果，有點(diǎn)類似于一個(gè)濾波器。其對(duì)原始聲音進(jìn)行頻段上的調(diào)整，使其能更接近人耳接收到的聽(tīng)感效果，并通過(guò)耳機(jī)來(lái)回放。

而基于這樣的原理，有不少的廠商已經(jīng)進(jìn)行了嘗試來(lái)創(chuàng)造VR中的音頻。

Valve曾收購(gòu)了音效公司Impulsonic，Impulsonic有一個(gè)基于物理的聲音傳播和3D音頻解決方案，名為“Phonon”。去年，Valve開(kāi)放了Photon音效工具的后續(xù)產(chǎn)物Steam Audio SDK。該方案能夠通過(guò)空間音效增強(qiáng)VR沉浸體驗(yàn)，允許游戲的音頻與場(chǎng)景幾何體建立交互與反彈回音，從而增強(qiáng)體驗(yàn)。Steam Audio支持Windows、Linux、macOS和安卓等多個(gè)平臺(tái)，也不局限于特定的VR設(shè)備和Steam。

2017年，谷歌也與音頻公司Firelight和AudiokineTIc合作，推出了一個(gè)VR音頻插件。開(kāi)發(fā)者利用該插件可以根據(jù)虛擬空間大小、材料以及對(duì)象位置的改變來(lái)調(diào)整聲音，營(yíng)造更加逼真的氛圍。該插件可以無(wú)縫集成到Unity和Unreal引擎中，使用時(shí)開(kāi)發(fā)者只需要對(duì)3D音頻進(jìn)行簡(jiǎn)單調(diào)節(jié)，能夠很輕易地創(chuàng)造空間音頻。

與英偉達(dá)類似，2016年8月，AMD曾發(fā)布了一項(xiàng)名為T(mén)rueAudio Next的實(shí)時(shí)動(dòng)態(tài)聲音渲染技術(shù)，讓虛擬現(xiàn)實(shí)中的聲音和畫(huà)面更為同步。該技術(shù)同樣使用物理方式模擬，讓渲染的聲音無(wú)限接近真實(shí)環(huán)境的聲音，在虛擬建模中進(jìn)行多次反射，利用Radeon Rays光線追蹤技術(shù)讓系統(tǒng)辨別VR空間布局并定位空間中的物體。AMD已將該技術(shù)開(kāi)源。

到2016年5月，NVIDIA推出了一個(gè)專門(mén)用于VR場(chǎng)景，并是基于物理技術(shù)的聲學(xué)仿真技術(shù)“VRWorks Audio”。該技術(shù)借鑒了光線追蹤渲染的思路，充分考慮了3D場(chǎng)景的渲染，通過(guò)將音頻交互映射到3D場(chǎng)景中的物體上，使音頻聽(tīng)起來(lái)更加自然。

用戶不斷移動(dòng)，能夠聽(tīng)到回聲的變化以及帶來(lái)的空間感，除了能夠判斷聲音是由該物體發(fā)出之外，還能判斷出物體的方向、遠(yuǎn)近等等更多的信息。

早在2014年，Oculus就已授權(quán)VisiSonic的RealSpace 3D音頻技術(shù)，并將其融入Oculus Audio SDK中。通過(guò)跟蹤器上所發(fā)來(lái)的空間信息來(lái)處理聲音信息，讓聽(tīng)者覺(jué)得該聲音是從這個(gè)物體中發(fā)出來(lái)的。這項(xiàng)技術(shù)非常依賴定制的HRTF，通過(guò)耳機(jī)來(lái)再現(xiàn)精準(zhǔn)的空間定位。

已有的技術(shù)確實(shí)可以實(shí)現(xiàn)VR音頻，用戶也可通過(guò)其辨別方向和距離。但是VR音頻技術(shù)要求的，不僅僅只是提供環(huán)境中物體的位置信息，而是需要能反饋出更多的空間環(huán)境狀態(tài)。

以游戲?yàn)槔?，?dāng)場(chǎng)景中的光線越來(lái)越暗，玩家的視覺(jué)必定受到限制，這個(gè)時(shí)候就要靠音頻來(lái)確定環(huán)境狀態(tài)。腳步聲、風(fēng)聲、動(dòng)物的叫聲等都能為玩家提供信息，誘導(dǎo)其下一步的行動(dòng)和交互。因此，精準(zhǔn)有效的音頻技術(shù)在VR中特別重要，不僅僅是游戲、視頻，在其他例如教育、社交等領(lǐng)域，VR音頻技術(shù)還需要進(jìn)一步的成熟。