揭秘Magic Leap核心技術(shù)

　　2月2日，MagicLeap官方表示獲得由阿里巴巴集團(tuán)領(lǐng)投的約7.94億美元融資。加上上輪由谷歌領(lǐng)投的5.42億美元，至2014年年底以來，該公司總計已完成13.4億美元投資，總估值約45億美元。

　　這家位于佛羅里達(dá)的創(chuàng)業(yè)公司已經(jīng)創(chuàng)業(yè)數(shù)十年，陣容豪華，規(guī)模龐大，但卻對其核心技術(shù)諱莫如深，異常神秘。間或泄露幾條演示視頻，舉世驚艷，旋即嘩然。那么，MagicLeap究竟有何驚世駭俗的技術(shù)秘密？在此大膽推測，力圖在其撲朔迷離的表象下，探究技術(shù)的實質(zhì)。

一條巨大的鯨魚從籃球場的地面中央飛躍而出

把辦公室變成游戲戰(zhàn)場

　　在計算機(jī)圖形學(xué)領(lǐng)域，三維場景渲染演示技術(shù)的演化進(jìn)程可以大致劃分成如下的歷史階段：針孔相機(jī)、雙目立體視覺、光場、數(shù)字全息。簡而言之，針孔相機(jī)演示技術(shù)的代表作是早期的動畫電影《最終幻想》，雙目立體視覺的代表作是3D版的《阿凡達(dá)》，光場的代表作就是MagicLeap，數(shù)字全息技術(shù)的代表作是《星球大戰(zhàn)》中的場景。

最終幻想：光線跟蹤法渲染，針孔相機(jī)顯示技術(shù)

3D版的《阿凡達(dá)》，雙目立體視覺

MagicLeap，增強(qiáng)現(xiàn)實，光場技術(shù)

星球大戰(zhàn)，數(shù)字全息技術(shù)

　　MagicLeap實現(xiàn)并普及了光場顯示技術(shù)，這是三維場景顯示技術(shù)的一場實實在在的革命，獲得空前的投資自然是名至實歸。那么，什么是光場？這一技術(shù)是完全嶄新的嗎？這一技術(shù)發(fā)展的歷史脈絡(luò)如何？存在其他以光場技術(shù)起家的公司嗎？我們在下面的討論中，逐一解釋。

　　針孔相機(jī)

　　傳統(tǒng)的光學(xué)相機(jī)，其理想模型就是針孔相機(jī)。在計算機(jī)圖形學(xué)中，傳統(tǒng)的渲染方法都是基于這種相機(jī)模型。如圖7所示，從相機(jī)的光心出發(fā)，經(jīng)過成像屏幕的每一個像素，發(fā)出一條射線。光學(xué)跟蹤法用幾何光學(xué)的物理法則計算這條射線的顏色，即為相應(yīng)像素的顏色。圖8展示了一個用光學(xué)跟蹤法算出的渲染圖像。在這里，我們需要一個概念上的轉(zhuǎn)換，每個像素不是一個點，而是一條射線，這是理解光場的關(guān)鍵！換言之，一張相片就是通過光心的一簇射線?！蹲罱K幻想》就是用光學(xué)跟蹤法來渲染制作的。

光線跟蹤法中的針孔相機(jī)模型

用光線跟蹤法渲染的一幅場景

　　傳統(tǒng)的顯示方法，例如屏幕、LCD/LED，是基于傳統(tǒng)觀念的，即把每個像素作為一個點，從不同的角度看過去，同一個像素的顏色不變。換言之，這種顯示方式失去了射線方向的信息。

　　雙目立體視覺

　　人類具有兩只眼睛，觀看物體時兩眼各自成像，大腦根據(jù)兩眼成像的細(xì)微差別計算每一點的深度信息，從而得到立體感覺。模仿人眼，我們可以用雙鏡頭相機(jī)得到雙目立體相片。

雙目立體相機(jī)

阿波羅登月計劃中拍攝的雙目立體相片

　　本質(zhì)上而言，雙目立體視覺相片就是從兩個光心出發(fā)的兩簇射線。3D版《阿凡達(dá)》就是以此原理制作的。相對于單目相機(jī)，雙目立體視覺時間復(fù)雜度和空間復(fù)雜度加倍。

　　光場（Light Field）- 魔盒解釋

光場（Light Field）的魔盒解釋

　　我們假設(shè)用一個玻璃盒子罩住一只兔子，然后透過玻璃盒子來觀察這只兔子。從盒子表面的任意一點，向三維空間的任意一個方向發(fā)出一條射線，這條射線的顏色由兔子和光照條件所決定。我們用來表示玻璃盒子，表示單位向量，一條射線表示為,所有射線的集合記為。每條射線對應(yīng)著一個顏色，我們用三維空間中的一個點來表示。因此，光場就是從射線空間到顏色空間的映射。換言之，光場是定義在射線空間上的矢量值函數(shù)。

　　假設(shè)我們?nèi)サ袅瞬ＡШ凶又械耐米樱沁@個玻璃盒子是一個魔盒，光場信息被完美保留。當(dāng)我們觀察這一魔盒的時候，所有經(jīng)過一只眼睛的射線合成了視網(wǎng)膜上的一幅圖像。我們可以自由地改變距離和視角，兔子在視網(wǎng)膜上的圖像相應(yīng)地自然變化，根本覺察不到兔子的消失。因此，有了魔盒，我們不再需要真正的兔子。這個魔盒就是兔子的光場。

　　在光學(xué)領(lǐng)域中，光場是一個古老的概念。在1996年被微軟和斯坦福學(xué)者引進(jìn)到計算機(jī)圖形學(xué)領(lǐng)域，發(fā)展到2016年的今天，已經(jīng)整整二十個年頭了。雖然在學(xué)術(shù)界，人們不懈地研究深化，真正在工業(yè)界產(chǎn)生影響，還是近幾年的事情。MagicLeap應(yīng)該算是LightField理論在現(xiàn)實應(yīng)用中的一個巔峰。

　　光場渲染我們可以用兔子的光場來取代兔子，渲染生成各種角度的照片，這樣我們無需為建立兔子的幾何模型，紋理模型和光照模型。對于大場景，復(fù)雜光照條件，或者復(fù)雜幾何模型（如長絨玩具）等等，光場比實物的數(shù)字模型更為簡單，或者光場比光線跟蹤得到的渲染結(jié)果更加逼真，或者更加高效，我們用光場來渲染。這是所謂的基于圖像的渲染方法。歷史上，微軟曾經(jīng)出過一版基于光場的游戲，類似孤島尋寶，所有場景都是從真實自然中采集，非常逼真，但是最后沒有引起任何反響，無疾而終。