Facebook正式將3D照片技術(shù)帶到了iPhone上！酷斃了！

想象一下，你用手機(jī)拍攝一張照片，然后你不僅可以得到你拍攝時(shí)的一個(gè)角度，你還可以拖動(dòng)照片來(lái)看到不同角度的視野變化。

這聽(tīng)起來(lái)是在描述高大上的光場(chǎng)視頻，而不是通常的2D拍照技術(shù)，是吧？

今年5月，F(xiàn)acebook介紹了3D照片技術(shù)，今天Facebook正式將其3D照片功能帶到了iPhone手機(jī)上。

當(dāng)你用iPhone拍攝一張照片時(shí)，點(diǎn)擊狀態(tài)更新編輯器中的新3D照片選項(xiàng)，選擇肖像模式照片，然后Facebook會(huì)用AI計(jì)算出場(chǎng)景深度，使得2D照片也可以動(dòng)起來(lái)，呈現(xiàn)出多個(gè)角度的景象。

這些3D照片可以在在桌面或者手機(jī)App中的Facebook實(shí)時(shí)信息流中體驗(yàn)到。當(dāng)你滑動(dòng)信息流時(shí)，這些照片和普通照片看起來(lái)沒(méi)有區(qū)別，而當(dāng)你點(diǎn)擊進(jìn)入照片時(shí)，他們立刻突破平面2D的束縛，就像一個(gè)小窗口一樣，一下子把你拉進(jìn)3D照片的世界。就像上圖gif一樣，拖動(dòng)照片你可以你看到狗的側(cè)面和背后的巖石。

了解到，這個(gè)以AI創(chuàng)造出深度圖像的技術(shù)來(lái)自于Facebook計(jì)算攝影部門(mén)，講述這項(xiàng)技術(shù)的論文由倫敦大學(xué)學(xué)院的Peter Hedman和Facebook西雅圖辦公室的研究科學(xué)家Johannes Kopf合著完成，論文曾在今年8月于溫哥華舉辦的Siggraph上展出。

其實(shí)，不少巨頭都在研發(fā)計(jì)算圖像深度的技術(shù)，不過(guò)目前他們都只是應(yīng)用在人像模式中，用以虛化背景。

然而，F(xiàn)acebook的技術(shù)路徑卻是從VR開(kāi)始的。Facebook以30億美元收購(gòu)Oculus后就大力傾注VR，致力于創(chuàng)造一個(gè)連接虛擬與現(xiàn)實(shí)的全新社交帝國(guó)，把現(xiàn)實(shí)世界放進(jìn)VR是一項(xiàng)關(guān)鍵任務(wù)，此前的實(shí)現(xiàn)方式主要是360度全景視頻或者是加上3D效果的360度全景視頻，然而，這些全景圖片拼接成的內(nèi)容只是2D圖片的大型化，并不具備現(xiàn)實(shí)世界的深度感和真實(shí)感。

6Dof視頻以及更完善的光場(chǎng)視頻是大家期望的解決方案，F(xiàn)acebook也一直在這些領(lǐng)域探索。在2017年5月的F8大會(huì)上，F(xiàn)acebook發(fā)布了兩款能記錄深度信息的 3D VR全景相機(jī)，F(xiàn)acebook 360 Surround x24和x6。今年9月，F(xiàn)acebook發(fā)布專(zhuān)業(yè)級(jí)全景相機(jī) Manifold。

然而，6Dof視頻和光場(chǎng)視頻的制作成本極高，目前VR的發(fā)展也難以吸引大量的內(nèi)容制作者，F(xiàn)acebook選擇了更便捷更民主化的路線——3D照片。

雖然Facebook推出的這項(xiàng)深度圖像技術(shù)被稱(chēng)為3D視頻，但是卻和大家熟悉的3D電影的3D效果不是一碼事。普通的3D只是通過(guò)雙目時(shí)差實(shí)現(xiàn)的偽3D效果，在電影院里，不管你怎么轉(zhuǎn)頭，你看到的立體影像都只有一個(gè)角度，而Facebook的3D照片的特點(diǎn)是可以拖動(dòng)查看不同的角度信息。

說(shuō)了這么多，回到重點(diǎn)，F(xiàn)acebook是如何實(shí)現(xiàn)這項(xiàng)技術(shù)的呢？

據(jù)了解，一開(kāi)始，F(xiàn)acebook采用的方式是讓用戶(hù)以單攝像頭的相機(jī)拍攝，通過(guò)移動(dòng)來(lái)捕捉整個(gè)場(chǎng)景，然后通過(guò)分析視差和手機(jī)運(yùn)動(dòng)，即不同距離的物體在相機(jī)移動(dòng)時(shí)移動(dòng)的數(shù)據(jù)，可以精確地在重建出3D場(chǎng)景。

但是，從單個(gè)攝像機(jī)的快速圖像中推斷出深度數(shù)據(jù)是對(duì)CPU的計(jì)算要求很高，這種方法在大多數(shù)手機(jī)都有雙攝像頭時(shí)顯得有些過(guò)時(shí)。通過(guò)同時(shí)使用兩個(gè)相機(jī)捕獲圖像，即使對(duì)于運(yùn)動(dòng)中的物體也可以觀察到視差差異。并且因?yàn)閮蓚€(gè)鏡頭的設(shè)備處于完全相同的位置，所以深度數(shù)據(jù)的噪音要小得多，對(duì)運(yùn)算的要求也低很多。

Facebook目前就是采用iPhone的雙攝像頭，手機(jī)的兩個(gè)攝像頭拍攝了一對(duì)圖像，設(shè)備立即自行完成計(jì)算“深度圖”，圖像編碼幀中所有內(nèi)容的計(jì)算距離。結(jié)果看起來(lái)像這樣：

蘋(píng)果、三星、華為、谷歌都在研究深度圖像技術(shù)，但是目前主要用在照片的背景模糊上面。深度圖的技術(shù)難點(diǎn)在于，創(chuàng)建的深度圖沒(méi)有某種絕對(duì)比例。例如，當(dāng)深紅色意味著100英尺時(shí)，淺黃色并不意味著10英尺。每張照片的比例都不相同，這意味著你需要拍攝多張照片來(lái)獲得物體實(shí)際距離，但是要將這些照片拼接在一起是一種痛苦。

這就是Kopf和Hedman及其同事所面臨的問(wèn)題。在他們的系統(tǒng)中，用戶(hù)通過(guò)移動(dòng)他們的手機(jī)拍攝他們周?chē)h(huán)境的多個(gè)圖像;它每秒捕獲一個(gè)圖像（技術(shù)上是兩個(gè)圖像和一個(gè)結(jié)果深度圖）并開(kāi)始將其添加到其集合中。 在后臺(tái)，算法會(huì)查看手機(jī)運(yùn)動(dòng)檢測(cè)系統(tǒng)捕獲的相機(jī)的深度圖和微小運(yùn)動(dòng)。然后，深度圖基本上被按摩成正確的形狀以與其他照片對(duì)齊。

創(chuàng)建出深度圖之后，深度圖會(huì)被轉(zhuǎn)換為3D網(wǎng)格（這個(gè)比較抽象，可以將其想象為一個(gè)紙質(zhì)版本的景觀圖）。然后，檢查網(wǎng)格的明顯邊緣，將這些邊緣撕裂開(kāi)，例如前景中欄桿遮擋背景中的景觀，就將兩者分離開(kāi)。這會(huì)將各種物體隔開(kāi)，使它們看起來(lái)處于不同的深度，并隨著透視的變化移動(dòng)。雖然這些方法創(chuàng)造了3D效果，但是你可能已經(jīng)猜到前景看起來(lái)只不過(guò)是一個(gè)紙質(zhì)鏤空，因?yàn)?，如果是直接拍攝的人臉，就沒(méi)有關(guān)于他們的頭部或背部。

那么，最后一步就很重要。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)去猜測(cè)和填充圖像的其余部分。例如，如果圖像區(qū)域有頭發(fā)，那么頭發(fā)可能會(huì)繼續(xù)存在。因此，它可以令人信服地重新構(gòu)建這些紋理，并估計(jì)對(duì)象的形狀，縮小間隙。這樣當(dāng)你稍微改變視角時(shí)，你似乎真的“圍繞”對(duì)象看了一圈。

Facebook目前能在一秒鐘的時(shí)間內(nèi)完成深度圖的創(chuàng)建，因此他們將此稱(chēng)為“即時(shí)3D攝影”。當(dāng)然，3D照片功能目前只能在有兩個(gè)攝像機(jī)上使用，首發(fā)這項(xiàng)功能的是iPhone 7+, 8+, X or XS，此后會(huì)有更多手機(jī)加入。

在論文中，F(xiàn)acebook也討論了如何用通過(guò)另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)使得單攝像頭的相機(jī)也擁有同樣功能。但是，單攝像頭不如雙攝像頭系統(tǒng)好。這還需要算法和軟件公司的繼續(xù)努力，正如前些天，曾報(bào)道，Google就用單攝像頭實(shí)現(xiàn)了超越蘋(píng)果雙攝像頭的多項(xiàng)計(jì)算攝影效果。