如果喬布斯看到最新的 iPhone 11 Pro 后面的三顆吐出來的「浴霸」造型攝像頭，不知道會作何感想。當然，不管「喬幫主」可能會怎么看，攝像頭個數(shù)代表手機檔次，已經(jīng)成為一個潛規(guī)則。雖然犧牲了部分造型，但確實給手機帶來了新的功能，例如獲得深度信息，這也是為什么出現(xiàn)了 iPhone 擁有雙攝之后，出現(xiàn)了能夠虛化背景的「肖像模式」。
新功能需要新玩法，兩年前，F(xiàn)acebook 推出了 3D 照片的新功能，正是通過雙攝手機的「肖像模式」，讓 2D 照片出現(xiàn)「部分 3D」的效果。遺憾的是，當時擁有雙攝旗艦機的人還是少數(shù)的。
幾天前，F(xiàn)acebook AI 發(fā)布博客，表示通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練，現(xiàn)在 Facebook 已經(jīng)可以將普通單攝手機拍攝的 2D 照片，轉(zhuǎn)化成具有 3D 效果的圖片。
除了用戶在手機頁面停留更長時間，「3D 照片」功能背后的積累，可以落地在更多場景，例如 AR 場景以及無人駕駛。鑒于 Facebook 對于 VR 的野心依舊，這項新功能將如何實現(xiàn)扎克伯格「10 億人共 VR」的夢想，也令人頗為期待。
2D 照片如何變 3D
同樣是 3D 照片，兩年時間有什么不一樣的？答案是，深度信息。2018 年的 3D 照片功能要依賴當時手機雙攝「肖像模式」帶來的深度信息，而現(xiàn)在 Facebook AI 可以直接將任何時候拍攝的 2D 照片轉(zhuǎn)化出 3D 效果，不需要深度信息。
拋開深度信息來制造 3D 效果的照片，需要面對兩個挑戰(zhàn)，一個是訓(xùn)練模型來推測各種物體的 3D 位置，另一個是優(yōu)化系統(tǒng)來讓各種移動設(shè)備都能在短時間內(nèi)將功能跑起來。為此，團隊使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）訓(xùn)練了數(shù)百萬對的 3D 照片以及對應(yīng)的深度信息；同時，利用 Facebook AI 團隊之前的開發(fā) FBNet 和 ChamNet 的優(yōu)化方式，來將功能推廣到更多的設(shè)備上。
通過這個方式，給出任意一張標準的 RGB 圖像，卷積神經(jīng)網(wǎng)絡(luò)可以估算出任一像素到攝像頭的距離。目前，iPhone 7 及之后的設(shè)備，都可以使用 3D 照片功能。
在攻克 2D 照片的深度信息預(yù)測算法之后，F(xiàn)acebook AI 團隊表示正在嘗試將實驗擴大到視頻范圍，后者的挑戰(zhàn)在于每一幀畫面的深度必須與前后幀的保持一致，同時好消息是，由于視頻通常有同一物體的不同視角，能夠用來提供更精確的深度信息預(yù)測。而這些嘗試將讓團隊強化算法在深度、物體表面以及空間方面的推測能力，并最終將其使用到實時場景之中，例如手機端的 AR 應(yīng)用上。
如果通過這些方式，能讓機器更好的理解立體的現(xiàn)實環(huán)境，也會對無人駕駛車輛或者無人機的導(dǎo)航提供幫助。
YouTube 和 3D大眾化
十五年前的 2005 年，YouTube 的三位創(chuàng)始人創(chuàng)立這個平臺的時候，最開始的想法是做成視頻相親網(wǎng)站，很難說當時如果他們堅持那個方向，是不是還會變成現(xiàn)在這個視頻界的谷歌。當時數(shù)碼設(shè)備尚未流行，員工經(jīng)常需要跑到用戶家里去取用戶想要上傳的視頻的光盤，拿回到公司幫忙上傳，可想而知平臺前幾年發(fā)展有多艱難。如果沒有后來智能手機的爆發(fā)，估計也不會有現(xiàn)在的 YouTube 了。
從 2014 年收購 Oculus，F(xiàn)acebook 在 VR 上下了重注，但是行業(yè)發(fā)展顯然沒有扎克伯格當時簽支票時預(yù)料的那么快。視頻 3D 效果的創(chuàng)意，其實早在幾年前 Facebook 360 視頻團隊就曾經(jīng)嘗試過，由于 Facebook 360 項目最終停滯，相關(guān)的內(nèi)容也難以見到了。
這折射了 VR 和 AR 行業(yè)發(fā)展的一個瓶頸，如果普通用戶無法用手機便捷的創(chuàng)建 3D 內(nèi)容，那么他們可能不會對 VR 或者 AR 產(chǎn)生太大的興趣。雖然收購了一家又一家 VR 游戲公司，但是用 PGC 的方式生產(chǎn) VR 內(nèi)容，畢竟速度和數(shù)量都和視頻的 UGC 不在一個數(shù)量級上。
另一個對 VR 和 AR 抱以厚望的巨頭谷歌，曾經(jīng)收購過 VR 第一個熱門應(yīng)用 Tilt Brush，后者堪稱是 VR 時代的「畫圖板」。該應(yīng)用曾經(jīng)吸引了不少國際知名藝術(shù)家，在 VR 中揮毫潑墨，吸引了普通用戶。但是問題還在于，Tilt Brush 還是需要戴上 VR 頭顯才能使用，依然有局限性。
帶來可能解決方案的，反而是一直悶聲積累 AR 實力的蘋果公司，后者在 iPhone X 上使用了前置 3D 攝像頭模組，用戶不僅可以利用其解鎖手機，同時還能創(chuàng)建一個模仿自己臉部動態(tài)的 3D 動畫形象。不過，蘋果對于 iPhone「齊劉海」的 3D 攝像頭功能控制的很嚴，無法任意使用，好在 Android 手機廠商隨后跟進，將前置 3D 攝像頭變成標配。曾經(jīng)有人用小米手機的前置 3D 攝像頭，掃描出物體的大致 3D 模型。
3D 打印廠商清鋒科技曾經(jīng)告訴極客公園（id：geekpark），未來希望人們能使用手機攝像頭來掃描自己的雙腳，通過得到的 3D 數(shù)據(jù)，來使用 3D 打印機來制作完全貼合自己腳型的運動鞋。要讓手機的 3D 攝像頭達到 3D 打印需要的精度，可能還需時日，不過，大致掃出一個物體的模型，現(xiàn)在基本可以做到了，只是手機廠商們?nèi)晕聪牒檬欠褚_放這個功能。
可以想象，有一天你可以像拍照一樣，隨便一掃就可以建造出眼前事物的模型，肯定會第一時間分享給朋友，或者上傳到 3D 版的 instgram 或者 YouTube 上。
不過，在那之前，你現(xiàn)在可以先在 Facebook 上，提前體驗一下未來。
下載文檔
