iPhone祖?zhèn)?200萬像素,優(yōu)化的核心是什么?
現(xiàn)在手機行業(yè)的熱點有點向雙面屏幕過渡的趨勢,但不可否認的是拍照質(zhì)量一直是企業(yè)間競爭的核心。
作為光-電轉(zhuǎn)換的系統(tǒng),顯然不可能清晰度無限提升,否則單反都可以扔了,現(xiàn)在問題來了:手機攝像頭拍照清晰度的理論極限在哪里?我們是否已經(jīng)達到/超越了?
一個物理學概念
當我們把照片放大,放大到最后一定是像素馬賽克的點陣。如果每個像素都能表達信息,那么就可以說是清晰度的極限了。但事實上是做不到的,首先要從鏡頭說起。
我們拍照,相當于畫面就是由無數(shù)個發(fā)光或是反射光的點集合而成,或者數(shù)學上就是積分的概念。
那么單個點光源的成像極限就是光學系統(tǒng)的分辨能力極限。單個點光源其實很容易獲得,夜空中的亮星都是理想的點光源。
點光源穿過理想透鏡的時候,會發(fā)生一個光學現(xiàn)象,稱之為衍射。
在1835年的時候,英國皇家天文學會的喬治·比德爾·艾里發(fā)現(xiàn)了一個現(xiàn)象,那就是在焦點處會出現(xiàn)一圈一圈的衍射同心環(huán)條紋,這個稱之為艾里斑,我們拍攝任何照片,最后的成像都可以理解為艾里斑的積分,通俗的理解就是無數(shù)艾里斑在一起,構(gòu)成了照片。
艾里還給出了艾里斑大小的公式:θ1≈1.22λ/D。如果一個鏡頭不能把兩個艾里斑解析開,讓它們重合了一部分,那就是鏡頭的解析力的極限。
說了半天,艾里斑有多大呢?上門那個表就是理想狀況下艾里斑直徑的數(shù)值,我們會發(fā)現(xiàn),光圈越大、艾里斑直徑越小。
但是這不是與我們照相機系統(tǒng)F8左右成像好,光圈全開畫質(zhì)劣化相矛盾了?錯!我們用的鏡頭都不是理想透鏡,要妥協(xié)不同光圈的成像畫質(zhì),這才是光圈全開劣化畫質(zhì)的根源。
像素:超越艾里斑
上門的數(shù)據(jù)表格是針對綠光的,那么一個大約1/2.5英寸、1200像素的iPhoneXS感光器單個像素有多大?蘋果在發(fā)布的時候給出了答案:1.4微米。這就說明單個像素已經(jīng)要和艾里斑的大小差不多了。
要知道iPhone Xs只有1200萬像素,而主流的國產(chǎn)拍照手機攝像頭,都早已超越了這個數(shù)字,這也就是說單個像素已經(jīng)小于艾里斑,那么也就超越了理論的分辨極限:兩個或是多個像素來表現(xiàn)一個艾里斑并不能提高分辨率。
有什么辦法嗎?有的。要么鏡頭更大、感光器的面積更大,這也是為何單反的畫質(zhì)一直要比手機好的原因所在,同樣像素數(shù)量,單反的像素要大得多了,捕獲的信息更多。
但是手機受到尺寸的制約,沒辦法使用更大的鏡頭和感光器,這就是人們開始嘗試多攝像頭的原因。
并且,由于手機的鏡頭其實也距離理想透鏡想去甚遠,因此從物理角度看,分辨率到今天已經(jīng)達到了極限。那么可以改進的地方在哪里呢?首先是感光器本身。
影像傳感器不論是CCD還是CMOS,都有個信噪比的問題,當曝光時間變長的時候噪聲會變得非常強,噪點增多,所以使用優(yōu)質(zhì)供應商的高信噪比攝像頭很關(guān)鍵。
優(yōu)化的核心是什么
攝像頭捕獲的原始信息還要經(jīng)過壓縮才能轉(zhuǎn)換成我們手機里的JPG照片,這其中涉及到壓縮和圖像優(yōu)化。
JPG使用的離散余弦變換壓縮方式?jīng)Q定了畫質(zhì)變差是整體的,所以要文件盡量的大才能盡可能多的保留信息,而事實上今天手機的照片也是動輒原圖有好幾MB大小。
另外一方面則來自圖像分析程序的進步。突出的就是Google Pixel3的手機,Night Sight可以在夜間排出近乎白天的效果。
這就是AI的功勞。同過機器學習的人工智能訓練好了之后手機的計算能力處理已經(jīng)綽綽有余,同過AI,可以分析當前得到的相片和訓練模型進行比對,進而增強、優(yōu)化,讓照片“看起來”更清楚。
正如文中所說的,我們現(xiàn)在的手機拍照,其實早已經(jīng)超越了鏡頭光學的分辨極限,只要手機鏡頭和CCD還是這么大,物理的極限就在這里,突破不了,提升的是算法,更討好的是我們的眼睛,讓照片“看起來”更清楚。