iPhone祖?zhèn)?200萬像素,優(yōu)化的核心是什么?
現(xiàn)在手機(jī)行業(yè)的熱點(diǎn)有點(diǎn)向雙面屏幕過渡的趨勢(shì),但不可否認(rèn)的是拍照質(zhì)量一直是企業(yè)間競(jìng)爭(zhēng)的核心。
作為光-電轉(zhuǎn)換的系統(tǒng),顯然不可能清晰度無限提升,否則單反都可以扔了,現(xiàn)在問題來了:手機(jī)攝像頭拍照清晰度的理論極限在哪里?我們是否已經(jīng)達(dá)到/超越了?
一個(gè)物理學(xué)概念
當(dāng)我們把照片放大,放大到最后一定是像素馬賽克的點(diǎn)陣。如果每個(gè)像素都能表達(dá)信息,那么就可以說是清晰度的極限了。但事實(shí)上是做不到的,首先要從鏡頭說起。
我們拍照,相當(dāng)于畫面就是由無數(shù)個(gè)發(fā)光或是反射光的點(diǎn)集合而成,或者數(shù)學(xué)上就是積分的概念。
那么單個(gè)點(diǎn)光源的成像極限就是光學(xué)系統(tǒng)的分辨能力極限。單個(gè)點(diǎn)光源其實(shí)很容易獲得,夜空中的亮星都是理想的點(diǎn)光源。
點(diǎn)光源穿過理想透鏡的時(shí)候,會(huì)發(fā)生一個(gè)光學(xué)現(xiàn)象,稱之為衍射。
在1835年的時(shí)候,英國(guó)皇家天文學(xué)會(huì)的喬治·比德爾·艾里發(fā)現(xiàn)了一個(gè)現(xiàn)象,那就是在焦點(diǎn)處會(huì)出現(xiàn)一圈一圈的衍射同心環(huán)條紋,這個(gè)稱之為艾里斑,我們拍攝任何照片,最后的成像都可以理解為艾里斑的積分,通俗的理解就是無數(shù)艾里斑在一起,構(gòu)成了照片。
艾里還給出了艾里斑大小的公式:θ1≈1.22λ/D。如果一個(gè)鏡頭不能把兩個(gè)艾里斑解析開,讓它們重合了一部分,那就是鏡頭的解析力的極限。
說了半天,艾里斑有多大呢?上門那個(gè)表就是理想狀況下艾里斑直徑的數(shù)值,我們會(huì)發(fā)現(xiàn),光圈越大、艾里斑直徑越小。
但是這不是與我們照相機(jī)系統(tǒng)F8左右成像好,光圈全開畫質(zhì)劣化相矛盾了?錯(cuò)!我們用的鏡頭都不是理想透鏡,要妥協(xié)不同光圈的成像畫質(zhì),這才是光圈全開劣化畫質(zhì)的根源。
像素:超越艾里斑
上門的數(shù)據(jù)表格是針對(duì)綠光的,那么一個(gè)大約1/2.5英寸、1200像素的iPhoneXS感光器單個(gè)像素有多大?蘋果在發(fā)布的時(shí)候給出了答案:1.4微米。這就說明單個(gè)像素已經(jīng)要和艾里斑的大小差不多了。
要知道iPhone Xs只有1200萬像素,而主流的國(guó)產(chǎn)拍照手機(jī)攝像頭,都早已超越了這個(gè)數(shù)字,這也就是說單個(gè)像素已經(jīng)小于艾里斑,那么也就超越了理論的分辨極限:兩個(gè)或是多個(gè)像素來表現(xiàn)一個(gè)艾里斑并不能提高分辨率。
有什么辦法嗎?有的。要么鏡頭更大、感光器的面積更大,這也是為何單反的畫質(zhì)一直要比手機(jī)好的原因所在,同樣像素?cái)?shù)量,單反的像素要大得多了,捕獲的信息更多。
但是手機(jī)受到尺寸的制約,沒辦法使用更大的鏡頭和感光器,這就是人們開始嘗試多攝像頭的原因。
并且,由于手機(jī)的鏡頭其實(shí)也距離理想透鏡想去甚遠(yuǎn),因此從物理角度看,分辨率到今天已經(jīng)達(dá)到了極限。那么可以改進(jìn)的地方在哪里呢?首先是感光器本身。
影像傳感器不論是CCD還是CMOS,都有個(gè)信噪比的問題,當(dāng)曝光時(shí)間變長(zhǎng)的時(shí)候噪聲會(huì)變得非常強(qiáng),噪點(diǎn)增多,所以使用優(yōu)質(zhì)供應(yīng)商的高信噪比攝像頭很關(guān)鍵。
優(yōu)化的核心是什么
攝像頭捕獲的原始信息還要經(jīng)過壓縮才能轉(zhuǎn)換成我們手機(jī)里的JPG照片,這其中涉及到壓縮和圖像優(yōu)化。
JPG使用的離散余弦變換壓縮方式?jīng)Q定了畫質(zhì)變差是整體的,所以要文件盡量的大才能盡可能多的保留信息,而事實(shí)上今天手機(jī)的照片也是動(dòng)輒原圖有好幾MB大小。
另外一方面則來自圖像分析程序的進(jìn)步。突出的就是Google Pixel3的手機(jī),Night Sight可以在夜間排出近乎白天的效果。
這就是AI的功勞。同過機(jī)器學(xué)習(xí)的人工智能訓(xùn)練好了之后手機(jī)的計(jì)算能力處理已經(jīng)綽綽有余,同過AI,可以分析當(dāng)前得到的相片和訓(xùn)練模型進(jìn)行比對(duì),進(jìn)而增強(qiáng)、優(yōu)化,讓照片“看起來”更清楚。
正如文中所說的,我們現(xiàn)在的手機(jī)拍照,其實(shí)早已經(jīng)超越了鏡頭光學(xué)的分辨極限,只要手機(jī)鏡頭和CCD還是這么大,物理的極限就在這里,突破不了,提升的是算法,更討好的是我們的眼睛,讓照片“看起來”更清楚。