Understanding CMOS Image Sensor(二)

轉(zhuǎn)自知乎Camera技術(shù)專家?劉斯寧

鏈接：https://zhuanlan.zhihu.com/p/100777121

get="_blank">Understanding CMOS Image Sensor(一)

像素類型 (Pixel type)

2.1 被動像素 （Passive pixel）

最簡單的Pixel結(jié)構(gòu)只有一個PN結(jié)作為感光結(jié)構(gòu)，以及一個與它相連的reset晶體管（RS）作為一個開關(guān)，如下圖所示。

1. 開始曝光前，像素的行選擇地址會上電，于是RS使能，連通PN結(jié)與列選擇器（column bus），同時列選擇器會上電，使PN結(jié)上加高反向電壓（如3.3 V），短暫延時后PN結(jié)內(nèi)電子空穴對達(dá)到平衡，于是reset 操作完成，RS 信號失效，隔斷PN結(jié)與column bus的連通。

2. 開始曝光時，PN結(jié)內(nèi)的硅在吸收光子激發(fā)出電子-空穴對。受PN結(jié)內(nèi)電場的影響，電子會流向PN結(jié)的n 端，空穴會流向PN結(jié)的p-substrate。因此，曝光后的的PN結(jié)反向電壓會降低。

3. 曝光結(jié)束后，RS再次使能，讀出電路會測量PN結(jié)內(nèi)的電壓，該電壓與原反向電壓之間的差值即正比于PN結(jié)接受到的光子數(shù)。

4. 在讀出感光信號后，會對PN結(jié)進(jìn)行再次reset，準(zhǔn)備下次曝光。

當(dāng)sensor 控制邏輯需要讀出陣列中的某個特定像素時，需要發(fā)出該像素的行地址和列地址，地址會被兩個譯碼器（address decoder）解析并激活該像素所在的行選擇線和列選擇線，使該像素的PN結(jié)電容經(jīng)過RS三級管連接到輸出放大器上，如下圖所示。

這種像素結(jié)構(gòu)因為讀出電路完全位于像素外面所以稱為Passive Pixel，其優(yōu)點是PN結(jié)可以獨占像素面積，缺點是噪聲較大，主要有2個原因：

1. PN結(jié)的電容小于讀出電路上的電容，所以對電路噪聲很敏感。

2. PN結(jié)的信號需要先讀出才進(jìn)行放大，因此讀出電路的噪聲會被一起放大。

當(dāng)RS使能且列選擇器通高電平時，在電路原理上相當(dāng)于對PN結(jié)的電容進(jìn)行充電，但是充電后得到的電壓值卻有一定的隨機性，一方面每個PN結(jié)的實際電容大小會服從一定的概率分布，結(jié)與結(jié)之間存在固定的偏差，這會構(gòu)成一種固定模式噪聲（Fixed Pattern Noise, FPN）；另一方面由于電路中存在暗電流噪聲，即使是同一個結(jié)每次充電后得到的實際電壓也不完全一樣，這就構(gòu)成了另一種模式的噪聲，它與PN結(jié)的結(jié)構(gòu)、溫度和結(jié)電容大小都有關(guān)，稱為kTC噪聲。

2.2 像素kTC噪聲

在研究PN結(jié)的噪聲特性時可將其簡化為下圖所示的由電阻電容形成的低通濾波網(wǎng)絡(luò)。

可以證明，由電子熱運動引起的寬帶熱噪聲經(jīng)PN結(jié)濾波后反應(yīng)在結(jié)電容上的輸出噪聲功率用kT/C描述，其中T為PN結(jié)溫度，C為結(jié)電容，k為常系數(shù)，因此合稱kTC噪聲。

2.3 主動像素 （Active pixel）

目前主流的CMOS傳感器都采用Active Pixel 結(jié)構(gòu)設(shè)計。下圖所示的Active Pixel 結(jié)構(gòu)稱為3T結(jié)構(gòu)，每個像素包含一個感光PN結(jié)和3個晶體管，即一個復(fù)位管RST，一個行選擇器RS，一個放大器SF。

3T結(jié)構(gòu)的經(jīng)典版圖設(shè)計如下所示。

3T結(jié)構(gòu)的工作方式是，

1. 復(fù)位。使能RST給PN結(jié)加載反向電壓，復(fù)位完成后撤銷RST。

2. 曝光。與Passive Pixel 原理相同。

3. 讀出。曝光完成后，RS會被激活，PN結(jié)中的信號被SF放大后讀出。

4. 循環(huán)。讀出信號后，重新復(fù)位，曝光，讀出，不斷輸出圖像信號。

基于PN結(jié)的Active Pixel 流行與90年代中期，它解決了很多噪聲問題。但是由PN結(jié)復(fù)位引入的kTC噪聲卻并沒有得到解決。

2.4 PPD結(jié)構(gòu)

為了解決復(fù)位kTC噪聲，減小暗電流，在3T結(jié)構(gòu)之后又出現(xiàn)了PPD結(jié)構(gòu)（Pinned Photodiode Pixel），包括一個PN結(jié)感光區(qū)和4個晶體管，所以也稱4T結(jié)構(gòu)，它在3T結(jié)構(gòu)的基礎(chǔ)上增加了一個TX三極管起控制電荷轉(zhuǎn)移的作用。

PPD結(jié)構(gòu)的經(jīng)典版圖設(shè)計如下所示。

另有高人的見解也值很得學(xué)習(xí)。

相機的cmos工藝和芯片的cmos工藝相同嗎？？93 贊同 · 7 評論回答

PPD的出現(xiàn)是CMOS性能的巨大突破，它允許相關(guān)雙采樣（CDS）電路的引入，消除了復(fù)位引入的kTC噪聲，運放器引入的1/f噪聲和offset噪聲。它的工作方式如下：

1. 曝光。

2. 復(fù)位。曝光結(jié)束時使能RST，將讀出區(qū)（n 區(qū)）復(fù)位到高電平。

3. 讀復(fù)位電平。讀出n 區(qū)的電平，其中包含運放的offset噪聲，1/f噪聲以及復(fù)位引入的kTC噪聲，將讀出的信號存儲在第一個電容中。

4. 電荷轉(zhuǎn)移。使能TX，將電荷從感光區(qū)完全轉(zhuǎn)移到n 區(qū)準(zhǔn)備讀出，這里的機制類似于CCD中的電荷轉(zhuǎn)移。

5. 讀信號電平。將n 區(qū)的電壓信號讀出到第二個電容。這里的信號包括：光電轉(zhuǎn)換產(chǎn)生的信號，運放產(chǎn)生的offset，1/f噪聲以及復(fù)位引入的kTC噪聲。

6. 信號輸出。將存儲在兩個電容中的信號相減（如采用CDS，即可消除Pixel中的主要噪聲），得到的信號在經(jīng)過模擬放大，然后經(jīng)過ADC采樣，即可進(jìn)行數(shù)字化信號輸出。

PPD像素結(jié)構(gòu)有如下優(yōu)點：

- 讀出結(jié)構(gòu)（n 區(qū)）的kTC噪聲完全被CDS消除。

- 運放器的offset和1/f噪聲，都會因CDS得到明顯改善。

- 感光結(jié)構(gòu)因復(fù)位引起的kTC噪聲，由于PPD電荷的全轉(zhuǎn)移，變的不再存在。

- 光敏感度，它直接取決于耗盡區(qū)的寬度，由于PPD的耗盡區(qū)一直延伸到近Si?SiO2界面，PPD的光感度更高。

- 由于p-n-p的雙結(jié)結(jié)構(gòu)，PPD的電容更高，能產(chǎn)生更高的動態(tài)范圍。

- 由于Si?SiO2界面由一層p 覆蓋，減小了暗電流。

2.5 PPD共享結(jié)構(gòu)

PPD結(jié)構(gòu)有4個晶體管，有的設(shè)計甚至有5個，這大大降低了像素的填充因子（即感光區(qū)占整個像素面積的比值），這會影響傳感器的光電轉(zhuǎn)換效率，進(jìn)而影響傳感器的噪聲表現(xiàn)。為了解決這個問題又出現(xiàn)了PPD共享結(jié)構(gòu)，像素的感光區(qū)和讀出電路由TX晶體管隔開，相鄰像素之間可以共用讀出電路，如下圖所示。

圖中2x2像素共享一個讀出電路，一共使用7個晶體管，平均一個像素1.75個晶體管。這樣可以大大減少每個像素中讀出電路占用的面積，提高填充因子。美中不足的是，由于這2x2個像素的結(jié)構(gòu)不再一致，會導(dǎo)致固定模式噪聲（FPN）的出現(xiàn)，需要在后續(xù)ISP處理中消除。

2.5 雙相關(guān)采樣（CDS）

雙相關(guān)采樣即Correlated Double Samping，其基本思想是進(jìn)行兩次采樣，先采樣一個參考信號用于評估背景噪聲，延遲很短時間后再采集目標(biāo)信號，從第二次采樣中減去參考信號即得到去除了大部分背景噪聲的目標(biāo)信號，其原理模型如下圖所示。

CDS成立的條件是在兩次采樣間背景噪聲的幅度變化不大，因此它對去除固定噪聲（FPN）和低頻噪聲效果比較理想，如1/f噪聲，kTC噪聲等。

下圖以偽彩色的形式顯示了CDS技術(shù)對像素低頻噪聲的過濾效果

3 CMOS Sensor特性

CMOS sensor的本質(zhì)是計量光電轉(zhuǎn)換事件的線性傳感器，在一定意義上可以說是光子計數(shù)器，sensor上每個像素的讀值都反映了指定時間內(nèi)該像素捕獲光子的數(shù)量。一個理想的sensor 應(yīng)該具備以下一些特性

• 輸出與輸入恒成正比（無sensor噪聲，只有信號本身的噪聲）

• 輸入輸出均可以無限大

• 高靈敏度，小的輸入激勵大的輸出

• 高幀率

• 高分辨率

• 低功耗

• 工藝簡單

• 低成本

理想 CMOS sensor 的響應(yīng)特性下圖所示

圖中直線的斜率決定了單位輸入能夠激勵的響應(yīng)大小，這個斜率稱為增益系數(shù)（gain）。sensor 會提供一組接口用于調(diào)節(jié)實際生效的增益值。

而實際的sensor只能是在一段有限的區(qū)間內(nèi)保持線性響應(yīng)，對于幅度過小或者過大的輸入信號會不能如實地表示。

下圖是用示波器實測像素線性度的測試數(shù)據(jù)。

下圖是實驗測量的輸入輸出曲線，橫坐標(biāo)是入射到sensor的光子數(shù)，縱坐標(biāo)是sensor輸出的數(shù)值（Digital Number, DN）。

以上關(guān)系用公式描述就是

S(N, t)?= q(λ)·N·t

其中，S(N, t)是sensor的一個像素采集到的電子數(shù)，?q(λ,)是sensor在波長λ處的光電轉(zhuǎn)換效率，N是單位時間內(nèi)入射到sensor表面的光子數(shù)（波長λ的單色光），t是曝光時間。

sensor 最終輸出的像素值是使用ADC對S(N,t)進(jìn)行采樣和AD轉(zhuǎn)換得到的量化值，該值會有PV(Pixel Value)，ADU(Analog-Digital Unit)，DN(Digital Number)，Output Code等多種表述方式，并且

DN=g*S(N, t)

其中符號g代表增益系數(shù)gain，意義是多少個光子能夠激勵出1個比特的DN值。

下圖描述了一個CMOS像素發(fā)生光電轉(zhuǎn)換和收集光生電子的過程。

以上過程會涉及幾個關(guān)鍵性的參數(shù)，下面簡要給出描述。

3.1 量子效率 （Quantum Efficiency）

量子效率是描述光電器件光電轉(zhuǎn)換能力的一個重要參數(shù)，它是在某一特定波長下單位時間內(nèi)產(chǎn)生的平均光電子數(shù)與入射光子數(shù)之比。

由于sensor存在三種像素，所以量子效率一般針對三種像素分別給出。下圖是一個實際sensor的量子效率規(guī)格示例。

3.2 勢阱容量 （Saturation Capacity）

勢阱容量又稱Full Well Capacity，指一個像素的勢阱最多能夠容納多少個光生電子，消費類的sensor一般以2000~4000較為常見，此值越大則sensor的動態(tài)性能越好。

下圖給出一個包含勢阱容量規(guī)格的例子。

圖中可以看出，不同廠家的像素工藝可以相差很大，較先進(jìn)的工藝可以在34μm2的面積上容納超過3萬個電子，平均每μm2可以容納近1000個電子，而普通的工藝每μm2只能容納不到400個電子。

下圖是兩款SONY sensor進(jìn)行比較。

下圖是一些單反相機sensor的飽和阱容比較。

3.3 噪聲 （Noise）

“噪聲”的廣義定義是：在處理過程中設(shè)備自行產(chǎn)生的信號，這些信號與輸入信號無關(guān)。

由于電子的無規(guī)則熱運動產(chǎn)生的噪聲在所有電子設(shè)備中普遍存在，是不可避免的，因此被重點研究，并賦予了很多名字，如本底噪聲、固有噪聲、背景噪聲等，英文中常見noise floor, background noise等提法。如下圖所示，器件的溫度越高，電子的熱運動越劇烈，產(chǎn)生的噪聲也就越大。

真實世界中的所有信號都是疊加了噪聲的，圖像信號也不例外，如下圖所示，當(dāng)有用信號的幅度小于背景噪聲時，這個信號就淹沒在噪聲中而難以分辨，只有當(dāng)有用信號的幅度大于噪聲時這個信號才是可分辨的。

假設(shè)照明強度恒定、均勻，相機拍攝圖像中的噪聲是測量信號中空間和時間振動的總和。下圖以傳遞函數(shù)的形式總結(jié)了CMOS sensor 光、電轉(zhuǎn)換模型以及幾種主要噪聲的數(shù)學(xué)模型。

下圖更加細(xì)致地描述了CMOS sensor 成像過程中各種噪聲的來源和作用位置。

下圖是對噪聲圖像的數(shù)值分析。

在了解各種噪聲類型之前首先回顧一下概率與統(tǒng)計課程中學(xué)習(xí)過的泊松分布公式，后面將多次遇到這個分布。

泊松分布是最重要的離散分布之一，它適合描述單位時間內(nèi)隨機事件發(fā)生的次數(shù)。舉例來說，假設(shè)某高速公路在某時段的車流量是每小時1380輛，平均每分鐘23輛，可是如果進(jìn)一步以分鐘為單位進(jìn)行統(tǒng)計，我們就會發(fā)現(xiàn)某一分鐘只通過了15輛，而另一分鐘則通過了30輛，這個概率分布就需要用泊松分布來描述。同理，我們可以把這個例子中的車流換成芯片內(nèi)流過PN結(jié)的電子流，或者換成通過鏡頭入射到像素的光子流，這兩種情況在統(tǒng)計意義上是完全一樣的，都需要用泊松分布來描述。

下面這篇文章較詳細(xì)地解釋了泊松分布的推導(dǎo)過程和它的現(xiàn)實意義。

泊松分布的現(xiàn)實意義是什么，為什么現(xiàn)實生活多數(shù)服從于泊松分布？9406 關(guān)注 · 79 回答問題

sensor 噪聲中含有幾部分分量：

• 暗散粒噪聲(σD):?硅片中電子的熱運動會導(dǎo)致一些價電子隨機激發(fā)至導(dǎo)帶中形成暗電流（dark current），所以即使完全沒有光子入射，sensor也會存在一定的信號輸出。在曝光過程中，暗電流的隨機變化即形成暗散粒噪聲。暗電流變化的主要原因是電子穿過PN結(jié)時會遇到PN結(jié)的電勢屏障（barrier），電子穿越屏障需要經(jīng)歷動能-勢能-動能的轉(zhuǎn)換過程，所以需要耗費一些時間。暗散粒噪聲在統(tǒng)計上服從泊松分布，與光信號的高低水平無關(guān)，但與傳感器的溫度有關(guān)，一般的規(guī)律是溫度每升高8°C暗電流翻一倍。所以在設(shè)計電路時必須注意把容易發(fā)熱的電子元件盡可能布置在遠(yuǎn)離sensor的地方。

• 讀出噪聲 (σR):?該噪聲是在產(chǎn)生電子信號時生成的。Sensor中使用AD轉(zhuǎn)換器（ADC）將模擬放大器輸出的模擬電壓采樣為數(shù)字電壓。由于數(shù)字信號的精度總是有限的，通常為10比特至14比特，幅值位于兩個相鄰數(shù)字之間的模擬信號會四舍五入到最接近的數(shù)值，所以這個過程會引入量化噪聲，這是讀出噪聲的重要組成部分。該噪聲由傳感器的設(shè)計決定，意義是至少需要多少個電子才能驅(qū)動讀出電路的ADC變化一個比特。它與信號高低水平和傳感器溫度無關(guān)。

• 光子散粒噪聲(σS):?Shot noise, 該噪聲是與落于傳感器像素上光子相關(guān)的統(tǒng)計噪聲。在微觀尺度下，光子流到達(dá)傳感器的行為在時間和空間上都是不均勻的，就像統(tǒng)計高速公路上的車流，有時車流比較密集，過一會又變得稀疏。有時左邊的車道密集，過一會右邊的車道密集，整體上其統(tǒng)計規(guī)律符合泊松分布。光子散粒噪聲是與被測信號的高低水平有關(guān)的，與傳感器溫度無關(guān)。

• 固定模式噪聲 (σF):?Fixed-pattern noise（FPN）, 該噪聲是由像素的空間不均勻性引起的，CMOS sensor 每個像素內(nèi)都配置一個電荷電壓放大器，每行、每列都有一些晶體管用于控制像素的復(fù)位和讀出，這些器件的工作參數(shù)相對理論值的漂移就構(gòu)成一種固定模式噪聲。另外，壞像素、瑕疵像素也可以視為一種固定模式噪聲。FPN效果大致上可以用下面的示意圖模擬。

下圖是一個Pixel FPN的實際例子。

在所有像素中，總會有一些像素相對平均值漂移較大，這些像素稱為離群像素（outliers），如下圖所示。離群像素的數(shù)量能夠反映sensor品質(zhì)的好壞。

下面兩圖所示的噪聲在sensor中比較常見，并且有專用的名字叫做條帶噪聲（banding noise），它的一種來源與像素參數(shù)和ADC參數(shù)的飄移有關(guān)，此時它是一種FPN噪聲，但有時它是由外部電壓不穩(wěn)定造成的，此時它是一種隨機噪聲（Troubleshooting Image Quality Problems）。事實上，只有sensor廠家才有條件研究清楚這兩種噪聲來源的具體比例結(jié)構(gòu)。

固定模式噪聲是固定不變的，與信號高低水平和傳感器溫度無關(guān)，因此可以通過標(biāo)定的方法減除，在計算噪聲時可忽略該項。

• 復(fù)位噪聲 (σr):?卷簾曝光方式需要在先對勢阱復(fù)位，將勢阱中自由積累的電荷全部釋放，為后續(xù)的讀出準(zhǔn)備。但是由于暗電流的存在，每次復(fù)位后都會殘留一些大小隨機的噪聲信號，即復(fù)位噪聲，其大小與像素結(jié)構(gòu)、芯片溫度、PN結(jié)電容有關(guān)，因此也稱為kTC噪聲。

像素的復(fù)位是需要一定時間的。定量的研究表明，即使是采用較大的復(fù)位電流，一般也需要1ms以上的時間才能將電荷釋放干凈，如下圖所示。

實際的復(fù)位控制信號通常會短于1ms，因此下一幀圖像多多少少會殘存一些上一幀圖像的影子，這個殘影叫做image lag，也是噪聲的一種形式。下圖顯示了有殘影和無殘影的圖像對比。

• 1/f噪聲 (σf):?1/f 噪聲是一種低頻噪聲，在有些文獻(xiàn)中也稱flicker noise（閃爍噪聲） 或pink noise（粉紅噪聲），它廣泛存在于半導(dǎo)體器件中。在低頻的時候1/f噪聲一般顯著高于電散粒噪聲。

一種理論認(rèn)為，半導(dǎo)體晶格中都會存在一些缺陷，這些缺陷能夠捕獲一些自由電子并將其束縛一段時間，這可以解釋1/f噪聲的一種來源。廣義的1/f噪聲是功率譜密度符合 1/（f^β）公式的噪聲形式，其中指數(shù)β 的取值范圍在0.5~2.0 之間。研究發(fā)現(xiàn)，CMOS sensor 中的1/f 噪聲功率譜密度與頻率成反比，下圖定性地表示了1/f 噪聲的頻譜特征以及與熱噪聲的關(guān)系。

從上圖中可以看到，“pink”與“white”這兩種"顏色"的主要區(qū)別在于功率譜的分布。白噪聲的功率在所有頻段上是均勻分布的，而粉紅噪聲的功率主要集中在低頻。

人們不僅在電子裝置中觀測到1/f噪聲，在音樂、生物學(xué)乃至經(jīng)濟學(xué)中也觀察到這種噪聲1。關(guān)于1/f噪聲的來源仍存在很大爭議，幾乎每屆學(xué)術(shù)會議上都有人想來個“正本清源”，可惜N多年也沒爭出個一二三四來。每個試圖解決問題的人都能提出某個模型，但是這個模型只能在一定條件下或者是一定范圍內(nèi)成立，不具有一般性。最后相關(guān)會議主辦方干脆出個論文集，也不加評論，直接把所有吵架論文編成一本將近800頁的大書。

• 光響應(yīng)非均勻性 (σp):?英文為PRNU，Photo Response Non-Uniformity。Bayer格式的sensor 通常存在四種像素(R,Gr,Gb,B)，這四種像素的光電轉(zhuǎn)換特性（即增益特性）不可能是完全一樣的，不同種像素間存在種間差異，同種像素之間也存在個體差異，如下圖所示。

PRNU通常占總噪聲的1~2%左右，很多時候是可以忽略的。從下圖中可以看出當(dāng)信號較大時光信號本身的散粒噪聲遠(yuǎn)大于像素的非線性響應(yīng)噪聲。

某些科研級的sensor 的線性度指標(biāo)已經(jīng)達(dá)到了驚人的99.9%。

• 串?dāng)_ :?英文為Crosstalk，在通信領(lǐng)域中指兩條信號線之間由于屏蔽不良而發(fā)生了的信號耦合，一條線路上的信號通過線纜間存在的互感和互容饋送到了附近的信號線上，在模擬通信時代可能導(dǎo)致聽到別人的通話。在sensor領(lǐng)域，串?dāng)_指的是入射到一個像素A的光信號沒有在這個像素里被捕獲，反而被其周圍的像素B捕獲，導(dǎo)致B產(chǎn)生了不該有的信號。

在下圖例子中，粉色表示的是不透光的像素，不應(yīng)該有任何輸出，黃色表示正常像素，應(yīng)該有輸出。實際上，光子是可以在硅片中穿透一定的距離的，從而有機會進(jìn)入到粉色像素的感光區(qū)，從而變成粉色像素的信號，這就是CMOS sensor的串?dāng)_機制。

下圖顯示了串?dāng)_的原理，黃色像素周圍的多個像素都有可能捕獲一些本屬于黃色的光子，這也是一種噪聲來源。

從下圖可以看出，波長越長，串?dāng)_越嚴(yán)重，某些像素位置串?dāng)_能量可以達(dá)到5%。

三星公司研發(fā)了ISOCELL技術(shù)用于抑制串?dāng)_，該技術(shù)使用metal grid制造電勢屏障阻止電子進(jìn)入相鄰的像素，但是會引入一些新的問題，所以后來又發(fā)展出了ISOCELL Plus技術(shù)，該技術(shù)是在ISOCELL的基礎(chǔ)上改進(jìn)了材料，避免了metal grid 引起的不良反應(yīng)。

索尼的HAD CCD技術(shù)給像素設(shè)計了一個特別的蓋子,可以防止像素內(nèi)的光電子逃逸，同時也防止像素外的自由電子進(jìn)入像素內(nèi)部。

噪聲模型

下圖測量了sensor中4種像素的光響應(yīng)特性，從圖種可以看出4種噪聲的表現(xiàn)機理。PRNU體現(xiàn)的是紅、綠、藍(lán)三種像素的增益差異。對于任一種像素，光信號越強像素值抖動越大，這體現(xiàn)了光信號本身的散粒噪聲。光信號為零時，輸出幅度最小的像素體現(xiàn)了半導(dǎo)體的暗散粒噪聲，而 紅、綠、藍(lán)三種像素之間的差異體現(xiàn)了FPN噪聲。

盡管像素噪聲有多種來源，但每種噪聲的貢獻(xiàn)程度并不是同等重要的。為了簡化計算，實際上經(jīng)常采用簡化的噪聲模型，只考慮光散粒噪聲、暗散粒噪聲、讀出噪聲、以及ADC器件的量化噪聲，如下圖所示。

甚至可以進(jìn)一步將量化噪聲吸收到讀出噪聲中，于是每個像素的總有效噪聲是下列所有噪聲的總和：

由于暗散粒噪聲和sensor工作溫度有關(guān)，因此降低sensor溫度有助于減少圖像噪聲。在科學(xué)、武器等應(yīng)用中常會使用液氮給sensor制冷以提高圖像信噪比。很多裝備了CCD/CMOS camera 的導(dǎo)彈會帶一個盛液氮的杜瓦瓶，導(dǎo)彈開機后杜瓦瓶向sensor 吹冷氣使sensor 保持在零下幾十度低溫工作。

下圖所示的是某科學(xué)級sCMOS sensor，通過氣冷或者水冷的方式可以工作在-40~-30度低溫下，像素的噪聲得到極大的改善。

目前的CMOS工藝水平已經(jīng)非常先進(jìn)，對于科學(xué)水平的sensor，讀出噪聲的典型值通常小于10 e-，在極限條件下甚至已經(jīng)可以做到1e-。下圖給出了一些常見單反sensor和儀器sensor的讀出噪聲水平。

本專欄的另一篇文章專題討論了降噪的算法，可以結(jié)合閱讀。

劉斯寧：Understanding ISP Pipeline - Noise Reduction69 贊同 · 10 評論文章

3.4 信噪比 （SNR）

信噪比是一個電子設(shè)備或者電子系統(tǒng)中信號與噪聲的比例，如下圖所示。這里面的信號指的是來自設(shè)備外部需要通過這臺設(shè)備進(jìn)行處理的電子信號，而噪聲是指該設(shè)備自行產(chǎn)生的無規(guī)則信號，并且該種信號并不隨外部輸入信號的變化而變化。

在圖像處理領(lǐng)域，信噪比是評價圖像質(zhì)量的主要依據(jù)。對于一個小信號總是可以通過增益的方式把它放大到適合觀察處理的水平，但是信號中的噪聲也必然會得到同樣程度的放大，如果該信號的信噪比很低，單純的放大操作并不增加任何有用的信息，無助于改善圖像質(zhì)量。

下面分析sensor圖像的信噪比。如前所述，設(shè)S為傳感器上每個像素上入射光子通量為N光子/秒情況下產(chǎn)生的“信號”電子的數(shù)量，其中量子效率為QE，曝光時間為t秒，那么

通過S，可以將光子散粒噪聲表示為：

信噪比（SNR）可以由下式進(jìn)行估算：

前面已經(jīng)提到

舉個具體的例子。如果我們假設(shè)有足夠高的光子通量和量子效率，可以讓一個像素在5秒曝光時間內(nèi)積累的信號S高達(dá)10,000 e-，那么可以對光子散粒噪聲進(jìn)行估算，約為10,000的開平方值，即100 e-。讀出噪聲為10 e-（與曝光時間無關(guān)）。當(dāng)曝光時間為5秒，傳感器溫度為25、0和-25 °C時，有效噪聲為：

下圖給出了sensor信號（光電子數(shù)S）與噪聲(σeff)之間的關(guān)系和變化規(guī)律。

從這張圖上我們可以看到，傳感器在光子數(shù)達(dá)到一個閾值后才開始有信號的（圖上是在10與100個光子之間），也就是說如果傳感器接受的光子數(shù)少于某個閾值，就不會有信號輸出。這個閾值一般認(rèn)為是讀出噪聲。在像素達(dá)到飽和前，光電子數(shù)隨著入射光子數(shù)的增加而線性增加，而噪聲隨入射光子數(shù)增加按根號規(guī)律增加，噪聲增加的速率低于信號增加的速率，因此總的信噪比不斷增長。

當(dāng)S很小時，SNR主要由σR決定，即sensor暗電流和讀出噪聲是主要來源。當(dāng)S很大時，SNR主要由σS決定，即光信號本身的統(tǒng)計漲落是噪聲的主要來源。如下圖所示。

如前所述，光信號的統(tǒng)計噪聲符合泊松分布，即?σS=sqrt(S)，考慮到光數(shù)與光電子存在正比關(guān)系，因此sensor的最大信噪比出現(xiàn)在勢阱飽和的條件下，即

SNRmax = √N= 20log(√N)，其中N代表飽和阱容。

考慮前面提到的SONY sensor 的例子（截圖如下），將飽和阱容（32316）帶入上式可得

SNR=20log(√32316)=20log(179.766)=45.1

一般認(rèn)為，SNR=10dB 是可接受（acceptable）的圖像質(zhì)量標(biāo)準(zhǔn)，該值意味著信號幅度是噪聲的3.16倍。而SNR=40dB 是優(yōu)秀（excellent）的圖像質(zhì)量標(biāo)準(zhǔn)，該值意味著信號幅度是噪聲的100倍，因此至少需要10000e-飽和阱容。介于中間的是SNR=30dB，該值要求像素提供1000e-以上的飽和阱容，這剛好是很多手機sensor的指標(biāo)范圍。

下圖是一些單反相機的典型SNR對比。

下圖是Canon 1D3 單反相機在不同ISO下的信噪比曲線，橫坐標(biāo)是曝光量，縱坐標(biāo)是SNR，都是以"stop"為單位，即以2為底的log-log坐標(biāo)。

在評估圖像質(zhì)量時，常用以下公式計算噪聲和信噪比

回顧前文中的公式?DN=g*S(N, t)?可知，通過圖像DN值和sensor增益系數(shù)g可以反推光子數(shù)S，而通過DN值和光子數(shù)S也可以反推sensor的增益系數(shù)g。

一個非常有用的問題是，圖像上某個小區(qū)域的像素噪聲與該區(qū)域的像素均值符合怎樣的函數(shù)關(guān)系呢？我們可以進(jìn)行這樣的分析：

*令s表示像素均值，S表示光信號絕對值，則s=S*g；

*令n表示像素噪聲均值，N表示噪聲絕對值，則n=N*g；

*假設(shè)該小區(qū)域是均勻的，理想上像素DN值應(yīng)該完全一樣，因此實際得到的起伏就是噪聲引起的，以DN值計量的噪聲單位是 n=sqrt(MSE)，或者M(jìn)SE=n^2；

*光信號本身的噪聲符合泊松分布 N=sqrt(S)，所以有 n/g = sqrt(s/g)，或n=sqrt(s*g);

所以能夠得到的結(jié)論是：

圖像中任一像素鄰域內(nèi)，圖像噪聲(DN值)與像素均值的平方根成正比，比例系數(shù)是sqrt(g)。

3.5 動態(tài)范圍 （Dynamic Range）

一個信號系統(tǒng)的動態(tài)范圍被定義成最大不失真電平和噪聲電平的比值，在實際應(yīng)用中經(jīng)常用以10為底的對數(shù)來表示，單位是分貝。對于膠片和感光元件來說，動態(tài)范圍表示圖像中所包含的從“最暗”至“最亮”的取值范圍。根據(jù)ISO15739的定義，“最亮”指的是能夠使輸出編碼值達(dá)到特定“飽和值”的亮度；而“最暗”指的是圖像信噪比下降至1.0時的亮度。

sensor 動態(tài)范圍越大，所能表現(xiàn)的層次越豐富，所包含的色彩空間也越廣。下圖是用來測量sensor動態(tài)范圍性能的常用方法。

前面已經(jīng)提到，sensor是由數(shù)以百萬個甚至更多像素組成的，這些像素在曝光過程中吸收光子轉(zhuǎn)化成電荷。一旦這些像素容量達(dá)到飽和，多余的電荷便會溢出導(dǎo)致輸出信號不再增加，此時像素的值不能反映光信號的真實強度，如下圖所示。

因此sensor能夠輸出的最大不失真信號就等于sensor像素的勢阱容量，而sensor輸出的最小值則取決于像素的背景噪聲水平，一般起主導(dǎo)作用的是讀出噪聲。

根據(jù)動態(tài)范圍的定義，sensor動態(tài)范圍的分貝表示用以下公式計算

當(dāng)讀出噪聲為一個電子時，sensor的動態(tài)范圍即達(dá)到理論極限值

根據(jù)上面的公式可以簡單計算出動態(tài)范圍與FullWellCapacity之間的關(guān)系。

顯然，目前較好的工藝水平（SONY）可以做到每個像素容納10000~30000個電子，可以提供80~90dB的極限動態(tài)范圍，但是更多就不合理也不經(jīng)濟了，因為更大的勢阱容量需要更大的像素面積，而像素大到一定程度之后就會遇到成品率瓶頸，下面有專題說明，因此超過80dB的動態(tài)范圍往往需要依賴其它技術(shù)實現(xiàn)。

下圖列舉了一些典型單反相機sensor的動態(tài)范圍指標(biāo)，縱坐標(biāo)可以理解為AD轉(zhuǎn)換器的位數(shù)。例如12位ADC能夠表示的動態(tài)范圍是2^12=4096，而14位ADC能夠表示2^14=16384，以此類推。

P.S. ADC位數(shù)的選擇必須是和sensor的動態(tài)范圍相適配的，ADC位數(shù)高于sensor是沒有任何意義的性能浪費，低于sensor則不能完全發(fā)揮出sensor的性能優(yōu)勢，也是一種性能浪費。從圖中可以看到，單反相機的主流是采用14位ADC，更高端的則采用16位ADC。

白天的天空可以看作是一個非常明亮的光源，如果sensor動態(tài)范圍不足，拍攝天空時就很容易出現(xiàn)過曝，藍(lán)天變淺，白云失去層次感，甚至完全變白。

下圖列舉了一些典型場景的動態(tài)范圍。

在日常生活中會經(jīng)常遇到動態(tài)范圍>100dB的場景，一個sensor如果具備120dB的動態(tài)范圍即可滿足絕大部分場景的拍攝需求。普通人眼可輕易應(yīng)對80~100dB的場景，然而普通的CMOS sensor 卻只能提供50~70dB的動態(tài)范圍，更高的動態(tài)范圍一般需要通過多幀合成的辦法實現(xiàn)。

在攝影領(lǐng)域經(jīng)常使用“f-stop”術(shù)語描述鏡頭的通光量，這里stop指曝光檔位，鏡頭光圈旋轉(zhuǎn)到一個f-stop檔位的時候會自動鎖定，伴隨一個輕微的“咔嚓”聲。檔位的設(shè)定依據(jù)是非常明確的，即相鄰兩檔的通光量是2倍關(guān)系，因此鏡頭的通光量是按照2的指數(shù)倍規(guī)律變化的。

在攝影領(lǐng)域經(jīng)常使用“l(fā)ight stop”術(shù)語描述場景的動態(tài)范圍。舉例來說，如果室內(nèi)最暗處照度是1lux，而室外最亮處照度是3萬lux，則場景動態(tài)范圍是30000（90dB），需要15個light stop。

當(dāng)一幅畫面同中時存在亮部和暗部的時候，往往就是考驗sensor 動態(tài)范圍性能的時候了。動態(tài)范圍小的sensor 無法同時兼顧亮部和暗部，通常只能犧牲一個保證另一個，或者兩者都做出一定的犧牲（下圖左）。如果希望暗部和兩部能夠同時得到較好的還原，則只能使用寬動態(tài)性能更好的sensor（下圖右）。

ND濾鏡

使用高動態(tài)范圍的sensor是拍攝高動態(tài)場景的主要手段。另一方面，人們也可以使用光學(xué)濾鏡來調(diào)節(jié)輸入信號的能量分布，從而壓縮輸入信號的動態(tài)范圍。在拍攝天際線場景時，由于天空的亮度高，且分界明顯，所以可以使用漸變式中性濾鏡（Neutral Density Gradient Filter）抑制天空區(qū)域的亮度，改善成像效果。

3.6 靈敏度 （Sensitivity）

CMOS sensor 對入射光功率的響應(yīng)能力用靈敏度參數(shù)衡量，常用的定義是在1μm2單位像素面積上，標(biāo)準(zhǔn)曝光條件下(1Lux照度，F(xiàn)5.6光圈)，在1s時間內(nèi)積累的光子數(shù)能激勵出多少mV的輸出電壓。

在量子效率一定的情況下，sensor 的靈敏度主要取決于電荷/電壓轉(zhuǎn)換系數(shù)(Charge/Voltage Factor, CVF)。在下圖的例子中，CVF =220uV/e，這意味著阱容2000e的像素能夠激勵出最大440mV的電壓信號。

在曝光、增益相同的條件下，靈敏度高的sensor信噪比更高，這意味著至少在兩個方面可以獲得比較優(yōu)勢，

• 在圖像噪聲水平接近的情況下，靈敏度高的sensor圖像亮度更高、細(xì)節(jié)更豐富

• 在圖像整體亮度接近的情況下，靈敏度高的sensor噪聲水平更低，圖像畫質(zhì)更細(xì)膩

EMVA 1288 定義了評價camera 靈敏度的標(biāo)準(zhǔn)，即多少個光子可以引起camera像素值變化1，即一個DN。根據(jù)量子力學(xué)的公式，

1個波長為540 nm的綠光光子攜帶的能量是

Camera 技術(shù)手冊中會給出像素靈敏度規(guī)格，

根據(jù)此規(guī)格即可計算像素值變化1需要多少個光子。下面的鏈接給出了一個具體的例子。

https://www.lumenera.com/blog/understanding-camera-sensitivity-a-look-at-the-numberswww.lumenera.com/blog/understanding-camera-sensitivity-a-look-at-the-numbers

下圖給出了普通靈敏度和高靈敏度sensor在噪聲、亮度方面的效果對比。

3.7 填充系數(shù) （Fill factor）

一個像素不管實際面積多少，用于控制和讀出的三極管和電路連線所占的面積是必須首先保證的，余下的面積才能用于制造感光PN結(jié)。假設(shè)一個像素小到只能勉強容納幾個必須的三極管，則填充系數(shù)降為零，這個像素就失去了意義。反之，像素面積越大，三極管和電路所占面積的比例就越小，像素的填充系數(shù)就越高，像素的成像質(zhì)量也會越好。

下圖是一個像素版圖的例子，這是一個采用PPD結(jié)構(gòu)設(shè)計的像素，盡管面積很大，但實際也只取得了60%的填充系數(shù)。

為了大幅度地提高填充系數(shù)，人們不得不費心費力地在每個像素上方制造一個微透鏡，將較大范圍內(nèi)的入射光會聚到較小的感光面上，這樣可以將光能利用率提高到90%以上，也就是通過微透鏡提高了等效填充系數(shù)，如下圖所示。

3.8 像素尺寸（pixel pitch）

最小的像素通常是出現(xiàn)在手機sensor上，典型尺寸1.1um，這差不多已經(jīng)到了實用的極限了，安防和機器視覺sensor常用2.2um~4.2um大小的像素，而單反和廣播級的sensor則傾向于用更大尺寸的像素。

關(guān)于像素尺寸有兩個非常經(jīng)典的問題，假設(shè)你有兩個桶，一大一小，那么

1. 如果外邊雨下的特別大，哪個桶先盛滿水？OK，很顯然是小的桶先滿。

2. 如果外邊的雨是一滴一滴地偶爾掉下來，哪個桶更容易接到水？OK，很顯然是大的那個。

其實像素也是一樣的道理，大的像素通?？梢匀菁{更多的電子，因此可以表示更大的信號變化范圍，這個指標(biāo)稱為sensor的動態(tài)范圍，是一個特別重要的參數(shù)。在極低照度下，大的像素更容易捕獲到少量的光子，也就是低照度性能會更好。所以，如果不考慮面積和成本，在相同的工藝下，一般的原則是像素面積越大成像質(zhì)量就越好。

下圖對比了大小像素的實際噪聲表現(xiàn)，可以看到在曝光時間很短的條件下，大像素的噪聲水平會明顯優(yōu)于小像素。

一個sensor 的尺寸大小主要取決于感光陣列和處理電路所占的面積，而感光陣列的面積等于像素尺寸和像素數(shù)量的乘積。sensor 的像素數(shù)量有專用的術(shù)語叫做分辨率（resolution），可以用總數(shù)量描述，如2MP，3MP等（MP=MegaPixel，百萬像素），或者寫成寬乘以高的形式，如1920x1080，2048x1536 等。sensor 的大小也有專用的術(shù)語叫做光學(xué)格式（optical format），用sensor 封裝后的對角線長度衡量，注意并不是sensor 光敏陣列的對角線長度。光學(xué)格式在技術(shù)發(fā)展的過程中已經(jīng)完全標(biāo)準(zhǔn)化，形成了一系列固定的尺寸，方便與任何廠家生產(chǎn)的標(biāo)準(zhǔn)規(guī)格鏡頭進(jìn)行適配。

在進(jìn)行像素密度計算時，設(shè)計人員需要準(zhǔn)確地知道所選sensor 光敏陣列的尺寸，這個數(shù)據(jù)可以根據(jù)sensor 分辨率和像素尺寸計算得到，也可以快速地查表得到。下表給出了一些常見光學(xué)格式的光敏陣列尺寸。

注意用sensor 封裝后的對角線長度一定大于sensor 光敏陣列的對角線長度。比如標(biāo)稱的1/2" 格式，指的是sensor 封裝后對角線長12.7mm，而實際的光敏陣列則為6.4mm*4.8mm，對角線長8mm。這個定義方式源于最初的電視技術(shù)采用的陰極射線攝像管，如下圖所示?？紤]到元件替換是最為普遍的需求，普通用戶只需要關(guān)注這種攝像管的外徑尺寸，而并不關(guān)心其內(nèi)部成像面的具體尺寸。

3.9 成品率（yield）

單純從信噪比的角度考慮，像素的尺寸顯然是越大越好。但是為什么手機sensor都是越做越小呢？這主要有兩方面的原因，最終都能歸結(jié)到成本問題。一個很容易理解的原因是，在芯片總面積一定的情況下，單個像素面積越大，芯片的總像素數(shù)就會越少，即sensor的分辨率就越低，這與人類追求高像素、高清晰度的目標(biāo)是不符的。因此手機sensor的發(fā)展思路一直是依靠技術(shù)進(jìn)步不斷提高像素靈敏度同時縮減像素面積，在保證成像效果基本不損失的前提下，通過提高成品率來降低單個sensor的成本，擴大總收益。

那么是否可以把芯片總面積擴大，既用大像素，也提供高像素數(shù)呢？在一定程度上是可以的，事實上單反、廣播、武器、科研級的sensor就是這樣做的，代價就是一片wafer（硅片）只能制造幾十個sensor，單個sensor 的成本是相當(dāng)感人的。

當(dāng)然了，如果是用在天文望遠(yuǎn)鏡這種不計成本的場合上，也有人會用一整片wafer制造一個超大的sensor，比如下面這貨，是佳能在一個12英寸（直徑300mm）wafer 上制造的單個CMOS sensor，面積 202×205mm2, 1600萬像素, 幀率100fps，采用0.25μm工藝。

使用這個巨型sensor可以在10~20ms內(nèi)拍攝一幅高質(zhì)量的天文圖像，而普通的單反拍攝同樣質(zhì)量的圖像通常需要使用慢快門拍攝幾分鐘甚至更久的時間。

但是對于手機sensor這種消費市場，拍攝夜景并不是頻繁和主要的需求，相反成本是最重要的考慮，所以sensor廠家會希望一片wafer能夠產(chǎn)出2000個以上sensor。

一片wafer能制造出多少個sensor是在設(shè)計期就確定了的，但是實際有多少sensor 能正常工作則還有一些運氣成分，因為每個wafer都或多或少有些瑕疵（defect），光刻過程也可能會引入瑕疵（如下圖），導(dǎo)致電路無法工作。

一個sensor 如果剛好位于瑕疵位置就會變成廢品，只有一切順利沒出任何意外才能變成成品。所以wafer的成品率是決定sensor成本的關(guān)鍵因素。對于上面提到的天文望遠(yuǎn)鏡sensor，只要wafer上有一處關(guān)鍵瑕疵位于sensor 面積上，這個wafer的成品率就等于零。如果這片wafer制造的是2000個手機sensor，則損失一個sensor 問題也不很嚴(yán)重。下圖說明了成品率和sensor尺寸的關(guān)系。

顯然sensor面積越大遇到瑕疵的概率也就越大，從數(shù)學(xué)上看，sensor遇到瑕疵（變成廢品）概率與像素尺寸(pixel pitch)是平方關(guān)系而不是線性關(guān)系。假設(shè)wafer上的瑕疵是均勻分布的，當(dāng)sensor面積大到一定程度的時候，就會出現(xiàn)無論如何也無法避開瑕疵的尷尬境地。

3.10 前照式工藝（FSI）

傳統(tǒng)CMOS sensor 工藝又稱為FSI（Front Side Illumination）工藝，與傳統(tǒng)的半導(dǎo)體工藝一樣，它首先裝夾固定好一片wafer（硅片），從wafer的一側(cè)開始制造光敏PN結(jié)以及控制和讀出電荷所需的晶體管，然后制造連接晶體管所需的金屬線路（鋁或銅），接下來制造Bayer濾光膜和微透鏡。在整個制造過程中wafer只裝夾固定一次，直到制造完成，最后的wafer大概就是下圖所示的樣子。

接下來就是測試、切割、封裝等步驟。wafer上的sensor 晶片叫做die，需要先用自動化測試機臺進(jìn)行探針測試（Probe），未能通過探針測試的die會被系統(tǒng)記住位置（如下圖），切下后將直接丟棄，避免進(jìn)入封裝環(huán)節(jié)，因為封裝成本可能會占sensor總成本的1/3。

封裝就是將晶片固定在塑料或金屬外殼內(nèi)部，形成最終產(chǎn)品的過程，與其它半導(dǎo)體芯片的封裝過程基本是一樣的。

如果一切順利，封裝好的sensor 大概就是下圖所示的這個樣子。

或者像這個樣子。

根據(jù)sensor尺寸的不同，一個12英寸（直徑300mm）的wafer粗略可以切出100~2000個sensor，但是能否收回制造成本還取決于成品率（yield），正常情況下廠家會期望成品率大于90%，如果很不幸有一半sensor 是廢品則廠家大概率會血本無歸。

強烈推薦一個芯片制造的視頻，和制造sensor過程是差不多的。

為什么 CPU 這么貴？5987 贊同 · 571 評論回答

言歸正傳，在FSI工藝下，光線需要穿越多層電路結(jié)構(gòu)才能抵達(dá)硅感光區(qū)，如下圖所示。

傳統(tǒng)FSI工藝的一個主要不足之處在于光敏PN結(jié)與濾光膜和微透鏡之間需要制造若干層電路結(jié)構(gòu)，由于電路高度問題會限制PN結(jié)可收集光線的面積和角度，同時光線在前進(jìn)過程中會與電路結(jié)構(gòu)發(fā)生吸收、散射，所以會增加光能的損耗，如下圖所示。

下圖是FSI像素在電子顯微鏡下的照片。

3.11 主光線角（CRA）

主光線角（Chief Ray Angle, CRA)是衡量sensor 收集入射光能量的一個主要參考指標(biāo)。尤其是對于經(jīng)典的FSI工藝，由于多個金屬布線層的存在導(dǎo)致CRA 不太容易提高。如下圖所示，使用銅線可以在一定程度上改善CRA 但也會提高sensor 成本。

CRA 經(jīng)常是限制sensor 性能的一個重要因素，而下面將要介紹的BSI 工藝則可以顯著改善CRA，使之不再成為一個主要問題。

3.12 背照式工藝 （BSI）

隨著半導(dǎo)體工藝的進(jìn)步，人們發(fā)現(xiàn)其實可以將wafer打磨得非常薄，讓光線穿透wafer，從背面入射到感光PN結(jié)，這個想法無論在技術(shù)上還是成本上都已經(jīng)變得可行，于是就產(chǎn)生了背照式工藝（Back Side Illumination, BSI）。BSI工藝的主要特點（也是難點）是生產(chǎn)過程中需要兩次固定裝夾，一次在wafer背面制造濾光膜和微透鏡，一次在wafer正面制造感光PN結(jié)和電路結(jié)構(gòu)。兩次裝夾定位的重復(fù)精度要求極高，才能保證光線能夠通過背面的微透鏡精準(zhǔn)聚焦到PN結(jié)上。

下圖是BSI工藝的典型流程，中間一個非常關(guān)鍵的步驟就是"flip wafer"。

下圖是BSI像素的微觀結(jié)構(gòu)照片。

下圖是FSI工藝和BSI工藝的原理對比。

下圖是OmniVision BSI工藝流程和簡介。

下圖是Sony BSI工藝的簡介。

FSI 與 BSI 工藝效果對比 @ ISO6400

左側(cè)：Sony 20mp RX100 CMOS Sensor

右側(cè)：Sony 20mp RX100 II BSI CMOS Sensor

下圖是另一個FSI工藝與BSI工藝效果對比的例子。

3.13 其它進(jìn)展

Sony 于2007年推出第一代Exmor系列CMOS 圖像傳感器。與傳統(tǒng)CIS技術(shù)相比，Exmor 的主要特點是為每列像素配置了專用ADC和額外的CDS。由于ADC單元與像素的物理距離更近，并且由于大規(guī)模并行化可以降低單個器件的工作頻率，所以極大地改善了sensor的噪聲特性。而新增的CDS又進(jìn)一步抑制數(shù)字噪聲。

隨著制造技術(shù)的進(jìn)一步演進(jìn)，在背照式工藝的基礎(chǔ)上又發(fā)展出了堆棧式（Stacked）工藝。顧名思義，堆棧式工藝把兩片或者更多片硅片上下堆疊在一起，最上層硅片全部用于制造像素的感光區(qū)，而sensor 控制所需的模擬、數(shù)字邏輯全部移到下層硅片，所以感光區(qū)占sensor靶面尺寸的比例可以接近100%，終于達(dá)到了sensor 效率的巔峰。

實際上，CMOS sensor 也可以設(shè)計稱支持global shutter曝光方式。與CCD 類似，global shutter 的實現(xiàn)原理是每個曝光像素都伴隨一個存儲電容，感光陣列上所有像素同時曝光，然后光電子立即被轉(zhuǎn)移到存儲電容上并鎖定，等待讀出電路讀出。下圖是一種較新的global shutter 像素設(shè)計，該設(shè)計支持兩種不同的增益系數(shù)，因此支持HDR功能。

下圖展示了SONY 最新BSI stacked 工藝制造的global shutter CMOS sensor 像素原理。

該sensor使用上下兩層硅片，通過一定的機制綁定成3D結(jié)構(gòu)。下圖是SONY發(fā)布的實物照片。

3.14 Sensor for AI

另外，近些年的發(fā)展趨勢是在sensor 上集成內(nèi)存和AI 運算單元，使sensor 本身就能夠完成一些高級圖像處理算法，實現(xiàn)sensor 的智能化。

智能化的sensor可以用于制造端側(cè)AI Camera，通過計算前移減輕云端的計算壓力，減輕網(wǎng)絡(luò)傳輸?shù)膸拤毫?，減少系統(tǒng)延遲，有利于智能系統(tǒng)的大規(guī)模部署。這個市場稱為端側(cè)AI市場或Edge AI。

3.15 ToF sensor

ToF 即 Time-of-flight，ToF sensor 主動向視場前方打出一組激光，然后追蹤反射光被sensor捕獲的時間，通過時間差計算前方障礙物的距離，從而形成深度圖（depth image）。深度圖的每個像素值代表目標(biāo)距離camera的距離。為了形象地呈現(xiàn)深度信息，人們一般用紅色代表近的距離，藍(lán)色代表遠(yuǎn)的距離。

可見光sensor圖像與To Fsensor的深度圖可以用一定的算法融合成3D圖像，實現(xiàn)3D建模功能。

3.16 Sensor fusion

車載是僅次于手機、安防的第三大sensor應(yīng)用市場。車載應(yīng)用的主要挑戰(zhàn)是包括強光、高動態(tài)、雨雪霧等環(huán)境因素會對 sensor 成像造成嚴(yán)重干擾，目前單靠CMOS sensor本身的性能提升還不能很好地解決這些問題，所以人們在探索將可見光sensor、毫米波雷達(dá)、激光雷達(dá)等成像技術(shù)結(jié)合在一起，形成更為可靠的車載解決方案，保證在各種氣象條件下都能穩(wěn)定地檢測出畫面中的目標(biāo)。索尼將此技術(shù)稱為sensor fusion。

3.17 Foveon sensor

研究發(fā)現(xiàn)，不同波長的光在硅材料中能夠穿透的深度是不同的，下表是關(guān)于穿深的統(tǒng)計。

Foveon 公司開發(fā)了一款可以在一個像素上捕捉全部色彩的圖像傳感器，型號為Foveon X3。與傳統(tǒng)的Bayer陣列原理不同，F(xiàn)oveon 利用了藍(lán)光穿透距離小，紅光穿透距離大的原理，采用三層感光元件堆疊布局，每層記錄一個顏色通道。

3.14 寬動態(tài)（WDR）

寬動態(tài)即Wide Dynamic Range，與之等價的一個術(shù)語是高動態(tài)即High Dynamic Range (HDR)。單從語法的角度看，WDR比HDR在語法上更嚴(yán)謹(jǐn)一些，因為形容一個范圍可以說“寬窄”但很少說"高矮"，除此之外其實并無技術(shù)層面的區(qū)別。

從另一個角度看，當(dāng)用水平的圖表比較動態(tài)范圍時，用WDR術(shù)語是最恰當(dāng)?shù)?，如下圖。

然而，如果需要使用下面的圖表對比動態(tài)范圍，則用HDR術(shù)語似乎也顯得合適了。

現(xiàn)在一個流行的趨勢似乎是用WDR描述與視頻相關(guān)的應(yīng)用，用HDR描述與靜態(tài)圖片相關(guān)的應(yīng)用，其實在筆者看來這個界定也并無理論依據(jù)，只是一種約定俗成的習(xí)慣。

在前面第3.5節(jié)中已提到，目前較好的工藝水平（SONY）可以讓sensor 提供80~90dB的極限動態(tài)范圍，但是更多就不合理也不經(jīng)濟了，因此超過80dB的動態(tài)范圍一般需要通過其它技術(shù)實現(xiàn)。目前大致有九種技術(shù)路線可以實現(xiàn)WDR技術(shù)，即

• Staggered 長短曝光幀融合，非同時曝光，存在運動偽影問題，短幀存在flicker問題

• Interleaved 行交替曝光，將像素以兩行為單位分組，長、短交替曝光，存在分辨率損失

• Chopped 斬波曝光，主要解決flicker問題

• Lin-Log 函數(shù)響應(yīng)，依賴特別的像素設(shè)計，LDR區(qū)間為線性響應(yīng)，HDR區(qū)間變?yōu)閘og規(guī)律響應(yīng)，缺點是FPN較大

• Dual-diode pixel，兩種不同敏感度的像素呈棋盤格排列，長、短幀同時曝光，存在分辨率損失和運動偽影

• LOFIC 像素，用大電容收集像素溢出的電荷，原理與Split-diode pixel 有些類似

• Complementary carrier pixel，在LOF基礎(chǔ)上使用電子-空穴兩種互補載流子，顯著提高阱容

• DCG 像素 （Dual Conversion Gain），每個像素可獨立控制增益，等效于實現(xiàn)兩種敏感度像素

• Split-diode pixel, 將每個像素的光敏區(qū)切成兩塊，分別負(fù)責(zé)短曝光和長曝光，沒有分辨率損失和運動偽影
  

3.14.1 Staggered

第一種模式應(yīng)用最為普遍，sensor輸出兩幀圖像用于寬動態(tài)融合，一幀短曝光圖像重點采集亮部信息，一幀長曝光圖像重點采集暗部信息，兩幀圖像同時輸入ISP，經(jīng)過一定的算法處理后生成一幀輸出圖像，能夠同時還原亮部和暗部信息。算法對圖像進(jìn)行融合的過程稱為frame stitching，或者稱為WDR fusion，意思是將多個圖像融合拼合為一體。

兩幀融合是最常見的方案，也有一些sensor支持三幀甚至四幀融合成一幀。下圖是三幀融合的例子，右側(cè)是合成的WDR圖像。

多幀融合WDR技術(shù)由于參與融合的像素并非同時曝光所以會存在運動偽影問題，如下圖所示，由于小孩快速移動位置造成了虛影。

以及下圖（右）中的風(fēng)扇葉片，在多幀合成時會出現(xiàn)錯誤。

如果sensor 不再以幀為單位輸出，而是以行位單位輸出，則可以緩解運動偽影問題。如下圖所示，sensor 先輸出一行長曝光像素，再輸出一行短曝光像素，然后開始輸出下一行。當(dāng)最后一個像素掃描完畢時，sensor已經(jīng)完成了兩幀圖像的輸出。三/四幀合成WDR也是同理。

這種輸出方式被OmniVision 稱為Staggered WDR技術(shù)，下面是OV Staggered WDR sensor 的幀結(jié)構(gòu)示意圖，

SONY支持WDR的方式稱為DOL(Digital OverLap)技術(shù)，它支持兩種像素輸出方式，方式1是在同一個碼流中替輸出，方式2是使用兩個碼流并行輸出，如下圖所示。

在單碼流輸出方式中，

第4n組數(shù)據(jù)是sensor第2n行像素的長曝光數(shù)據(jù)（LEF:R/Gr/R/Gr/...）；

第4n 1組數(shù)據(jù)是sensor第2n-4行像素的短曝光數(shù)據(jù)（SEF:Gb/B/Gb/B/....）；

第4n 2組數(shù)據(jù)是sensor第2n 1行像素的長曝光數(shù)據(jù)（LEF:Gb/B/Gb/B/...）；

第4n 3組數(shù)據(jù)是sensor第2n-3行像素的短曝光數(shù)據(jù)（SEF:Gb/B/Gb/B/....）；

以此類推。。。

需要注意的是，短曝光像素相比長曝光像素有固定的4行延遲，所以最先輸出的四組短曝光數(shù)據(jù)是無效的。

3.14.2 Interleaved

第二種模式又稱BME（Binned Multiplexed Exposure）。這種sensor每隔兩行的曝光時間分別設(shè)為短曝光和長曝光。然后融合長短曝光的兩幀圖像，成為行數(shù)減半的一幀WDR圖像?？臻g分辨率損失了一半，就好像是做了1x2binning，所以叫做BME。SONY IMX135 和IMX258使用了這一技術(shù)。

3.14.3 Chopped

第三種模式主要用于解決WDR的短曝光容易遇到flicker的問題，需要針對短曝光做特別的斬波支持，具體可參考本文1.10小節(jié)。

3.14.4 Lin-log

第四種模式是使像素具備log響應(yīng)曲線，自動壓縮輸入信號的動態(tài)范圍。當(dāng)輸入信號小于一定閾值時，像素表現(xiàn)為線性響應(yīng)（linear），當(dāng)輸入大于該閾值后，輸出的阻尼正比于信號強度，輸出表現(xiàn)為log特性。

當(dāng)PD表現(xiàn)為log特性時，電壓特性用以下公式描述。

這種像素設(shè)計的主要缺點是小信號時響應(yīng)較慢，信噪比低。另外，需要后端ISP 配合解碼才能使像素值恢復(fù)線性。

一家叫做New Imaging Technologies (NIT) 的法國公司有生產(chǎn)log像素的sensor，2014年公開的像素響應(yīng)特性如下圖所示。

3.14.5 Dual-diode

第五種模式又稱SME（ Spatially Multiplexed Exposure）。這種sensor在空間上以棋盤格的形式排列高感度和低感度兩種像素，通過算法處理融合一幀WDR圖像。

這種方式的主要缺陷是sensor的有效分辨率下降，合成后的圖像容易出現(xiàn)偽影。

寫到此處先悼念一下筆者的好友，Dr. Reberto Marchesini，一個特別溫和友善的意大利人，在2010年加入AV之前曾在某sensor公司設(shè)計WDR sensor，就是用的這種WDR模式。曾有導(dǎo)演用他設(shè)計的sensor拍攝了一部電影，就是下面這個。

Reberto 一生與摩托車有緣。他第一次去AV面試的路上在路口被私家車刮碰了一下，住了兩個月院。痊愈出院后第二次面試拿到了offer，他的小女朋友聽到喜訊立即辭去了waitress工作回家做起了全職主婦。一年后的12月，Reberto 榮升硬件設(shè)計主管，在職務(wù)生效的第一天早上，他騎摩托車又被私家車刮碰了一下，不幸的是這次是在高速公路上，私家車時速130公里，親愛的Reberto 同學(xué)當(dāng)場就撒手西去了，再未醒來。筆者每次回憶起與他共事的愉快經(jīng)歷都不勝唏噓，感慨世事無常。

3.14.6 LOFIC

第六種模式全稱是Lateral OverFlow Integration Capacitor，原理是每個像素都配置一個較大的電容用于收集因飽和而溢出的電荷，如下圖所示。

曝光時只要PD達(dá)到飽和阱容的一半（Skim level）就會觸發(fā)相關(guān)電路動作把電荷轉(zhuǎn)移到CS電容上。讀出時，首先讀取PD信號，隨即再讀取PD和CS電容和總信號。英文skim 常用語描述在水上撇油脂的動作，所以LOFIC 又稱為 Skimming pixel。

LOFIC 像素的主要挑戰(zhàn)是高效地制造大電容CS。2017年的報道是用6um像素實現(xiàn)了37.5萬電子的最大阱容。

2019年的報道是用2.8um像素實現(xiàn)了12萬電子的最大阱容。

另據(jù)報導(dǎo)，此種技術(shù)可以實現(xiàn)高達(dá)200dB的動態(tài)范圍。

3.14.7 Complementary carrier

第七種模式的原理是引入空穴載流子，由于CDTI工藝可以容易實現(xiàn)較大的電容，所以可以實現(xiàn)跨越式的阱容提升，2018年的報道是用3.2um的像素實現(xiàn)了75萬載流子的阱容。

參考文獻(xiàn)：

3.14.8 DCG

第八種模式由OmniVision提出，原理是每個像素可單獨控制增益（使用下圖中的CG信號），當(dāng)工作在HDR模式時，只進(jìn)行一次曝光，但分兩次讀出，一次使用HCG （high conversion gain）捕捉暗部信息，一次使用LCG（low conversion gain）捕捉亮部信息。

實驗表明這種新的像素結(jié)構(gòu)可以獲得很好的WDR性能和明顯的圖像質(zhì)量提升，如下圖所示。

DCG 像素的性能主要取決于像素的阱容。當(dāng)最大阱容為60K個電子時，最大動態(tài)范圍限制在96dB，與理想的>120dB 尚有一定距離，因此最好結(jié)合其他的HDR技術(shù)（如多次曝光HDR）以取得更好的效果。

3.14.9 Split-diode

第九種模式由OmnVision提出，原文如下。

Split-diode 將像素的光敏區(qū)（PhotoDiode, PD）分割成SPD 和LPD 兩個部分，分別負(fù)責(zé)短曝光（Short exposure）和長曝光（Long exposure）。SPD 主要用于捕捉強光信號，所以分配的面積很小，敏感度也很低；而LPD 主要用于捕捉弱光信號，所以面積大，且敏感度高，兩者的敏感度比值為6.5:1（約16.5dB）。

使用下圖中的DFD信號可以控制LPD 像素的增益（Conversion Gain, CG）。DFD 有效時，放大器SF 的輸入端電容變大，LPD 的CG 變低；DFD無效時LPD 的CG 恢復(fù)正常。SPD 讀出時DFD 必須有效，所以SPD 只有一種CG 選項。

3.15 Retinex 算法

人眼會針對局部的圖像特點進(jìn)行自適應(yīng)，既能夠增加局部的對比度，同時保留大動態(tài)范圍。1963年E. Land 提出了Retinex 理論作為人類視覺的亮度和顏色感知模型，后人在此基礎(chǔ)上發(fā)展了Retinex 系列算法，在彩色圖像增強、圖像去霧、彩色圖像恢復(fù)方面具有很好的效果，也可以用于WDR融合。由于這種算法計算比較復(fù)雜，目前在sensor 端還暫未見產(chǎn)品應(yīng)用，但是在圖像后處理領(lǐng)域已經(jīng)得到了非常好的應(yīng)用。隨著技術(shù)的發(fā)展可以預(yù)見Retinex 算法有一天將應(yīng)用在camera ISP上甚至是直接集成到sensor上。

關(guān)于Retinex 的前生今世可以參考筆者的主題文章

劉斯寧：Understanding ISP Pipeline - Tone Mapping87 贊同 · 13 評論文章

4 CMOS Sensor接口

一個CMOS sensor 至少會有兩個接口，一個控制接口用于與MCU通信接受配置參數(shù)，一個數(shù)據(jù)接口用于輸出像素數(shù)據(jù)。下圖是一個實際sensor的框圖。

下面時一款OVsensor的框圖，它的特點是自帶AWB和AEC算法，可以省去后端ISP的成本。

下面時一款19MP CMOS sensor的框圖，使用SPI控制接口和16-lane LVDS數(shù)據(jù)端口。

4.1 控制接口

目前主流的CMOS sensor多使用I2C串行總線接收主控MCU發(fā)來的的寄存器讀寫命令，I2C總線的最大時鐘頻率是400kHz。

I2C總線是在SCLK為高電平的中間點對數(shù)據(jù)信號SDAT進(jìn)行采樣，因此數(shù)據(jù)信號需要在SCLK為低電平期間完成變化。

I2C Read

I2C Write

4.2 數(shù)據(jù)接口

早期的sensor常采用DVP等并口方式傳輸圖像數(shù)據(jù)。隨著sensor分辨率不斷增加，體積不斷縮小，并口的局限性越來越明顯，難以滿足帶寬、體積、功耗等指標(biāo)要求，所以目前主流的CMOS sensor已轉(zhuǎn)為使用基于高速串行總線的MIPI接口，尤其是500萬像素以上的sensor幾乎全部采用MIPI接口。

在camera領(lǐng)域人們所說的MIPI接口一般是指MIPI CSI-2規(guī)范，該規(guī)范使用長、短兩種封包格式，其中長包用來傳輸圖像數(shù)據(jù)，短包用來傳輸HSYNC,VSYNC等控制信號。

MIPI 的物理層協(xié)議主要采用DPHY，目前有1.0,1.2,2.1等幾個版本。DPHY v1.2版本支持1.5Gbps傳輸速率，在采取deskew校準(zhǔn)的條件下最大支持2.5Gbps傳輸速率。

MIPI采用DDR (Double Data Rate) 的采樣方法，即一個始終周期內(nèi)對數(shù)據(jù)信號進(jìn)行兩次采樣，上升沿和下降沿各一次，如下圖所示。這樣的好處是相同時鐘頻率下數(shù)據(jù)帶寬翻倍，或者說數(shù)據(jù)帶寬相同的條件下時鐘頻率降至一半，有利于減少電磁輻射。

MIPI DPHY的數(shù)據(jù)帶寬需要略大于sensor的數(shù)據(jù)帶寬才能保證正常工作，而 DPHY 的數(shù)據(jù)帶寬取決與DPHY的時鐘頻率，所以需要根據(jù)sensor數(shù)據(jù)帶寬計算DPHY的時鐘頻率。

以1080P@25fps的應(yīng)用場景為例，sensor 實際輸出16bit的RAW數(shù)據(jù)，則數(shù)據(jù)帶寬的最低需求是

1920x1080*25*16=829.44Mbps

當(dāng)DPHY數(shù)據(jù)帶寬大于850Mbps時可以滿足sensor接入要求。

DPHY v1.2 版本支持1.5Gbps/lane，所以至少有兩種接入方法可以滿足要求

1. 接入1個lane，時鐘頻率425MHz，數(shù)據(jù)速率850Mbps；

2. 接入2個lane，共享同一時鐘，時鐘頻率225MHz，數(shù)據(jù)速率900Mbps。

關(guān)于MIPI的更多細(xì)節(jié)請參考本專欄的主題文章

劉斯寧：Understanding MIPI Interface48 贊同 · 9 評論文章

4.3 幀結(jié)構(gòu)

Sensor的實際像點數(shù)量通常比標(biāo)準(zhǔn)的圖像分辨率（如2048x1536，1920x1080等）要大一些，多出來的像點主要有兩種作用，

1. 黑像素，即dark pixel，像點上方覆蓋的是不透光的金屬，相當(dāng)于零輸入的情況，用于檢測像素的暗電流水平

2. 濾波像素，即filter pixel，很多ISP算法會使用3x3或5x5大小的濾波窗口，因此需要在輸出分辨率的基礎(chǔ)上增加若干行、列使濾波窗口內(nèi)全是有效像素。

Sensor 的輸出信號中除了像素數(shù)據(jù)之外，還需要一些控制信號用于時間同步。每一幀開始時會有一個FrameStart 同步信號，在一幀內(nèi)會用HSYNC信號指示哪些時鐘周期攜帶了有效像素，以及會用VSYNC信號指示哪些行中攜帶了有效像素。未攜帶有效像素的時鐘周期稱為消隱周期，又分為水平消隱（horizontal blanking）和垂直消隱（vertical blanking），如下圖所示。

以上圖為例，sensor輸出的每一行由以下單元組成

而sensor輸出的每一幀圖像由以下行組成

Sensor 處理每一行都需要若干個水平消隱周期用于處理一些內(nèi)部邏輯，在此基礎(chǔ)上用戶也可以增加消隱周期用于調(diào)節(jié)每行的曝光時間，起到間接調(diào)整幀率的作用。同理，sensor 每幀都需要若干個垂直消隱周期用于為下一幀做準(zhǔn)備，在此基礎(chǔ)上用戶也可以增加一些消隱周期用于調(diào)整幀率。

因此，當(dāng)sensor 主頻確定后，垂直消隱的行數(shù)是用戶控制sensor 輸出幀率的主要手段，而水平消隱的周期數(shù)是調(diào)整幀率的輔助手段。盡管有兩個參數(shù)都可以起到調(diào)整幀率的作用，但為了簡單起見，人們往往以SONY 廠家推薦的水平消隱參數(shù)作為參考標(biāo)準(zhǔn)，使sensor 每一行的行長（時鐘周期數(shù)）與SONY 同類型號保持一致，在此基礎(chǔ)上繼續(xù)調(diào)節(jié)垂直消隱，達(dá)到用戶需要的幀率。

需要注意的是，當(dāng)用戶配置的積分時間（行數(shù)）參數(shù)大于一幀的有效行數(shù)時，sensor 會把超出的行數(shù)自動視作額外的垂直消隱，因此會在兩幀之間插入額外的延時，導(dǎo)致sensor 輸出幀率下降。

再舉一個OV7725的例子，下圖是OV7725的VGA時序，其特點是

• 每一幀開始時同步信號VSYNC有效并持續(xù)4行時間（4 tline），

• 每一行開始時同步信號HSYNC有效并持續(xù)64個tp （1tp=2PCLK），

• 在HREF為高電平時每一行有效時間為640tp，無效時間為144tp，每一行時間為tline=784tp；

• 每一幀總行數(shù)是510，其中有效行數(shù)是480

• 采集一幀數(shù)據(jù)的時間是784*510tp。

4.4 曝光控制時序

一般而言，用戶向sensor 寄存器中寫入的控制參數(shù)并不時立即生效的，而且不同參數(shù)生效的具體時間也不盡相同。舉例來說，假設(shè)此時此刻sensor 正在采集第N幀之中，即第N幀的Frame Start 信號已經(jīng)過去而Frame End 信號尚未到來，如果此時向sensor 寄存器寫入新的積分時間，則對于某型號的Panasonic sensor，新的積分時間將在第N 2幀開始生效；如果此時向sensor 寫入新的增益，則新的增益將在第N 1幀即開始生效。這個問題會導(dǎo)致第N 1幀采用不正確的增益進(jìn)行曝光，畫面會出現(xiàn)瞬間閃爍，這是不可接受的。為了使積分時間和增益能夠同時生效，必須通過軟件把兩個參數(shù)分開配置，第N幀寫入積分時間，第N 1幀寫入增益，兩個參數(shù)在第N 2幀同時生效，如下圖所示。

在有一些sensor 中，如SONY IMX 477/377/277 等，模擬增益參數(shù)是立即生效的，而積分時間則是在第N 1幀生效，針對這種sensor，軟件只能在sensor的垂直消隱區(qū)配置積分時間和增益，兩者會同時在第N 1幀生效。在其它任何時間刷新模擬增益都會導(dǎo)致畫面從中間隨機位置發(fā)生割裂，上面部分采用舊的增益，下面部分采用新的增益，導(dǎo)致同一幅畫面亮度

為了減少軟件的負(fù)擔(dān)，很多sensor 都已經(jīng)支持一種影子寄存器，需要同步生效的參數(shù)都寫到同一組影子寄存器中，sensor 會在下一幀開始前將影子寄存器中的內(nèi)容刷新到工作寄存器中，并且保證所有參數(shù)都按照正確的時序生效，不需要軟件針對每一款sensor 設(shè)計不同的配置邏輯。

4.5 多sensor同步

有一類camera需要同時捕捉多路sensor的圖像，通過一定的算法將多路圖像拼接成一個整體，以獲得更大的視野。

此類camera對sensor捕捉圖像的時間同步性提出了很高的要求，否則運動的物體在位于兩個sensor接合部的時候容易出現(xiàn)各種詭異的現(xiàn)象，比如目標(biāo)突然從畫面上消失，或者同時出現(xiàn)在兩個畫面里。

sensor能夠同步出圖的一個必要條件是所有sensor共用同一個時鐘源。在此基礎(chǔ)上，不同的sensor會選擇不同的同步機制。

某些sensor（如AR0431）支持sensor在外部信號的觸發(fā)下工作，稱為Trigger模式，此模式需要使用一個GPI引腳，主控設(shè)備通過GPI引腳控制所有sensor同步啟動幀讀出時序。

AR0431 還支持一種名為Global Start 的同步模式，此模式需要將GPI引腳配置成菊花鏈形式，如下圖所示。主控設(shè)備（Host）通過I2C總線向所有sensor廣播start-streaming命令。由于各sensor是同時收到啟動命令，所以只要各sensor配置的幀周期嚴(yán)格一致，它們輸出數(shù)據(jù)的時序也會嚴(yán)格同步，并一致保持到永遠(yuǎn)。

4.6 Companding 模式

目前主流的CMOS sensor幾乎都是輸出Bayer mosaic格式的數(shù)據(jù)，數(shù)據(jù)的位寬一般有8位、10位、12位、14位等級別。Bayer格式和數(shù)據(jù)位寬一般是sensor的固定參數(shù)，sensor型號一旦確定后，后續(xù)的MIPI和ISP必須能夠支持或兼容該sensor的參數(shù)，否則系統(tǒng)將無法正常工作。

多數(shù)sensor支持線性輸出模式，即輸出的像素值與像素采集的光信號成正比。也有一些sensor支持companding輸出模式，對線性數(shù)據(jù)進(jìn)行壓縮編碼，使編碼數(shù)據(jù)可以用更少的帶寬傳輸，降低器件成本。

下圖使一種典型的companding模式，將12位線性數(shù)據(jù)（0~4095）壓縮編碼成10位數(shù)據(jù)（0~1023）。這種輸出方式要求后續(xù)的ISP必須支持decompanding，將10位數(shù)據(jù)恢復(fù)成12位數(shù)據(jù)才能獲得正確的圖像。

下圖說明了companding壓縮和decompanding解壓縮的原理。

5. 圖像偽影 (Artifact)

5.1 摩爾紋 (Moiré)

摩爾紋源于法語，moiré 是一種紡織品，它的紋路類似于水波。在物理學(xué)中，摩爾紋指的是兩列或兩列以上的波在空間中重疊時發(fā)生疊加，從而形成新波形的現(xiàn)象。在圖像處理領(lǐng)域，當(dāng)sensor像素陣列的空間頻率低于信號本身的頻率時j就會發(fā)生頻譜混疊(aliasing)，圖像上的表現(xiàn)就是出現(xiàn)摩爾紋，如下圖所示。

摩爾紋不僅影響紋路，還可能影響顏色，在圖像中引入偽彩，如下圖所示。

5.2 迷宮格 (Maze)

當(dāng)圖像中存在平行線時，經(jīng)常會出現(xiàn)平行線的邊緣剛好覆蓋半個像素的情況，后續(xù)的ISP算法必須要決定這個像素到底是屬于A物體還是B物體。就像拋硬幣一樣，ISP會有一半的概率做出相反的決定。如果平行線的間距足夠小，則會有相當(dāng)?shù)母怕拾l(fā)生兩條平行線搭接到一起的情況。如下圖所示。

5.3 紫邊 (Purple Fringing)

Chromatic Aberration

去紫邊鏡頭原理

5.4 眩光與鬼影 (Flare)

由強光造成的照片發(fā)白、形成光暈的現(xiàn)象稱作眩光(Flare)。當(dāng)光源在畫面上移動時，光暈也會在畫面上漂浮游動，忽上忽下，忽左忽右，有如幽靈一般，所以稱之為鬼影。我們知道鏡頭是由多枚鏡片構(gòu)成的，而鏡片則是采用玻璃或塑料等材料制造，如果不進(jìn)行特殊處理，鏡片表面會反射大約5%左右的入射光線。當(dāng)強光進(jìn)入鏡頭時，各枚鏡片的表面反射的光線會在鏡頭和攝像機內(nèi)部多次反射，最終在sensor上映射出一連串的光暈，這就是眩光和鬼影產(chǎn)生的原因。

5.5 面紗眩光 (Veiling glare)

實際的鏡頭內(nèi)總會存在一些雜散光。所謂雜散光就是那些不是按照設(shè)計路徑傳播的光線，它們在鏡片和鏡筒內(nèi)部多次反射和散射，最終會擴散到sensor上形成光暈。

當(dāng)鏡頭面向大面積強光的時候，雜散光的強度迅速提高，其作用范圍也不再局限于圖像的局部，而是像洪水一樣擴散到整個sensor面積上，整體抬升了像素值，造成全局性的對比度下降，圖像看起來像是蒙上了一層紗，所以這種現(xiàn)象稱為面紗眩光，下圖是一些實際的例子。

下面的英文解釋總感覺更加清晰一些。

Veiling glare?is a global illumination effect that arises from multiplescattering of light inside the camera’s body and lens optics.

Veiling glare?is light that's not intended to be part of the image, but ends up on the recording medium (film or sensor) anyway. It's caused by reflections and scattering of light by optical elements and the lens barrel. This produces an overlay of general brightness, which raises what should be the darkest parts, reducing overall image contrast.

導(dǎo)致雜散光的因素有如下幾個：

第一，鏡頭光學(xué)表面的反射。按照菲涅爾定律，凡是存在折射系數(shù)突變的地方就會存在反射，也就是只要鏡頭材料的折射系數(shù)不等于1（也就是空氣的折射系數(shù)）就會存在一定程度的反射，反射的程度與入射光線的角度有關(guān)。在鏡片上鍍增透膜可以降低反射系數(shù)，一般來說多層鍍膜的效果要優(yōu)于單層鍍膜，但是鍍膜會提高鏡片的成本，同時也存在收益邊界，即使是最優(yōu)秀的鍍膜技術(shù)也無法完全抑制菲涅爾反射。

第二，鏡片側(cè)面的反射。在鏡頭設(shè)計過程中，設(shè)計師往往只是考慮鏡片前后兩個光學(xué)表面對光線的折射，很少考慮鏡片的側(cè)面（也就是圓柱面）對光的影響。有些設(shè)計精良的鏡頭會把鏡片側(cè)面涂成全黑，阻斷雜散光在鏡頭內(nèi)傳播的路徑。因為世界上沒有反射系數(shù)等于0的全黑材料，所以也只能部分阻斷。

第三，光學(xué)表面的瑕疵。如劃痕，微粒，邊角處的崩碎，都會反射/折射額外的光線。

第四，鏡筒內(nèi)部的散射。盡管大多數(shù)鏡頭內(nèi)部都采用黑色消光材料制作，有些還在內(nèi)表面上加工了消光螺紋，但是仍舊無法完全消除雜散光的影響。

由于以上原因，當(dāng)畫面中存在強光源的時候，雜散光的影響會變得非常明顯，會極大地降低圖像質(zhì)量。

關(guān)于雜散光的更多內(nèi)容可參考知友的主題文章

王慶豐：光學(xué)系統(tǒng)的雜散光分析指引88 贊同 · 10 評論文章

5.6 條紋偽影 (Streaking Artifact)

Streak 原意是裸奔的意思，這里特指一些像素值溢出到相鄰區(qū)域形成的偽影。CCD sensor 存在blooming/smearing現(xiàn)象會引發(fā)streak，但是這種機制在CMOS sensor 中并不存在。

如果get="_blank">CMOS 圖像中出現(xiàn)streak偽影，則多半是由算法原因引起的（濾波器、編碼器等），比如下圖的例子。

5.7 等高線效應(yīng) (Contouring)

8 位二進(jìn)制數(shù)最多可以表示256個不同的灰度等級。當(dāng)sensor的精度低于8位時，sensor的輸出不能很好地表示漸變的顏色，就會出現(xiàn)下圖所示的等高線效應(yīng)。這種效應(yīng)在拍攝白墻等單色背景時尤其明顯。

另一方面，雖然現(xiàn)在的主流sensor都是10位或者12位的，但是最終圖像的存儲格式仍然是以8位為基礎(chǔ)的，比如H.264/H.265圖像編碼器需要YUV420作為輸入格式，其中亮度分量Y用8位數(shù)據(jù)表示，這就會不可避免地導(dǎo)致contour效應(yīng)。

為了緩解contour效應(yīng)，一種常用的辦法是在量化過程中人為地施加隨機噪聲，噪聲的作用是模糊原本清晰的量化邊界，使灰度漸變顯得更加平滑，這種技術(shù)叫做抖動（dithering），可以有效地緩和contour。另一種辦法則更加簡單直接，即用10~12位數(shù)表示YUV，從源頭上避免精度損失。這種方法涉及到編解碼、存儲、傳輸、顯示整個鏈條的設(shè)備升級，因此必然是一個緩慢的過程。

參考資料

https://clarkvision.com/articles/digital.sensor.performance.summary/clarkvision.com/articles/digital.sensor.performance.sum