Understanding CMOS Image Sensor(一)

轉(zhuǎn)自知乎Camera技術(shù)專家?劉斯寧

鏈接：https://zhuanlan.zhihu.com/p/100777121

前言

攝像機(jī)用來成像的感光元件叫做image sensor或imager。CMOS Image Sensor (CIS) 最早是美國(guó)噴氣推進(jìn)實(shí)驗(yàn)室（Jet Propulsion Laboratory, JPL）的一個(gè)研究項(xiàng)目，Dr. Eric Fossum 是業(yè)界公認(rèn)的CIS技術(shù)發(fā)明人。

1992年，Dr. Eric R. Fossum 在美國(guó)加州Pasadena(帕薩迪納)的噴氣推進(jìn)實(shí)驗(yàn)室工作，負(fù)責(zé)NASA一些雄心勃勃的太空探測(cè)器的建造和運(yùn)行。那一年NASA向員工們發(fā)出了一個(gè)頗為有趣的要求 ——“更快，更好，更便宜”。作為JPL圖像傳感器研究的負(fù)責(zé)人，F(xiàn)ossum 負(fù)責(zé)重新發(fā)明NASA太空船上的巨型相機(jī)。當(dāng)時(shí)在數(shù)碼攝影市場(chǎng)上已經(jīng)應(yīng)用了CCD技術(shù)，但是CCD需要消耗大量的能量和相當(dāng)多的支持芯片。Fossum 團(tuán)隊(duì)發(fā)現(xiàn)，如果能夠消除在成像陣列中反復(fù)轉(zhuǎn)移電荷的需要，那么這兩個(gè)問題都將解決，于是就誕生了CMOS有源像素傳感器。下圖是JPL 首個(gè)CMOS APS 芯片，只有28x28個(gè)像素，像素尺寸40umx40um，誕生于1993年4月。APS 是Active Pixel Sensor （主動(dòng)像素傳感器）的縮寫。

CMOS sensor 的本質(zhì)是自帶像素的相機(jī)芯片（"camera-on-chip"），每個(gè)像素都可以進(jìn)行自己的電荷轉(zhuǎn)換，從而顯著減少產(chǎn)生圖像所需要的能量和支持電路。此外，CMOS傳感器采用與大多數(shù)微處理器和存儲(chǔ)器芯片相同的材料和技術(shù)制造，使其更容易制造并且最具成本效益。

CMOS的確“更快，更好，更便宜”，但是NASA的反響卻并不樂觀。Fossum 說“人們完全投入了CCD陣營(yíng)，不相信這可以做到，甚至都沒興趣聽一聽?！钡荈ossum 不是一個(gè)輕易屈服的人，在四處尋求投資無果之后，1995年Fossum 和他的妻子以及一位JPL同事Sabrina Kemeny 用自有資金創(chuàng)辦了Photobit 公司。

一年后Fossum 離開了JPL全職加入Photobit，并邀請(qǐng)到了Georgia Tech 新博士畢業(yè)生Dr. Michael Kaplinsky 也加入Photobit 繼續(xù)推進(jìn)CMOS sensor 設(shè)計(jì)，這樣一干就是5年，其中的艱辛想必也是不堪回首。最終Photobit 于2001年被美光半導(dǎo)體（Micron Technology）收購(gòu)，成為了美光的CMOS業(yè)務(wù)部門，Michael 擔(dān)任美光SoC Group 經(jīng)理，主導(dǎo)了MT2000 （200萬像素CMOS sensor）和的后續(xù)300萬、500萬像素sensor的開發(fā)并取得了商業(yè)成功。

在美光收購(gòu)之前的2000年，F(xiàn)ossum 邀請(qǐng)了另一位高人Dr. Junichi Nakamura 加入了Photobit。Dr. Nakamura 畢業(yè)于東京大學(xué)，在奧林巴斯從事光學(xué)工作，并于1993~1996年間在JPL 做訪問學(xué)者參與CMOS sensor 的設(shè)計(jì)開發(fā)。這位仁兄后來去了日本美光，并出版了一本非常不錯(cuò)的專著，建議從事camera 行業(yè)的同仁都該買一本惠存。

2003年Dr. Michael Kaplinsky和一位美光同事Dr. Vladimir Berezin 預(yù)見到高清CMOS sensor 的時(shí)代已經(jīng)到來，他們必須做點(diǎn)什么，于是他們成立了Arecont Vision公司開始開發(fā)高清安防攝像機(jī)，Dr. Berezin 拿出了自己大部分積蓄，而Dr. Kaplinsky 向銀行抵押了自己的唯一住房以換取40萬美金的創(chuàng)業(yè)貸款，當(dāng)這筆錢還剩下4000塊的時(shí)候，Kaplinsky 和 Berezin 需要決定公司是準(zhǔn)備兩個(gè)月后關(guān)門，還是用這筆錢去Las Vegas參加世界安防展，去那里碰碰運(yùn)氣找找客戶，如果找不到也就認(rèn)命了。顯然Kaplinsky 和Berezin 賭對(duì)了，在經(jīng)歷了種種磨難之后終于通過展會(huì)找到了第一筆訂單，公司也迎來了轉(zhuǎn)機(jī)和接下來蒸蒸日上的發(fā)展。Kaplinsky 于2006年底邀請(qǐng)到了Purdue 新畢業(yè)生Mr Sining Liu（也就是筆者）加入Arecont Vision 從事CMOS高清攝像機(jī)的開發(fā)，使筆者有機(jī)會(huì)親身歷證了世界安防行業(yè)的繁榮伴隨著中國(guó)安防的崛起和外企的逐漸衰落。在曾經(jīng)屬于AV 的時(shí)代，筆者交付的camera 跟隨米軍部署在伊拉克戰(zhàn)場(chǎng)最前線，跟隨SpaceX Dragon 貨運(yùn)飛船進(jìn)入了太空，也曾在東方大國(guó)的國(guó)慶閱兵儀式中默默服役。

由于發(fā)展理念上的分歧，F(xiàn)ossum 后來離開了美光，攜巨款去南加州大學(xué)過起了安穩(wěn)的教授生活，憑借歷史上的貢獻(xiàn)還能時(shí)不時(shí)獲個(gè)伊麗莎白女王獎(jiǎng)。美光的Pasadena office最終全部關(guān)閉，其CMOS部門于2008年獨(dú)立出來成為了Aptina，后來又在2014年被ON Semiconductor 收購(gòu)。美光的Pasadena office關(guān)閉后催生了一批camera相關(guān)的創(chuàng)業(yè)公司，有的做高速camera，有的做運(yùn)動(dòng)camera，有的做手機(jī)camera，有的做安防camera，雖然各有各的艱辛，但也各有各的樂趣。Pasadena是一個(gè)特別美麗的城市，筆者周末開車閑逛時(shí)也會(huì)經(jīng)常路過JPL，總會(huì)想起這段歷史。。。

P.S. 據(jù)史料記載，1936年時(shí)，加州理工大學(xué)的五個(gè)學(xué)生在宿舍里制作火箭燃料，結(jié)果發(fā)生了爆炸，把宿舍墻炸出了一個(gè)洞。令人不可思議的是，學(xué)校竟然沒有收繳他們的作案工具，而是把他們趕到了郊外的一塊河谷上讓他們?cè)谀抢锢^續(xù)做實(shí)驗(yàn)，于是他們就用學(xué)校的資助在河谷上建了一個(gè)火箭實(shí)驗(yàn)基地，這就是JPL的前身。那五個(gè)學(xué)生中就有“中國(guó)導(dǎo)彈之父”錢學(xué)森。

1 CMOS Sensor 原理

1.1 簡(jiǎn)介

CMOS 是英文Complementary Metal Oxide Semicondutor 的縮寫，這是一種主流的半導(dǎo)體工藝，具有功耗低、速度快的優(yōu)點(diǎn)，被廣泛地用于制造CPU、存儲(chǔ)器和各種數(shù)字邏輯芯片?；贑MOS 工藝設(shè)計(jì)的圖像傳感器叫做CMOS Image Sensor (CIS)，與通用的半導(dǎo)體工藝尤其是存儲(chǔ)器工藝相似度達(dá)到90%以上。

CMOS技術(shù)的主要特點(diǎn)是成對(duì)地使用PMOS和NMOS兩種晶體管，PMOS負(fù)責(zé)拉高，NMOS負(fù)責(zé)拉低，兩者配合可以實(shí)現(xiàn)數(shù)字信號(hào)的快速切換，這就是Complementary的具體含義。下圖以最基本的反相器為例說明了CMOS技術(shù)的基本原理。

傳統(tǒng)的 CMOS 數(shù)字電路使用'0'和'1'兩種邏輯電壓控制晶體管的Gate從而控制晶體管的電流流動(dòng)，CMOS sensor 則是讓光子直接進(jìn)入晶體管內(nèi)部生成電流，光信號(hào)的強(qiáng)弱直接決定了電流的大小。這是CMOS sensor與CMOS 數(shù)字邏輯的主要區(qū)別之處。

CMOS sensor 通常由像敏單元陣列、行驅(qū)動(dòng)器、列驅(qū)動(dòng)器、時(shí)序控制邏輯、AD轉(zhuǎn)換器、數(shù)據(jù)總線輸出接口、控制接口等幾部分組成。這幾部分功能通常都被集成在同一塊硅片上，其工作過程一般可分為復(fù)位、光電轉(zhuǎn)換、積分、讀出幾部分，如下所示。

英文中的camera 實(shí)際上包含了兩類產(chǎn)品，一種是以拍攝靜態(tài)圖片為主的digital still camera，中文叫做相機(jī)，比如各種單反相機(jī)和微單類產(chǎn)品。

另一類是以拍攝連續(xù)視頻為主的video camera，中文叫做攝像機(jī)，比如各種安防監(jiān)控?cái)z像頭（video surveillance camera/CCTV security camera），運(yùn)動(dòng)DV，家用camcorder，以及錄制影視節(jié)目用的電影攝像機(jī)（cinema camera）。

用于手機(jī)的camera則有一點(diǎn)特別，拍照和拍視頻兩種功能使用都比較頻繁。

行車記錄儀和流媒體后視鏡屬于車載camera產(chǎn)品，也是近年來增長(zhǎng)比較快的市場(chǎng)。

在所有這些camera 產(chǎn)品中，CMOS sensor 是當(dāng)之無愧的核心元件，它位于鏡頭和圖像信號(hào)處理器（ISP）之間，把光信號(hào)轉(zhuǎn)換成ISP能夠處理的數(shù)字信號(hào)（電信號(hào)）。CMOS sensor 與鏡頭、ISP一起構(gòu)成了camera 的靈魂，決定了camera 的核心價(jià)值。

當(dāng)人們選購(gòu)camera產(chǎn)品時(shí)，可能第一關(guān)注的就是分辨率指標(biāo)，這個(gè)指標(biāo)也是很多普通消費(fèi)者唯一能夠理解的技術(shù)指標(biāo)。比如某手機(jī)支持1200萬像素?cái)z像頭，它背后的意義是該手機(jī)可能使用SONY IMX378 sensor，該sensor在抓拍靜態(tài)照片時(shí)輸出分辨率為4056x3040的完整尺寸圖像，而拍照之前的預(yù)覽視頻則一般默認(rèn)是1920x1080的FHD高清圖像。

有些眼尖的讀者已經(jīng)注意到這個(gè)問題了，為什么抓拍和預(yù)覽時(shí)圖像分辨率會(huì)不同？原因并不復(fù)雜，第一是省電，處理1200萬像素的預(yù)覽視頻消耗的能量基本上是200萬像素的6倍，手機(jī)的電量會(huì)迅速耗光；第二是成本，能夠處理1200萬像素預(yù)覽視頻的ISP復(fù)雜度更高，芯片面積更大，價(jià)格也更貴。第三是沒有必要，因?yàn)槭謾C(jī)屏幕的主流才剛剛達(dá)到200萬像素，更高的分辨率沒有實(shí)際意義?；谝陨显?，手機(jī)在抓拍和預(yù)覽時(shí)需要進(jìn)行模式切換，而每次切換模式需要為sensor和ISP重新配置大量的寄存器參數(shù)，一般會(huì)有2萬個(gè)左右，所以在切換瞬間預(yù)覽視頻會(huì)短暫黑屏，而實(shí)際抓拍到的圖像與預(yù)覽圖像會(huì)存在一個(gè)明顯的時(shí)間延遲。這個(gè)延遲會(huì)給用戶造成不少困擾，比如會(huì)使家長(zhǎng)們?cè)谧ヅ男『⒌谋砬闀r(shí)遇到一定的技術(shù)困難，會(huì)錯(cuò)過很多生活中的精彩瞬間。

在印刷行業(yè)中，描述一幅圖像的質(zhì)量通常會(huì)使用“像素密度”的概念，一種常用的定義是PPI(pixel per inch)或DPI(dot per inch)，即每英寸長(zhǎng)度上（1in=25.4mm）打印多少個(gè)像素點(diǎn)。Photoshop軟件中默認(rèn)的標(biāo)準(zhǔn)像素密度是72dpi，高質(zhì)量標(biāo)準(zhǔn)是300dpi。

下面的例子說明了不同像素密度對(duì)應(yīng)的圖像質(zhì)量效果。

一張A4 紙的尺寸是210mm×297mm，即8.27inx11.69in。當(dāng)以72dpi質(zhì)量打印圖像時(shí)，圖像的分辨率至少需要是595×842， 當(dāng)以300dpi質(zhì)量打印時(shí)，圖像的分辨率至少需要是2480×3508。

在我國(guó)一般采用國(guó)際單位體系，因此像素密度通常用PPM（pixels per meter）單位。在安防行業(yè)中，人們一般將圖像質(zhì)量從高到低分為5個(gè)等級(jí)，每個(gè)等級(jí)可以滿足一定的應(yīng)用需求，即

• Identification：圖像質(zhì)量?jī)?yōu)秀，圖像中提供了充足的細(xì)節(jié)，可以完全確定目標(biāo)的身份，并排除其它可能性

• Recognition: 圖像質(zhì)量良好，圖像提供的細(xì)節(jié)足以斷定圖像中的目標(biāo)是否與真實(shí)人物（或參考照片）屬于同一人物

• Classification：圖像質(zhì)量一般，圖像提供的細(xì)節(jié)僅能幫助分辨體貌特征，如男女、高矮、顏色等，但不能斷定全部細(xì)節(jié)

• Detection：圖像質(zhì)量差，僅能勉強(qiáng)分辨圖像中是否存在關(guān)注的目標(biāo)

• Useless：圖像質(zhì)量太差，不能說明任何問題

下圖說明的是人臉識(shí)別場(chǎng)景涉及的圖像質(zhì)量等級(jí)

下圖說明的是車牌識(shí)別場(chǎng)景涉及的圖像質(zhì)量等級(jí)

下圖依次說明了像素密度從大到小時(shí)圖像質(zhì)量的變化情況。

1.2 光電轉(zhuǎn)換

目前大部分的sensor都是以硅為感光材料制造的，硅材料的光譜響應(yīng)如下圖所示。

從圖中可以看到，硅材料的光譜響應(yīng)在波長(zhǎng)1000nm的紅外光附近達(dá)到峰值，在400nm的藍(lán)光處只有峰值的15%左右，因此硅材料用于藍(lán)光檢測(cè)其實(shí)不算特別理想。在實(shí)際CIS產(chǎn)品中，特別是在暗光環(huán)境下，藍(lán)色像素往往貢獻(xiàn)了主要的噪聲來源，成為影響圖像質(zhì)量的主要因素。從上圖中可以看到，裸硅在可見光波段的光電轉(zhuǎn)換效率大約是峰值的20%~60%，與入射光的波長(zhǎng)有關(guān)。

Sensor感光的基本單元叫做“像點(diǎn)”，英文是photosite，每個(gè)sensor上承載了幾百萬甚至更多的像點(diǎn)，它們整齊、規(guī)律地排成一個(gè)陣列，構(gòu)成sensor的像敏區(qū)。當(dāng)可見光通過鏡頭入射到像點(diǎn)并被光敏區(qū)吸收后會(huì)有一定概率激發(fā)出電子，這個(gè)過程叫做光電轉(zhuǎn)換，如下圖所示。

光子激發(fā)出電子的概率也稱為量子效率，由光激發(fā)產(chǎn)生的電子叫做光生電子或光電子。光子激發(fā)出電子會(huì)被像點(diǎn)下方的電場(chǎng)捕獲并囚禁起來備用，如下圖所示。這個(gè)電場(chǎng)的專業(yè)名稱叫做“勢(shì)阱”，后面會(huì)有專門討論。

像點(diǎn)的作用可以類比成一個(gè)盛水的小桶，它可以在一定范圍內(nèi)記錄其捕獲的光電子數(shù)，如果入射的光子太少則可能什么都記錄不到，如果入射的光子太多則只能記錄其所能容納的最大值，多余的光電子由于無處安置只能就地釋放，就像水桶盛滿之后再繼續(xù)接水就會(huì)溢出一樣。溢出的自由電子會(huì)被專門的機(jī)制捕獲并排空。像點(diǎn)曝光的過程，非常類似下圖所示的用很多小桶接雨水的過程。

1.3 像點(diǎn)微觀結(jié)構(gòu)

一個(gè)像點(diǎn)的解剖結(jié)構(gòu)如下圖所示。

從圖中可以看到，一個(gè)像點(diǎn)主要由五部分功能構(gòu)成

• 硅感光區(qū)，捕獲光子，激發(fā)光生電子

• 勢(shì)阱，用電場(chǎng)捕獲、存儲(chǔ)光生電子

• 電路，將電荷數(shù)量變換為電壓信號(hào)，以及復(fù)位、選擇、讀出邏輯

• 濾光膜，選擇性透過三種波長(zhǎng)中的一種

• 微透鏡，將入射光線會(huì)聚到感光區(qū)

1.4 Bayer Filter

為了能夠區(qū)分顏色，人們?cè)诠韪泄鈪^(qū)上面設(shè)計(jì)了一層濾光膜，每個(gè)像素上方的濾光膜可以透過紅、綠、藍(lán)三種波長(zhǎng)中的一種，而過濾掉另外兩種，如下圖所示。

像點(diǎn)之所以叫像點(diǎn)而不叫像素正式因?yàn)檫@了原因，一個(gè)嚴(yán)格意義上的像素，即pixel，是一個(gè)具備紅、綠、藍(lán)三個(gè)顏色分量的組合體，能夠表達(dá)RGB空間中的一個(gè)點(diǎn)。而sensor上的一個(gè)像點(diǎn)只能表達(dá)三種顏色中的一個(gè)，所以在sensor范疇內(nèi)并不存在嚴(yán)格意義上的像素概念。但是很多情況下人們并不刻意區(qū)分像素和像點(diǎn)在概念上的差別，經(jīng)常會(huì)用像素來指代像點(diǎn)，一般也不會(huì)引起歧義。

所有的像點(diǎn)按照一定格式緊密排成一個(gè)陣列，構(gòu)成sensor的像敏區(qū)，即color imaging array。像點(diǎn)陣列的微觀效果如下圖所示。

其中感光膜的布局叫做Bayer Mosaic Color Filter Arrary，通常簡(jiǎn)寫為Bayer CFA或CFA。

早期的工藝微透鏡之間是存在無效區(qū)域的，為了提高光能量的利用率，人們會(huì)努力擴(kuò)大微透鏡的有效面積，最終實(shí)現(xiàn)了無縫的透鏡的陣列。

索尼的Power HAD CCD 技術(shù)在Hyper HAD 技術(shù)基礎(chǔ)上縮小了微透鏡間距，進(jìn)一步提升了像素感光能力。

Bayer格式圖片是伊士曼·柯達(dá)公司科學(xué)家Bryce Bayer發(fā)明的，拜耳陣列被廣泛運(yùn)用與數(shù)字圖像處理領(lǐng)域。

不同的sensor可能設(shè)計(jì)成不同的布局方式，下面是幾種常見的布局

下面是光線通過微透鏡和Bayer陣列會(huì)聚到硅勢(shì)阱激發(fā)出光生電子這一物理過程的示意圖。需要說明的是光生電子本身是沒有顏色概念的，此圖中把電子的顏色只是為了說明該電子與所屬像點(diǎn)的關(guān)系。

Bayer格式的數(shù)據(jù)一般稱為RAW格式，需要用一定的算法變換成人們熟悉的RGB格式。

從RAW 數(shù)據(jù)計(jì)算RGB 數(shù)據(jù)的過程在數(shù)學(xué)上是一種不適定問題（ill-posed problem），理論上有無窮多種方法，因此與其說是一種科學(xué)，不如說是一種藝術(shù)。

下面介紹一種最簡(jiǎn)單的方法。這個(gè)方法考慮3x3范圍內(nèi)的9個(gè)像素，為簡(jiǎn)單起見只考慮兩種情形，即中心像素為紅色和綠色，其它情形同理。

上述過程常稱為Bayer Demosaic，或者Debayer，經(jīng)過此操作之后，每個(gè)像素就包含了3個(gè)完整的顏色分量，如下圖所示。

上述各種Bayer格式的共同特點(diǎn)是接受一種顏色而拒絕兩種顏色，因此理論上可以近似認(rèn)為光能量損失了2/3，這是非?？上У?。為了提高光能量的利用率，人們提出了RYYB的pattern，這是基于CMY三基色的CFA pattern，Cyan是青色（Red的補(bǔ)色），Magenta是品紅（Green的補(bǔ)色），Yellow是黃色（Blue的補(bǔ)色）。目前這種特殊的Bayer pattern已經(jīng)在華為P30系列和榮耀20手機(jī)上實(shí)現(xiàn)了量產(chǎn)。據(jù)華為終端手機(jī)產(chǎn)品線總裁何剛透露，為了保證RYYB陣列在調(diào)色方面的準(zhǔn)確性，華為付出了整整3年的時(shí)間。

1.5 成像與讀出

Sensor成像的過程可以比喻成用水桶接水的過程，如下圖所示。在這個(gè)比喻中，雨水即相當(dāng)于光子，每個(gè)水桶即相當(dāng)于一個(gè)像點(diǎn)，水桶收集雨水的過程即相當(dāng)于像點(diǎn)的曝光過程。當(dāng)收集到合適數(shù)量的雨水后，會(huì)有專門的工序統(tǒng)計(jì)每一個(gè)水桶收集到多少雨水，然后將桶倒空，重新開始下一次收集。

像點(diǎn)記錄光信號(hào)以及信號(hào)讀出的原理和計(jì)算機(jī)內(nèi)存的工作原理非常相似。sensor 會(huì)使用一個(gè)行選信號(hào)(Row Select)和一個(gè)列選信號(hào)(Column Select)來選中一個(gè)存儲(chǔ)單元(Pixel)，被選中的存儲(chǔ)單元與輸出放大器聯(lián)通，將其存儲(chǔ)的電荷數(shù)轉(zhuǎn)換成電壓值輸出到陣列外部。下圖說明了這個(gè)過程。

像素讀出的基本過程是

1. 每個(gè)像素內(nèi)置一個(gè)電荷/電壓放大器（Charge/Voltage Converter, CVC），將像素勢(shì)阱中電荷的數(shù)量轉(zhuǎn)換成電壓信號(hào)

2. 讀出邏輯選中某一行，該行所有像素的電荷/電壓放大器的輸出信號(hào)與列輸出信號(hào)聯(lián)通

3. 讀出邏輯繼續(xù)選中某一列，該列信號(hào)與可編程輸出放大器（Output Amplifier）聯(lián)通，被選中的像素的電壓信號(hào)被放大一定倍數(shù)

4. 放大后的電壓信號(hào)經(jīng)ADC轉(zhuǎn)換器后變成數(shù)字信號(hào)，在sensor 內(nèi)部經(jīng)過一定的ISP處理，最后通過一定的接口協(xié)議（如MIPI）輸出到外部

1.6 卷簾曝光（rolling shutter）

CMOS sensor 的典型曝光方式稱為卷簾曝光(rolling shutter)，其曝光過程涉及兩個(gè)控制信號(hào)，即

• 一個(gè)reset 信號(hào)負(fù)責(zé)將某一行像素清零，使其從零開始積累電荷

• 一個(gè)read 信號(hào)負(fù)責(zé)選擇某一行，導(dǎo)致該行被讀出

這兩個(gè)信號(hào)的工作時(shí)序是reset 信號(hào)在先，read 信號(hào)在后，之間相差一個(gè)恒定的間隔，這個(gè)間隔在空間上看是兩個(gè)信號(hào)前后相差固定的行數(shù)，在時(shí)間上看是一行像素被清零后，等待固定的時(shí)間后即被讀出。

一行像素在遇到reset 信號(hào)之前處于“自由曝光”的狀態(tài)，在遇到reset 之后開始“受控曝光”，在遇到read 信號(hào)之后又恢復(fù)到“自由曝光”狀態(tài)，如下圖所示。

下圖顯示了一個(gè)像素的曝光過程。

1. 一個(gè)曝光過程從RESET開始，RESET信號(hào)保持一段時(shí)間后像素清零，恢復(fù)高電壓

2. 像素自由積分，時(shí)間取決于用戶設(shè)置的曝光時(shí)間

3. 像素采樣，準(zhǔn)備讀出

Rolling shutter 在空間和時(shí)間上的關(guān)系如下圖所示。

顯然，sensor read 信號(hào)與 reset 信號(hào)之間的時(shí)間間隔就是每個(gè)像素能夠積累光信號(hào)的時(shí)間，也就是人們所熟知的“曝光時(shí)間（exposure time）”，在技術(shù)領(lǐng)域則更多會(huì)使用“積分時(shí)間（integration time）”這個(gè)術(shù)語，它一般是以行為單位的一個(gè)量，能夠精確地反映像素曝光過程的物理本質(zhì)和實(shí)現(xiàn)原理。

熟悉攝影的人都會(huì)知道，如果被拍攝的物體在相對(duì)攝像機(jī)運(yùn)動(dòng)，則需要使用比較短的曝光時(shí)間，否則畫面就會(huì)出現(xiàn)運(yùn)動(dòng)模糊，這是因?yàn)樵谄毓膺^程中物體不斷從一個(gè)像素位置轉(zhuǎn)移到另一個(gè)像素位置，物體運(yùn)動(dòng)速度越快，運(yùn)動(dòng)模糊越嚴(yán)重，如下圖所示。

在下圖的例子中，由于彈琴的手在不停地移動(dòng)位置，所以在很多像素上都會(huì)留下一點(diǎn)曝光的痕跡，卻沒有任何一個(gè)像素上停留足夠久的時(shí)間。

以拍攝人物為例，當(dāng)在畫面中以正常速度步行時(shí)，如果曝光時(shí)間大于1/30秒（約30ms）則畫面就開始出現(xiàn)運(yùn)動(dòng)模糊，下圖給出了一組經(jīng)驗(yàn)值，用于參考絕對(duì)曝光時(shí)間和運(yùn)動(dòng)模糊的關(guān)系。

在智能交通（ITS）領(lǐng)域，普通城市路面監(jiān)控一般要求曝光時(shí)間短于1/60s，否則拍到的車牌就開始模糊，如果曝光時(shí)間更長(zhǎng)則夜間的車燈就會(huì)出現(xiàn)明顯的拖尾現(xiàn)象，如下圖所示。

如果拍攝對(duì)象是鳥類這種動(dòng)若脫兔的目標(biāo)，則曝光時(shí)間不能超過1/125s（<10ms），否則很容易出現(xiàn)運(yùn)動(dòng)模糊。

當(dāng)然，攝影技術(shù)中還存在一個(gè)專門的分支叫做高速攝影和超高速攝影，通常用于捕捉高速飛行的子彈，或者火箭發(fā)動(dòng)機(jī)點(diǎn)火的過程，此時(shí)曝光時(shí)間需要鎖定在微秒甚至納秒級(jí)別。

1.7 Rolling shutter 效應(yīng)

卷簾曝光的最顯著特點(diǎn)是每一行像素開始曝光的時(shí)間點(diǎn)是不同的，是與像素位置有關(guān)的的函數(shù)。當(dāng)畫面中存在運(yùn)動(dòng)的物體時(shí)，物體在曝光過程中空間位置在不斷變化，畫面就發(fā)生變形，物體速度越快，變形就越嚴(yán)重。

下面的動(dòng)畫可以很好地說明這種效果的成因。

正常螺旋槳

形成原因

這種形變通常稱為RS效應(yīng)，或者“果凍效應(yīng)”(Jello effect)，指圖像出現(xiàn)扭曲、傾斜等現(xiàn)象，仿佛進(jìn)入了“時(shí)空扭曲”的世界一般。

與rolling shutter 做對(duì)比的是CCD sensor 采用的全局快門 (global shutter)，其特點(diǎn)是sensor 上所有像素是在同一瞬間全部開始曝光的，因此sensor 采集的是物體在同一時(shí)間點(diǎn)的畫面。下圖是兩種曝光方式的對(duì)比。

一般來說，RS效應(yīng)存在三種表現(xiàn)形式，前兩種屬于畫面畸變，合稱果凍效應(yīng)。

• 整體傾斜（skew），如下圖車輛的例子

• 圖像搖擺（wobble），如下圖所示

在無人機(jī)、車載等應(yīng)用中，camera本身隨載具平臺(tái)一起運(yùn)動(dòng)，平臺(tái)的高頻機(jī)械振動(dòng)會(huì)對(duì)成像造成較大擾動(dòng)，圖像產(chǎn)生搖擺。即使在安防場(chǎng)景中，如果camera附近存在振動(dòng)源（如空調(diào)電機(jī)）也會(huì)產(chǎn)生同樣的問題。

• 部分閃光（partial flash），如下圖所示
  普通攝影閃光燈的閃光時(shí)間 通常只有幾個(gè)毫秒，顯著短于一幀圖像的成像時(shí)間，因此只有一部分畫面能夠被閃光照亮。

微軟研究院的Simon等人使用光流法追蹤搖擺像素的運(yùn)動(dòng)矢量，從而對(duì)搖擺進(jìn)行校正。

針對(duì)手機(jī)拍攝的場(chǎng)景，斯坦福的Alexandre等人使用手機(jī)自帶的加速度傳感器提取camera的加速度信號(hào)用于補(bǔ)償圖像擺動(dòng)。

1.8 積分時(shí)間 (integration time)

用戶在使用camera拍攝時(shí)需要根據(jù)場(chǎng)景特點(diǎn)決定所采用的曝光時(shí)間（exposure time），或者讓camera 在設(shè)定范圍內(nèi)自動(dòng)選擇最合適的曝光時(shí)間，這時(shí)所涉及的曝光時(shí)間概念主要與拍攝場(chǎng)景有關(guān)，一般是以毫秒為單位計(jì)算的絕對(duì)時(shí)間，也是用戶比較熟悉和容易理解的概念。

而sensor 中用來控制曝光長(zhǎng)短的寄存器參數(shù)稱為積分時(shí)間，一般是以行為單位的，這個(gè)概念是源于sensor 的技術(shù)特性，一般不需要用戶去理解。

曝光時(shí)間和積分時(shí)間存在確定的換算關(guān)系。比如說int_t=159，指的是sensor reset 信號(hào)和read 信號(hào)之間的間隔為159行，而每行所占的絕對(duì)時(shí)間（line_time）與sensor 主頻(pixel clock, PCLK)的和每一行包含多少像素(行長(zhǎng) )有關(guān)，具體公式是：

line_time=h_size / pclk

其中h_size 為行長(zhǎng)，以PCLK 數(shù)為單位，1/pclk 為一個(gè)時(shí)鐘周期，即掃描一個(gè)像素需要花費(fèi)的絕對(duì)時(shí)間

因此曝光時(shí)間與積分時(shí)間的換算公式如下：

exposure time = int_t * line_time

舉例來說，假設(shè)一個(gè)1080p sensor PCLK=76MHz，每行配置成2000個(gè)PCLK（由有效像素和blanking組成），則有

line_time = 2000 / 76MHz = 26.32 us

如果某個(gè)場(chǎng)景需要10ms曝光時(shí)間，則sensor 積分時(shí)間應(yīng)如下計(jì)算，

int_t = 10000us / 26.32us = 379.9 （行）

顯然這個(gè)例子可以安全地將sensor 寄存器配置為380行，就能得到10ms的曝光時(shí)間。

但是當(dāng) int_t < 2 時(shí)問題就會(huì)變得有些復(fù)雜。假設(shè)計(jì)算出的理想積分時(shí)間是1.5行，此時(shí)自動(dòng)曝光算法就很容易產(chǎn)生振蕩，不停在1行和2行之間切換而無法穩(wěn)定在一個(gè)固定值。因此有些sensor 會(huì)支持分?jǐn)?shù)行，可以幫助解決這個(gè)問題。

1.9 工頻閃爍 (flicker)

工頻閃爍，通常發(fā)生在室內(nèi)場(chǎng)景，曝光時(shí)間設(shè)置如果不是光源能量周期的整數(shù)倍，則圖像不同位置處積累的信號(hào)強(qiáng)度不同，并呈周期性變化，這是單幀圖像的情況。在視頻序列上，如果滿足一定條件，視頻會(huì)出現(xiàn)條紋模式在垂直方向上緩慢移動(dòng)。

工頻閃爍的形成原因與CMOS sensor rolling shutter的工作原理相關(guān)，并且受交流電的頻率影響。對(duì)于同樣的積分時(shí)間t，sensor不同位置處的像點(diǎn)開始積分時(shí)所處電信號(hào)的相位不同，所以同樣時(shí)間t 內(nèi)能夠積累的光子數(shù)也不同。如下圖所示。

flicker 的本質(zhì)是像素曝光起始點(diǎn)相對(duì)交流電的相位關(guān)系在不斷變化。這個(gè)問題不僅存在于一幀圖像內(nèi)部，在幀與幀之間也存在同樣的問題。

以電頻率50Hz為例，如果sensor 工作在25或50fps（frame per second），則幀頻率剛好與電頻率同步，每幀圖像的flicker 表現(xiàn)（明暗位置）與上一幀完全相同，所以明暗條紋在視頻上是靜止不動(dòng)的。如果sensor工作在30或60fps，則每幀的flicker與上一幀會(huì)產(chǎn)生固定的相移，視頻上的明暗條紋圖樣會(huì)在畫面垂直方向上緩慢移動(dòng)。

在室內(nèi)，為了避免工頻閃爍，曝光時(shí)間應(yīng)設(shè)置為光源能量周期的整數(shù)倍。在中國(guó)，光源能量周期為10ms(交流電周期的1/2)，在美國(guó)則為8.3ms，調(diào)整曝光時(shí)間時(shí)要特別注意這一點(diǎn)。

1.10 與CCD的對(duì)比

CCD技術(shù)的發(fā)展起源于1960年代，在2000年以前曾是image sensor 的主流解決方案，下圖對(duì)比了CCD和CMOS讀出方式的主要區(qū)別。

如圖所示，CCD 器件通常只有一個(gè)電荷-電壓轉(zhuǎn)換器（Charge-Voltage Converter），當(dāng)sensor讀出像素?cái)?shù)據(jù)時(shí)，每一行像素中積累的電荷需要在行電壓的控制下一步步“蠕動(dòng)”到下一行，直到最終抵達(dá)陣列所屬的行緩沖（row buffer），然后開始在列電壓的控制下繼續(xù)一步步“蠕動(dòng)”到陣列出口處的電荷-電壓轉(zhuǎn)換器，完成讀出過程。

CCD的一個(gè)主要優(yōu)點(diǎn)在于所有像素共享同一個(gè)電荷-電壓轉(zhuǎn)換器，所以像素一致性非常好。相比之下get="_blank">CMOS每個(gè)像素都有自己專用的電荷-電壓轉(zhuǎn)換器，一致性很不容易控制。

當(dāng)CCD像素?cái)?shù)多于200萬時(shí)，所有像素共用一個(gè)電荷-電壓轉(zhuǎn)換器會(huì)嚴(yán)重影響讀出速度，所以此時(shí)會(huì)考慮把像素設(shè)計(jì)成兩個(gè)或四個(gè)陣列，每個(gè)陣列配備專用的行緩沖和電荷-電壓轉(zhuǎn)換器，可以成倍加快讀出速度。

寫到此處筆者回憶起一個(gè)沉痛的往事。筆者一好友曾試圖對(duì)接某國(guó)產(chǎn)高端sensor，由于自己研發(fā)實(shí)力有限，便求助于北京的朋友空閑之余幫忙做做，結(jié)果不出意料地半年沒什么結(jié)果。朋友有點(diǎn)著急了，付了50萬研發(fā)費(fèi)委托深圳本地的公司幫忙開發(fā)，該公司的主要業(yè)務(wù)是設(shè)計(jì)生產(chǎn)國(guó)產(chǎn)FPGA，接單的主要?jiǎng)恿κ峭茝V自家的FPGA。sensor出圖到是比較順利，但是朋友很快發(fā)現(xiàn)國(guó)產(chǎn)FPGA 體積大功耗高，無法滿足量產(chǎn)需求，于是朋友要求承接方提供源代碼以遷移到X家FPGA，不料承接方以合同金額不包括源代碼為由拒絕提供，于是50萬瞬間沉沒。萬般無奈朋友只好雇人自己開發(fā)FPGA，如是就遇到了sensor四個(gè)陣列輸出不同步的問題，廠家也講不清楚四個(gè)陣列的輸出時(shí)序到底該如何預(yù)測(cè)，好像是sensor想輸出誰就輸出誰，什么時(shí)候高興什么時(shí)候輸出。這就給FPGA設(shè)計(jì)增添了巨大的難度，朋友雇的年輕人無法應(yīng)對(duì)如此巨大的技術(shù)挑戰(zhàn)，堅(jiān)持半年后離職，項(xiàng)目最終流產(chǎn)。

1.11 改進(jìn)的曝光方式

Interlaced 曝光

為了改善rolling shutter 曝光方式存在的問題，有人提出了Interlaced 曝光和讀出方式，如下圖所示，新的曝光順序?qū)⒁粠鸱殖?組，第一組包含行號(hào) {0,8,16,24...}，第二組包含行號(hào) {1,9,17,25,...} ，以此類推，第八組包含行號(hào) {7,15,23,31,....} 。這種曝光方式的優(yōu)點(diǎn)是組與組之間的曝光延時(shí)為一幀時(shí)間的八分之一，以1080p@30fps 為例，一幀的讀出時(shí)間大致在28ms左右，在新的曝光方式下像素間的最大曝光延時(shí)僅為3.5ms，可以更好地捕捉運(yùn)動(dòng)場(chǎng)景。

斬波曝光（chopped）

在智能交通領(lǐng)域常會(huì)遇到拍攝交通信號(hào)燈的需求。大部分信號(hào)燈直接使用220V市電供電，因此會(huì)存在10ms的光能量周期（美國(guó)是110V，周期8.3ms）。偶爾也會(huì)有信號(hào)燈廠家偷工減料，使用半波整流器件將電頻率的負(fù)半周過濾不用，這就導(dǎo)致信號(hào)燈每亮10ms之后就會(huì)熄滅10ms。雖然人眼看不出來，但sensor看的非常清楚。P.S. 遇到這種偷工減料的信號(hào)燈，一般可以要求業(yè)主更換信號(hào)燈供應(yīng)商，并拉黑原供應(yīng)商。

由于信號(hào)燈存在10ms的明暗周期，當(dāng)sensor曝光時(shí)間很短時(shí)，就會(huì)遇到某一幀圖像里信號(hào)燈碰巧全都不亮的尷尬場(chǎng)景，如下圖所示。

一般在晴朗的夏天，sensor曝光時(shí)間可能會(huì)需要短于1ms才能保證畫面不過曝，此時(shí)遇到信號(hào)燈近似熄滅的概率已接近50%。而在夜晚則曝光時(shí)間通常需要大于10ms，所以不會(huì)遇到信號(hào)熄滅的問題，相反會(huì)遇到信號(hào)燈光太強(qiáng)以致sensor過飽和，全部信號(hào)變成白燈的問題。

除了紅綠燈之外，很多汽車上使用的LED大燈或者信號(hào)燈也是有頻率的，而且平均點(diǎn)亮的時(shí)間（占空比，duty cycle）可能更短，如下圖所示，這種情況sensor抓拍到LED（信號(hào)）燈熄滅的概率會(huì)更大。

為了緩解這個(gè)問題，有人提出了斬波曝光的工作模式，其原理是把正常曝光所需的曝光時(shí)間（比如1ms）分散到11ms的固定時(shí)間間隔內(nèi)執(zhí)行，通過多次短暫曝光的效果累加實(shí)現(xiàn)1ms等效曝光時(shí)間，且能保證采樣到信號(hào)燈最亮的時(shí)刻，如下圖所示。

這種方法的好處是增大了捕捉到信號(hào)燈點(diǎn)亮的概率，但是由于捕捉的時(shí)間短，所以畫面上信號(hào)燈的亮度會(huì)比正常的要弱。所以這種方法并沒有完美解決問題，只是一種緩解（mitigation）的方法。

1.12 畫幅

中畫幅的sensor典型尺寸為44或53mm寬，3千萬~1億像素。

全畫幅的sensor典型尺寸為35mm寬，和早期的電影膠片一樣大，具有1千萬~5千萬像素不等。

APS-C sensor 典型尺寸22mm寬，是單反相機(jī)的主力軍，具有6百萬~5千萬像素不等。

4/3英寸畫幅sensor，典型尺寸17.3mm寬，微單產(chǎn)品的主力，具有8百萬~2千萬像素不等。

1英寸畫幅sensor，典型尺寸13.2mm寬，用于單反和高端安防產(chǎn)品

1/3~2/3英寸sensor，便攜camera和安防camera的主力軍，1百萬~2千萬像素不等。

1/4~1/2英寸sensor，主要用于手機(jī)camera模組，8百萬~4千萬像素不等。

參考資料

https://clarkvision.com/articles/digital.sensor.performance.summary/clarkvision.com/articles/digital.sensor.performance.summary/