本文介紹一個依靠憶阻器執(zhí)行像素級自適應背景提取算法的成像傳感器架構。內置光頻轉換器(L2F)的像素是圖像處理的核心組件，其輸出的與光強成正比的數字脈沖被施加到憶阻器后，憶阻器電阻將會發(fā)生相應變化。另外兩個憶阻器用于保存動態(tài)邊界，邊界外的光生信號行為被認為是異常，即意外快速變化。與全CMOS成像傳感器相比，基于憶阻器的解決方案可取得更小的像素間距和非易失性存儲功能，讓設計人員能夠使用可編程時間常數建立圖像背景模型。
1.前言
過去的幾十年，業(yè)界圍繞CMOS架構視覺傳感器理論進行了大量廣泛的研究和探討，旨在于在成像早期階段處理圖像，從場景中提取最重要的特征，如果換作其它方式達到同樣目的，例如，使用普通計算技術，則需要為此花費昂貴的成本[1],[2],[3],[4],[5],[6]。在這個方面，運動偵測是最重要的圖像特征之一，是多個復雜視覺任務的基礎。本文重點介紹時間對比概念，這個概念在很多應用中特別重要，包括交通監(jiān)控、人體運動拍照和視頻監(jiān)視[2], [4], [5], [7]。這些應用要求圖像偵測精確并可靠，形狀偵測準確，變化反應及時。此外，運動檢測還必須靈活地適應不同的工作場景和光強條件。背景提取是目前最被認可的運動偵測方法。背景提取就是生成一個背景估算值，然后逐幀更新。分析運動類型，并將其與場景中特定對象關聯，以便進行更高級別的處理，在這個過程中，光強變化無疑是幫助我們發(fā)現運動的第一個線索。因為可能會在某一時間點意外偵測到所有像素的變化，其中包括光線、陰影、噪聲引起的變化，相對于過去，像素變化過快時，應該考慮的潛在變化。因此，應該在像素級實現一種低通存儲器，跟蹤像素對比變化，并在像素行為變化時發(fā)出報警。
本文介紹如何利用憶阻器實現上述算法。在上個世紀70年代，蔡少棠教授從理論上預言存在一種叫做憶阻器的無源器件，2008年惠普實驗室演示了這種無源器件的物理模型，顧名義，憶阻器是一種可變電阻器，其導通狀態(tài)能夠記憶以前流經憶阻器的電流歷史。
本文主要內容如下：下一章介紹與輸入偏壓有關的憶阻器行為，特別是基于脈沖的編程，這是本文的研究基礎。第三章介紹像素工作原理，第四章重點介紹像素實現。第五章介紹仿真結果，第六章是結論。
II.憶阻器行為
如前文所述，憶阻器可以視為一個時間可變的電阻器，電阻值取決于以前流經憶阻器的電流值。
圖1：憶阻器和簡化等效電路圖。圖a:TiO2憶阻器結構;圖b:等效電阻器電路
首次提出的憶阻器概念的是蔡少棠教授，在推理無源電路理論的等式對稱性依據時，他認為憶阻器是電阻器、電容器、電感器之外的第四個基礎無源器件[8]。在發(fā)現憶阻器物理模型后，很多人想利用憶阻器令人興奮的記憶特性開發(fā)模擬集成電路?；萜諏嶒炇议_發(fā)的首個物理模型基于TiO2的兩個區(qū)[9]：一個高電阻的非摻雜區(qū)和一個有高導電氧空穴TiO2-x的摻雜區(qū),這兩個區(qū)夾在兩個金屬電極板的中間，如圖1a所示。當向憶阻器施加外部偏壓時，摻雜層和非摻雜層之間的邊界就會移動，位移是所施加的電流或電壓的函數，因此，帶電荷的摻雜區(qū)的漂移導致兩個電極之間電阻變化 [10]。對于簡單的電阻導電情況，下面等式定義了電壓電流關系：
其中，RON是摻雜原子濃度高的半導體薄膜的高導電區(qū)的電阻;ROFF是高電阻非摻雜區(qū)的電阻;D是憶阻器的長度;狀態(tài)變量w(t)是摻雜比，u是摻雜遷移率。等式(2)積分運算得出w(t)公式：
將(3)代入(1)，取得憶阻值。
若RON≤ROFF，憶阻值可用下面等式表達：
利用參考文獻[9]取得與上面等式相關的參數，使用Verilog-A語言開發(fā)一個憶阻器行為模型，通過電路仿真，使用下列參數驗證該模型：RON = 200Ω，ROFF =200KΩ，u2= 10-10cm2S-1V-1，D = 10nm。只要系統在MЄ (RON , ROFF )邊界內，憶阻器就會表現出對稱行為。當觸達任何一個邊界時，憶阻器將會像線性電阻一樣動作，將邊界電阻保持到輸入極性變反為止[9], [11]。圖2所示是典型的憶阻特性曲線，憶阻器這些有趣行為共同構成憶阻器或各類憶阻性設備的基本特征[12]，圖2a是施加電壓及相應電流對時間t的曲線。圖2b所示是電流-電壓特性曲線。從圖中不難看出，當w≤w0時，滯后出現，當w≫w0時，滯后縮短。圖2c是憶阻器在不平衡輸入信號條件下的行為曲線，我們觀察到，在前三個周期內，w(t)值逐漸升高，這是在一定時間內凈電荷量累加的結果。在連續(xù)施加三個周期的極性相反的信號后，w(t)降至初始狀態(tài)?？傊鐖D2a和2b所示，任何對稱交流偏壓都會導致雙環(huán)電流-電壓滯后現象，高頻時下降至一條直線。此外，對于偏壓出現的任何非對稱，如圖2c和2d所示，我們觀察到一個多環(huán)電流電壓滯后，隨著電流升高，多環(huán)電流電壓滯后更加明顯。
[!--empirenews.page--]
圖2：電壓驅動式憶阻器的行為仿真結果。在圖a中，施加的對稱輸入電壓(紅色)和相應電流(藍色)是時間的函數。圖b是對稱輸入電流-電壓特性曲線。下降線對應曲度更高的曲線。在圖c中，非對稱輸入施加電壓(紅色)和相應電流(綠色)是時間的函數。圖d是非對稱輸入電流-電壓特性曲線。圖a中的施加電壓是±v0 sin(w0t)，而圖c中的施加電壓是±v0 sin2(w0t), 其中w0 = 2ￗf0 = 2ￗu2/D2。
憶阻器初始電阻通常很大，施加極性相反的連續(xù)或脈沖電壓可使電阻線性降至一個低電阻的谷底，如圖3 [13], [14], [15]所示。施加極性相反的電壓可使憶阻器恢復初始高電阻，恢復時間通常比直接恢復方法短很多[9]。在圖3中，憶阻器的初始電阻值很高，向憶阻器施加一序列占空比可控的脈沖頻率wp=5w0、電流幅度ip = 160uA的電流脈沖，以此可以向憶阻器寫入數據。占空比越高，流經憶阻器的電荷量就越大，導電速度也就越快。憶阻器具有脈沖式非線性編程功能，用光頻率轉換器作為編程信號源，用與光強成正比的電流脈沖驅動憶阻器，可實現光阻(L2R)編碼。如圖6的像素架構示意圖所示。除其獨特的非線性編程外，憶阻器還可視為兼有電容器的存儲效應與電阻器的無漏電性。所有這些，結合其小尺度和易實現性，使其成為一個最有趣的模擬信號處理應用元器件，不過，本文只討論如何在緊湊的像素內使用憶阻器執(zhí)行背景提取功能。
圖3：在使用一系列不同占空比的編程頻率wp=5w0、電流幅度ip = 160uA的電流脈沖給阻器編程時的憶阻-時間變化速度
III. 工作原理
在討論傳感器架構之前，需要描述一下像素級自適應背景提取算法[16]。我們考慮成像傳感器的一個像素給一個特定場景點編碼的情況。該像素以幀速率fps采集光強，并將其轉換成電壓VS(nT)，其中T = 1/fps是像素傳感器采樣時間，整數n 表示幀個數。在傳感器工作過程中，像素采集的光強呈動態(tài)變化，變化速率取決于場景內運動類型或環(huán)境光的變化。通過監(jiān)視信號動態(tài)變化和振幅，每個像素需要檢查場景中是否發(fā)生潛在異常。為此，必須從現有圖像(Fi)提取背景(B)，然后比較最終差值與正確的閾值(TH)：
達到閾值的像素被標記為熱像素，即在場景中檢測到一個潛在的報警;未達到閾值的像素被識別為冷像素?？紤]到背景易于變化，根據實際應用情況，選用復雜程度不同的模型：
l 幀差：假定背景值等于過去圖像值(B = Fi-1)。這是一個簡單易懂的方法，不過不是非常可靠。事實上，幀差對閾值(TH)、幀速率和物體速度非常敏感：
l 簡單移動平均法：考慮到在若干個幀內的背景變化。這種方法需要n個幀緩沖器，但是占用非常多的存儲容量和運算性能:
l 指數移動平均法: 該方法需要一個無限脈沖響應濾波器，應用了指數降低加權系數(0<a<1)概念：
該方法的主要優(yōu)點是，不需要增加存儲器，通過改變學習速率值a，即可微調濾波器。
考慮到上述方法的硬件實現問題和穩(wěn)健性，我們利用指數移動平均法和兩個電壓閾值而非參考文獻(6)的一個閾壓建立了一個背景模型。閾壓定義了信號可以安全變化(冷像素)的電壓范圍，超過這個安全范圍(高于最高閾壓或低于最低閾壓)，信號被視為異常(熱像素)，可能會觸發(fā)一次報警。
圖4：在像素級執(zhí)行背景動態(tài)提取算法
圖4所示是背景提取算法的工作原理。該示例是一個單像素在20幀期間的工作情況。黑色曲線表示像素獲取的信號電壓VS，紅線(Vmax)和藍線(Vmin)波形是界定灰色區(qū)上下邊界的兩個閾壓值的集合，在灰色區(qū)域內，信號可以自由變化，不會出現任何報警。信號電壓VS經低通濾波后生成信號，每個濾波器在兩個時間常量(tH<tL)之間開關操作，具體情況取決于下面條件：
其中，等式(10)和(12)分別表示Vmax和Vmin的熱像素條件，而等式(11)和(13)則表示冷像素條件。兩個閾值的行為界定了一個根據信號動態(tài)在一段時間內變化的灰色區(qū)域，灰色區(qū)域代表VS未發(fā)現異常條件的運動的電壓范圍，例如，如果VS突然從亮變暗，越過灰色區(qū)域上邊界(Vmax)，則生成一個熱像素。
圖5：兩個一階低通濾波器生成圖4中的兩個閾壓。[!--empirenews.page--]
因此，當Vmax試圖快速觸達VS過程中，Vmin也在做同樣的事情，只不過速度較慢。這里，灰色區(qū)域快速變大。在若干個幀后，兩個閾壓限制VS，吸收全部信號變化，這樣不會再產生任何熱像素。從此，灰色區(qū)域恢復窄狀和最大像素敏感度。
圖6：利用內部三個憶阻器執(zhí)行動態(tài)背景提取的像素示意圖
IV. 像素實現
可以用兩個理想的低通濾波器來實現等式(10)-(13)。如圖5所示，LPF1實現等式(10)和(11)，LPF2實現等式(12)和(13)。假設理想二極管D1-D4(無電壓降)，且RL> RH, 每個模塊實現兩個不同的一階阻容濾波器，TH = RHC，且TL = RLC, 其中RH>> RL。監(jiān)視場景中的事件需要從幾秒到幾十秒的大范圍時間常數濾波器，這意味R和C應該分別是兆歐和微法量級的電阻器和電容器。每個模塊(LPF1, LPF2)都必須能夠從一個時間常數切換到另一個時間常數，從而取得自適應算法所需的行為特性。為取得一個高效的視覺傳感器架構，這種雙邊峰值檢測和濾波操作必須在像素附近的位置完成。為此，有些人提出定制CMOS傳感器解決方案[17],[7],[18],使用開關電容器技術模擬每個像素里面的兩個濾波器。不過，這種設計方法有以下兩個缺點：(a)兩個閾壓值在模擬存儲器內的保留時間達不到應用的求;(b)充當模擬存儲單元的電容器占用的芯片面積過大，影響像素間距變小。為解決這些主要問題，我們探討能否用一個憶阻器代替濾波器的部分功能，發(fā)揮其非易失性存儲和納米級尺度的優(yōu)勢。此外，通過數字脈沖(電壓或電流)信號很容易控制憶阻器的電阻，按照圖4的工作原理，我們的像素解決方案依靠三個憶阻器(MS, Mmax，Mmin)保存與信號VS成正比的電阻值和兩個閾壓Vmax和Vmin。像素解決方案的原理示意圖如圖6所示。光頻轉換器 (L2F)模塊將留在像素上的光強轉換成固定脈寬(△T)且頻率與光生電流(Iph)成正比的數字脈沖，在像素復位過程中，MS電阻值置于最高值(MSL = ROFF ),等待L2F數字脈沖設置電阻值。
圖7：像素在積分時間(Ti)內的時序圖，L2F將n個數字電流脈沖I1饋入MS，使憶阻器電阻在Roff至R(n)范圍內變化
圖8：與像素的四個不同狀態(tài)有關(max,min)的憶阻器控制： LL，HL，LH，HH
圖9：在每個更新脈沖 (PLS)后，通過憶阻器電阻值(Mmax, Mmin)表達兩個閾壓在每個像素狀態(tài)(表I所列像素狀態(tài): S1, S2, S3, S4)的預計行為。S1、S2和S3是發(fā)生在傳感器工作期間的典型狀態(tài)，而S4則發(fā)生在傳感器校準階段，是專門生成的信號。
A. 曝光時間
在曝光時間(Ti)內, L2F轉換器生成一串振幅I1、脈寬△T且頻率與光強成正比的電流脈沖，送入MS，如圖7所示。下面的等式通過狀態(tài)變量w(t)描述了MS的狀態(tài)：
其中，RON是低電阻，D是憶阻器長度，uv是摻雜遷移率，n是L2F在曝光時間內生成的脈沖數量，在施加n個脈沖后，最終電阻值是：
B. 讀出和熱像素偵測
在曝光時間后，比較MS與Mmax和Mmin值，因此，像素連接位線(SEL=H)，向三個憶阻施加相同的偏置電流Ibias，使憶阻器電壓施加到三個位線上(blS，blH, blL)。然后將blS與blH和blL電壓分別比較，以檢測潛在熱像素條件。將SW1、SW2和SW3都設到位置”3”，因此，使共節(jié)點C短接Vref，向Mmax和Mmin施加偏置電流Ibias。最后，取得下面的電壓降：
使用置于像素外部的兩個時鐘驅動的列級(HBLOCK)比較器完成熱像素檢測。表I列出了不同像素狀態(tài)的數字輸出信號。
C. 閾壓更新
圖8描述了兩個憶阻器(Mmax和Mmin)的控制與S1、S2、S3和S4四個像素狀態(tài)的關系。為實現一個時間常數TH短的濾波器，用信號PLS生成的△TP脈寬的電流脈沖IPH驅動憶阻，饋入HBLOCK。通過估算注入到器件的電荷qHOT = IH∙△TP和施加的脈沖數量”m”，設置濾波器的時間常數。另一方面，考慮到冷像素條件，慢濾波器負責處理電荷qCOLD = IPL∙△TP，qCOLD< qHOT。這意味，給憶阻器提供的電荷量相同時，在qCOLD情況下，憶阻變化不大。通過選用圖8所示的電路配置，有時可以進行兩個閾壓的更新過程。假設像素狀態(tài)是S3，向Mmax饋入qHOT = IH∙△TP , 同時向Mmin饋入qCOLD= (IH-Id) ∙△TP, Id = IH-IL。在這種情況下，兩個閾壓(Vmax和Vmin)都接近電流信號VS，但是以不同的速度接近(Vmax上升快，Vmin下降慢)。
V. 仿真結果
我們使用MATLAB建立了自適應背景提取算法模型并進行了仿真測試[7],[18]。如圖6所示，我們模擬了像素架構的四種不同狀態(tài)，使用Cadence Spectre [19]通過電仿真再現了圖9所描述的預期行為。像素架構設計采用3.3V、0:35m CMOS制造工藝，按照[9]和[20]所列等式，使用Verilog-A模擬憶阻器行為，選擇寬憶阻范圍(RON = 200Ω,ROFF = 200KΩ)，以覆蓋更大的動態(tài)范圍。曝光時間值不宜過大，以不會在高頻光阻編碼過程中導致Ms進入導通狀態(tài)為準。
使用相同的仿真參數驗證四個像素狀態(tài)，仿真結果見圖10。用L2F在10 ms曝光時間(Ti)內生成的數字脈沖設置Ms。在憶阻重置到ROFF狀態(tài)前，比較Ms的最終值與Mmax和 Mmin值。然后，根據像素條件，對Mmax和Mmin進行相應的調整。圖10a是圖8的像素狀態(tài)S1的仿真結果。這里，像素工作正常，如曲線所示，Mmax和Mmin保持向Ms緩慢匯合的趨勢。我們還注意到，熱像素的二進制信號始終是低電平狀態(tài)。
在像素的其它狀態(tài): 圖8中的S2, S3，S4，仿真結果發(fā)現一個熱像素，我們觀察到兩種情況。一種是，熱狀態(tài)像素直接隨正常像素條件變化，另一種情況是熱狀態(tài)像素(典型S4)將必須變成另一個熱像素條件(S2 或S3)，才能返回到正常條件(S1)。
A. 直接從熱像素狀態(tài)轉到冷像素狀態(tài)
像素狀態(tài)S2和S3通常直接轉到正常像素條件。從圖10b不難看出，在S2狀態(tài)中，Mmax和Mmin嘗試以不同的時間常量接近Ms，在這個過程中，Mmax升高速度比快Mmin很多，直到像素恢復到正常工作條件為止。如圖10c所示，當像素在S3狀態(tài)時出現反轉，Mmin以比Mmax更快速度的下降接近Ms。圖10d是S4狀態(tài)的仿真結果。在這種情況下，Mmax上升速率與Mmin下降速率相同，直到像素恢復到正常條件為止。在所有情況下，變化速率是由所施加的電流脈沖振幅控制的。
B. 從一個熱像素狀態(tài)轉到另一個熱像素狀態(tài)，然后轉至冷像素
雖然S4是一個典型的禁用狀態(tài)，是根據Mmax和Mmin兩個閾值發(fā)生的熱像素，但是通常發(fā)生在校準階段系統上電過程中。在這種情況，傳感器是照片拍攝模式，算法嘗試將兩個閾值快速匯合到冷像素條件，同時像素故意設置為狀態(tài)S4。這個階段可需要幾個幀，直到整個像素達到冷狀態(tài)為止。在S4狀態(tài)，熱像素不視為潛在報警。在圖10e中，上邊界Mmax在下邊界Mmin之前穩(wěn)定，導致S4轉至S2，再轉至S1。圖10f是這種情況的結果：Mmin在Mmax之前穩(wěn)定; 我們觀察到，從S4進入S3，再進入S1。
圖10：內置三個憶阻器執(zhí)行動態(tài)背景提取的像素架構在圖6所示LL, HL, LH, HH條件下的電仿真結果。圖a, b, c, d分別是四個不同控制狀態(tài)S1, S2, S3、S4的仿真，從熱直接變冷。圖e, f是控制狀態(tài)S4仿真，從熱間接變冷，還描述了每個像素狀態(tài)的熱像素(HOT)二進制信號。紅色條狀圖表示與上閾壓V max有關的異常事件(熱像素檢測)，上閾壓V max由Mmax決定;而藍色條狀圖代表下閾壓V min有關的異常事件，下閾壓V min由Mmin決定，詳見圖4給出的算法工作原理。
VI. 結論
本文論述了如何有效地結合CMOS電子元器件使用憶阻器，實現一個高效分布式處理兼?zhèn)浯鎯δ艿囊曈X傳感器架構，執(zhí)行穩(wěn)健的實時圖像處理。本文主要論述了被稱作目標跟蹤引擎的自適應背景提取技術。憶阻器具有納米級尺度和非易失性，有望成為全新的嵌入式分布處理和存儲功能兼?zhèn)涞牟⑿杏嬎銠C的理想元器件。當芯片內部濾波器需要長時間常數或片上存儲器需要更長的數據保存時間時，憶阻器的特性將具有更重要的意義。
參考文獻
[1] J. Choi, S. Park, J. Cho, and E. Yoon, “A 3.4 w cmos image sensor withembedded feature-extraction algorithm for motion-triggered object-ofinterestimaging,” in Solid-State Circuits Conference Digest of TechnicalPapers (ISSCC), 2013 IEEE International, Feb 2013, pp. 478–479.
[2] P. Lichtsteiner, C. Posch, and T. Delbruck, “A 128 x 128 120dB30mW Asynchronous Vision Sensor that Responds to Relative IntensityChange,” in IEEE ISSCC Dig. Tech. Papers, Feb. 2006, pp. 25–26.
[3] N. Massari, M. Gottardi, and S. A. Jawed, “A 100W 64128 像素sContrast-Based Asynchronous Binary Vision Sensor for Wireless SensorNetwors,,” in IEEE ISSCC Dig. Tech. Papers, Feb. 2008, pp. 588–589.
[4] G. Kim, M. Barangi, Z. Foo, N. Pinckney, S. Bang, D. Blaauw, andD. Sylvester, “A 467nw cmos visual motion sensor with temporalaveraging and 像素 aggregation,” in Solid-State Circuits ConferenceDigest of Technical Papers (ISSCC), 2013 IEEE International. IEEE,2013, pp. 480–481.
[5] T. Ohmaru, T. Nakagawa, S. Maeda, Y. Okamoto, M. Kozuma,S. Yoneda, H. Inoue, Y. Kurokawa, T. Ikeda, Y. Ieda et al., “6.5 25.3wat 60fps 240160-像素 vision sensor for motion capturing with in-像素non-volatile analog memory using crystalline oxide semiconductor fet,”in Solid-State Circuits Conference-(ISSCC), 2015 IEEE International.IEEE, 2015, pp. 1–3.[!--empirenews.page--]
[6] A. Berkovich, M. Lecca, L. Gasparini, P. Abshire, and M. Gottardi,“A 30 w 30 fps 110x110 像素s vision sensor embedding local binarypatterns,” Solid-State Circuits, IEEE Journal of, vol. 50, no. 9, pp. 2138–2148, Sept 2015.
[7] N. Cottini, M. Gottardi, N. Massari, R. Passerone, and Z. Smilansky,“A 33w64;; 64 像素 vision sensor embedding robust dynamicbackground subtraction for event detection and scene interpretation,”Solid-State Circuits, IEEE Journal of, vol. 48, no. 3, pp. 850–863, March2013.
[8] L. Chua, “Memristor - the missing circuit element,” IEEE Trans. CircuitTheory, no. 18, pp. 517–519, 1971.
[9] D. B. Strukov, G. S. Snider, D. R. Stewart, and R. S. Williams, “Themissing memristor found,” Nature, vol. 453, no. 7191, pp. 80–83, 2008.
[10] J. Blanc and D. L. Staebler, “Electrocoloration in srti o 3: Vacancy driftand oxidation-reduction of transition metals,” Physical Review B, vol. 4,no. 10, p. 3548, 1971.
[11] M. P. Sah, C. Yang, H. Kim, and L. Chua, “A voltage mode memristorbridge synaptic circuit with memristor emulators,” Sensors, vol. 12,no. 3, pp. 3587–3604, 2012.
[12] L. O. Chua and S. M. Kang, “Memristive devices and systems,”Proceedings of the IEEE, vol. 64, no. 2, pp. 209–223, 1976.
[13] S. Shin, K. Kim, and S.-M. Kang, “Memristor applications for programmableanalog ics,” Nanotechnology, IEEE Transactions on, vol. 10,no. 2, pp. 266–274, 2011.
[14] S. Shin, K. Kim, and S. M. Kang, “Memristor-based fine resolutionprogrammable resistance and its applications,” in Communications,Circuits and Systems, 2009. ICCCAS 2009. International Conferenceon. IEEE, 2009, pp. 948–951.
[15] O. A. Olumodeji and M. Gottardi, “Memristor-based comparatorwith programmable hysteresis,” in Microelectronics and Electronics(PRIME), 2015 11th Conference on Ph. D. Research in. IEEE, 2015,pp. 232–235.
下載文檔
