神經(jīng)網(wǎng)絡預測編碼器的設計及應用

1 BP網(wǎng)絡結構及其算法
    反向傳播算法又稱誤差后向傳播算法(Error Back Propagation Algorithm)，它是用來訓練多層前饋網(wǎng)絡的一種學習算法。是一種有監(jiān)督的學習算法。通常稱用誤差反向傳播算法訓練的網(wǎng)絡叫BP網(wǎng)絡。如圖1所示，該BP網(wǎng)絡具有一個輸入層，兩個隱含層(也稱中間層)和一個輸出層組成，各層之間實行全連接。BP神經(jīng)網(wǎng)絡的隱含層通常具有多個，其傳輸函數(shù)常常采用sigmoid函數(shù)，而輸入輸出層則采用線性傳輸函數(shù)。

誤差反向傳播算法的主要思想是把學習過程分為兩個階段：第一階段(正向傳播過程)，給出輸入信息通過輸入層經(jīng)隱含層逐層處理并計算每個單元的實際輸出值；第二階段(反向傳播過程)，若在輸出層未能得到期望的輸出值，則逐層遞歸地計算實際輸出與期望輸出之差值(即誤差)，以便根據(jù)此誤差調(diào)節(jié)權值。誤差反向傳播算法的性能函數(shù)是均方誤差。其算法流程如圖2所示。

2 神經(jīng)網(wǎng)絡預測編碼器的設計及應用
2．1 預測器層數(shù)
    kolmogorov定理(即映射網(wǎng)絡存在定理)，一個隱含層的網(wǎng)絡，如果隱含層的功能函數(shù)是連續(xù)函數(shù)，則網(wǎng)絡輸出可以逼近一個連續(xù)函數(shù)。具體的說，設網(wǎng)絡有p個輸入，q個輸出，則其作用可以看作是由p維歐式空間到q維歐式空間的一個非線性映射。
    Kolmogorov定理表明含一個隱含層的BP前饋網(wǎng)絡是一種通用的函數(shù)逼近器，為逼近一個連續(xù)函數(shù)，一個隱含層是足夠的。當要學習不連續(xù)函數(shù)時，則需要兩個隱含層，即隱含層數(shù)最多兩層即可，Lippmann等也給出了同樣的結論。通過參考以上定理、規(guī)則，并結合試驗最終確定本文實現(xiàn)的神經(jīng)網(wǎng)絡預測器采用兩個隱含層，一個輸入層和一個輸出層的BP網(wǎng)絡。
2．2 節(jié)點數(shù)
    網(wǎng)絡的輸入與輸出節(jié)點數(shù)是由實際問題的本質(zhì)決定的，與網(wǎng)絡性能無關。而當像素間距離超過5時，像素之間的相關性就很小，并且在圖像的某一個區(qū)域內(nèi)，色度信息不會突變，因此，本文設計的BP神經(jīng)網(wǎng)絡預測器利用與當前像素相鄰的9個像素來預測當前像素，這樣不僅可以利用同一色分量內(nèi)像素之間的相關性，也可以利用不同色通道之間像素的相關性進行預測。鄰域像素的選擇如圖3所示。

對Bayer圖像當前像素的預測可用下面兩式表示：

其中：(k，l)∈{(一3，O)，(一2，一1)，(一2，O)，(一1，一2)，(一l，一1)，(一1，O)，(O，一3)，(O，一2)，(O，一1)}，x(i，j)為當前像素的真實值；互(i，j)是當前像素的預測值，e(i，j)是預測誤差。預測函數(shù)f用神經(jīng)網(wǎng)絡實現(xiàn)。因此，輸入層有9個神經(jīng)元。而網(wǎng)絡的輸出即是神經(jīng)網(wǎng)絡預測器對當前像素的預測值，因此輸出層有1個神經(jīng)元。
    實際上，隱含層神經(jīng)元數(shù)取決于訓練樣本數(shù)的多少、噪聲量的大小及網(wǎng)絡學習的輸入一輸出函數(shù)關系或分類關系的復雜程度。對許多應用場合均適用的一條有關確定隱結點數(shù)的規(guī)則即所謂的幾何金字塔規(guī)則(geometric pyramidrule)：從輸入層到輸出層，結點數(shù)不斷減少，其形好似金字塔，如圖4所示。

 本文通過大量實驗，最終確定神經(jīng)網(wǎng)絡預測器的第一隱含層具有9個神經(jīng)元，第二隱含層具有6個神經(jīng)元。至此，神經(jīng)網(wǎng)絡預測器結構已經(jīng)確定，如圖5所示。

2．3 傳輸函數(shù)
    在神經(jīng)網(wǎng)絡圖像處理中，常使用的傳輸函數(shù)有兩大類：
    (1)線性傳輸函數(shù)；
    (2)非線性傳輸函數(shù)。
    線性傳輸函數(shù)的變換較簡單，其輸出相對于輸入呈線性增長，因而函數(shù)輸入范圍較小，且它不具有可微分性，這對于具有非線性特性的圖像信息來說并不適用。經(jīng)典的BP算法采用sigmoid函數(shù)，其輸出的動態(tài)范圍為[O，1]，sigmoid和其導數(shù)為式1和式2：

Tawel等提出了一種動態(tài)調(diào)整溫度系數(shù)的方法，即在sigmoid函數(shù)中加入閾值和溫度系數(shù)，如式3所示：

 式中θ稱為闞值，λ稱為溫度系數(shù)。
2．4 權值和閾值的初始化
    權值和偏置值的初始化一般有如下幾種方法：
    (1)隨機初始化。
    (2)逐步搜索法。
    (3)根據(jù)Nguyen-Widrow初始化算法為層產(chǎn)生初始權重和偏置值，使得每層神經(jīng)元的活動區(qū)域能大致平坦的分布在輸入空間。
2．5 輸入樣本
    采集數(shù)據(jù)樣本時主要考慮兩方面：
    (1)數(shù)據(jù)樣本要充分。
    (2)減小數(shù)據(jù)樣本的冗余度。
    本文設計神經(jīng)網(wǎng)絡預測器時，采用的訓練圖像都是和測試圖像類似的自認圖像，包括人物，建筑物，風景，動植物等24bits的全彩色圖像，這些全彩圖像采用CFA圖像。然后將每幅CFA訓練圖像轉(zhuǎn)化成的歸一化的輸入訓練的80％作為訓練樣本，其余的20％作為驗證樣本。
2．6 歸一化
    即通過簡單的線性變換，將網(wǎng)絡的輸入和輸出數(shù)據(jù)化為[O，1]區(qū)間或[一1，1]區(qū)間的數(shù)。
    通過大量試驗并結合所采用的傳輸函數(shù)的特性發(fā)現(xiàn)將輸入輸出限制在[O．2，O．9]網(wǎng)絡可以取得較好的預測效果，歸一化方法如式4所示：

式中，x即原始輸入，x′是歸一化后的輸入。
    網(wǎng)絡得到預測值時，按式5即可將預測結果映射到[O，255]之間：

 式中，net是神經(jīng)網(wǎng)絡預測器的輸出，y是映射后的輸出。

3 實驗結果分析
    訓練好的多層前饋網(wǎng)絡，具有預測評價功能?？蓪⒍鄬忧皞骶W(wǎng)絡看作一“黑箱”，將由實測獲得的輸入和輸出數(shù)據(jù)作為樣本送入“黑箱”中讓其學習，各輸入變量對輸出變量的影響在對樣本的學習過程中由“黑箱”自動記錄下來。由于節(jié)點神經(jīng)元傳遞函數(shù)是非線性的，因此，“黑箱”也具有非線性。整個學習過程就是預測模型的建立過程，只要節(jié)點數(shù)和訓練樣本數(shù)足夠多，“黑箱”便能實現(xiàn)對任意輸入的輸出預測。

 由表1可以看出由于神經(jīng)網(wǎng)絡預測器可以利用不同色分量的像素間的相關性和高階特性，以及神經(jīng)網(wǎng)絡本身的非線性，它得到的誤差圖像的熵的平均值最低，為5．2408，證實了神經(jīng)網(wǎng)絡預測器相對于結構分離法和插值法的有效性，同時其結構簡單，易于硬件實現(xiàn)。