人工神經(jīng)網(wǎng)絡發(fā)展歷程及特點

人工神經(jīng)網(wǎng)絡ANN是20世紀80 年代以來人工智能領域興起的研究熱點。人工神經(jīng)網(wǎng)絡ANN簡稱為神經(jīng)網(wǎng)絡或類神經(jīng)網(wǎng)絡。深度學習實際上是深度神經(jīng)網(wǎng)絡DNN，即深度學習從人工神經(jīng)網(wǎng)絡ANN模型發(fā)展起來的，因此有必要對人工神經(jīng)網(wǎng)絡ANN作進一步探討。＾＿＾

最近十幾年來，人工神經(jīng)網(wǎng)絡ANN的研究工作不斷深入，已經(jīng)取得了很大進展，其在模式識別、智能機器人、自動控制、預測估計、生物、醫(yī)學、經(jīng)濟等領域已成功地解決了許多現(xiàn)代計算機難以解決的實際問題，表現(xiàn)出了良好的智能特性。

那么究竟什么是人工神經(jīng)網(wǎng)絡ANN呢？

人工神經(jīng)網(wǎng)絡ANN從信息處理角度對人腦神經(jīng)元網(wǎng)絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡。人工神經(jīng)網(wǎng)絡ANN是一種運算模型，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構成。每個節(jié)點（神經(jīng)元）代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（acTIvaTIon funcTIon）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經(jīng)網(wǎng)絡的記憶。網(wǎng)絡的輸出則依網(wǎng)絡的連接方式，權重值和激勵函數(shù)的不同而不同。而網(wǎng)絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。

人工神經(jīng)網(wǎng)絡ANN的發(fā)展歷程：

1） 人工神經(jīng)網(wǎng)絡ANN的概念由W．S．McCulloch和W．Pitts等人于1943年提出。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學描述和網(wǎng)絡結構方法。

2） 1960s年，人工神經(jīng)網(wǎng)絡得到了進一步發(fā)展，更完善的神經(jīng)網(wǎng)絡模型被提出，其中包括感知器和自適應線性元件等。1982年， J．J．Hopfield提出了Hopfield神經(jīng)網(wǎng)格模型，引入“計算能量”概念，給出了網(wǎng)絡穩(wěn)定性判斷。 1984年，他又提出了連續(xù)時間Hopfield神經(jīng)網(wǎng)絡模型，開創(chuàng)了神經(jīng)網(wǎng)絡用于聯(lián)想記憶和優(yōu)化計算的新途徑。這項開拓性的研究工作有力地推動了神經(jīng)網(wǎng)絡的研究。

3） 1985年，有學者提出了波耳茲曼模型，在學習中采用統(tǒng)計熱力學模擬退火技術，保證整個系統(tǒng)趨于全局穩(wěn)定點。

4） 1986年進行認知微觀結構地研究，提出了并行分布處理的理論。

5） 1986年，Rumelhart， Hinton， Williams發(fā)展了BP算法。迄今，BP算法已被用于解決大量實際問題。

6） 1988年，Linsker對感知機網(wǎng)絡提出了新的自組織理論，并在Shanon信息論的基礎上形成了最大互信息理論，從而點燃了基于NN的信息應用理論的光芒。

7） 1988年，Broomhead和Lowe用徑向基函數(shù)（Radial basis funcTIon， RBF）提出分層網(wǎng)絡的設計方法，從而將NN的設計與數(shù)值分析和線性適應濾波相掛鉤。

8） 90年代初，Vapnik等提出了支持向量機（Support vector machines， SVM）和VC（Vapnik－Chervonenkis）維數(shù)的概念。

9） 美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變?yōu)槿蛐袨?。在日本?ldquo;真實世界計算（RWC）”項目中，人工智能的研究成了一個重要的組成部分。人工神經(jīng)網(wǎng)絡的研究從此受到了各個發(fā)達國家的重視。

人工神經(jīng)網(wǎng)絡特征：

人工神經(jīng)網(wǎng)絡是由大量處理單元互聯(lián)組成的非線性、自適應信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡處理、記憶信息的方式進行信息處理。人工神經(jīng)網(wǎng)絡具有四個基本特征：

（1）非線性：人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學上表現(xiàn)為一種非線性關系。具有閾值的神經(jīng)元構成的網(wǎng)絡具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性：一個神經(jīng)網(wǎng)絡通常由多個神經(jīng)元廣泛連接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。

（3）非常定性：人工神經(jīng)網(wǎng)絡具有自適應、自組織、自學習能力。神經(jīng)網(wǎng)絡不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。采用迭代過程描寫動力系統(tǒng)的演化過程。

（4）非凸性：一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性。