神經(jīng)網(wǎng)絡(luò)從感知到深入學(xué)習(xí)

從受到人類大腦的啟發(fā),到發(fā)展出能夠獲得非凡成就的復(fù)雜模型,?神經(jīng)網(wǎng)絡(luò) 已經(jīng)走了很長一段路。在接下來的博客中,我們將深入討論神經(jīng)網(wǎng)絡(luò)的技術(shù)歷程--從基本感知器到先進(jìn)的深度學(xué)習(xí)架構(gòu),推動人工智能的創(chuàng)新。

人類系統(tǒng)

人類大腦中估計(jì)有860億個(gè)神經(jīng)元,它們彼此相鄰,通過突觸連接。每個(gè)神經(jīng)元通過樹突接收信號,然后通過SOMA處理這些信號,然后將輸出的軸突向下發(fā)送到突觸后神經(jīng)元。這個(gè)復(fù)雜的網(wǎng)絡(luò)是大腦如何能夠處理大量信息和完成極其復(fù)雜的任務(wù)。

這是在人工智能的神經(jīng)網(wǎng)絡(luò)中復(fù)制的相同結(jié)構(gòu)。相互連接的人工神經(jīng)元或節(jié)點(diǎn)能夠處理和傳遞信息;因此,它們構(gòu)成任何機(jī)器學(xué)習(xí)模型的基本組成部分,以便從數(shù)據(jù)中學(xué)習(xí)并作出預(yù)測或決定。

神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)中的興起

深層次學(xué)習(xí)是?機(jī)器學(xué)習(xí) 這涉及到使用多層的神經(jīng)網(wǎng)絡(luò)--因此是深層的神經(jīng)網(wǎng)絡(luò)--來建模數(shù)據(jù)中的復(fù)雜模式。計(jì)算能力、數(shù)據(jù)可用性和算法創(chuàng)新的增加促進(jìn)了相對簡單的神經(jīng)模型向深層架構(gòu)的演變。

感知器:深層次學(xué)習(xí)的基礎(chǔ)

最簡單的神經(jīng)網(wǎng)絡(luò)是?感知器 ,由弗蘭克羅森布拉特在1957年提出。它被用作更復(fù)雜架構(gòu)的基本模塊或構(gòu)建塊。感知器是一種線性分類器,它映射輸入,X到輸出,Y的步驟如下:

1.加權(quán)和

計(jì)算輸入的加權(quán)和。

z=w T X+B

當(dāng)W是權(quán)重向量時(shí),X是輸入向量,B是偏置向量.

2.激活函數(shù)

對加權(quán)和應(yīng)用激活函數(shù)來產(chǎn)生輸出.

y=?(z)

激活函數(shù)BU通常是二進(jìn)制分類的一個(gè)步驟函數(shù):

感知器類型

1.單層感知器

單層感知器由直接連接到輸入節(jié)點(diǎn)的單層輸出節(jié)點(diǎn)組成。它只能解決線性可分問題。

2. Multi-Layer Perceptron (MLP)

多層感知通過在輸入和輸出層之間添加一個(gè)或多個(gè)隱藏層來擴(kuò)展單層感知器。每個(gè)層都包含多個(gè)神經(jīng)元,激活功能可能是非線性的(例如。,乙狀結(jié)腸。

多層感知器及背向傳播

將隱藏層引入到mps中,可以對復(fù)雜的非線性關(guān)系進(jìn)行建模。訓(xùn)練一個(gè)MLP涉及調(diào)整權(quán)重和偏差,以盡量減少預(yù)測輸出和實(shí)際目標(biāo)之間的錯誤。這是通過反向傳播算法實(shí)現(xiàn)的:

1. 前方通行證: 通過圖層傳播輸入來計(jì)算網(wǎng)絡(luò)的輸出。

2. 損失計(jì)算: 計(jì)算損失函數(shù)L(例如:,平均平方誤差,交叉熵)來測量預(yù)測產(chǎn)出和實(shí)際產(chǎn)出之間的差異。

3. 后傳: 使用鏈條規(guī)則計(jì)算損失與權(quán)重和偏差的梯度。

4. 重量更新: 通過梯度下降調(diào)整權(quán)重和偏差。

在哪里 n 是學(xué)習(xí)率。

深層次學(xué)習(xí)架構(gòu)

深層次的學(xué)習(xí)產(chǎn)生了專門的架構(gòu),每個(gè)架構(gòu)都是為具體任務(wù)量身定制的:

1.卷繞神經(jīng)網(wǎng)絡(luò)

設(shè)計(jì)為圖像處理,CNN使用卷繞層從輸入圖像中提取空間特征。卷積的數(shù)學(xué)運(yùn)算被定義為:

對于圖像,以離散形式:

2.循環(huán)神經(jīng)網(wǎng)絡(luò)

適合連續(xù)數(shù)據(jù),?Rnns 維護(hù)一個(gè)從以前的時(shí)間步驟中捕獲信息的隱藏狀態(tài)。隱藏狀態(tài)h t 更新如下:

應(yīng)用和影響

深入學(xué)習(xí)模式在許多工作領(lǐng)域都有所不同:

1. 計(jì)算機(jī)視覺: 應(yīng)用包括圖像分類、目標(biāo)檢測和面部識別.

2. 自然語言處理(NLP) : 在語言翻譯、情感分析和聊天機(jī)器人等任務(wù)上推動著變化的海洋

3. 保健: 它增加了改進(jìn)疾病診斷、發(fā)現(xiàn)藥物和提供個(gè)性化藥物的可能性。

4. 財(cái)務(wù): 改進(jìn)欺詐檢測、算法交易和風(fēng)險(xiǎn)評估。

結(jié)論

這種從感知到深層次學(xué)習(xí)的演變,打開了神經(jīng)網(wǎng)絡(luò)的潛在能力,在那里復(fù)雜的問題甚至無法想象,并在經(jīng)濟(jì)的許多部門中形成了創(chuàng)新的趨勢。隨著對研究和技術(shù)發(fā)展的高度樂觀,神經(jīng)網(wǎng)絡(luò)的未來將使自己在應(yīng)用中擁有更大的能力。