循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)是一類以序列(sequence)數(shù)據(jù)為輸入,在序列的演進(jìn)方向進(jìn)行遞歸(recursion)且所有節(jié)點(diǎn)(循環(huán)單元)按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network)。對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)的研究始于二十世紀(jì)80-90年代,并在二十一世紀(jì)初發(fā)展為深度學(xué)習(xí)(deep learning)算法之一,其中雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bidirectional RNN, Bi-RNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory networks,LSTM)是常見的循環(huán)神經(jīng)網(wǎng)絡(luò)。
本文節(jié)選自《深度學(xué)習(xí)入門之PyTorch》,本書從人工智能的介紹入手,了解機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的基礎(chǔ)理論,并學(xué)習(xí)如何用PyTorch框架對(duì)模型進(jìn)行搭建。 對(duì)于人類而言,以前見過(guò)的事物會(huì)在腦
1.神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 神經(jīng)網(wǎng)絡(luò)可以當(dāng)做是能夠擬合任意函數(shù)的黑盒子,只要訓(xùn)練數(shù)據(jù)足夠,給定特定的x,就能得到希望的y,結(jié)構(gòu)圖如下: 將神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練好之后,在輸入層給定一個(gè)
前言:人工智能之機(jī)器學(xué)習(xí)主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點(diǎn)探討一下長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(LSTM)算法。 我們知道,RNN是一類功能強(qiáng)大的人工神經(jīng)網(wǎng)絡(luò)算法,RNN一個(gè)
前言:人工智能機(jī)器學(xué)習(xí)有關(guān)算法內(nèi)容,請(qǐng)參見公眾號(hào)“科技優(yōu)化生活”之前相關(guān)文章。人工智能之機(jī)器學(xué)習(xí)主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點(diǎn)探討一下循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)算法。