人工智能的重要算法之一--LSTM算法

長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)LSTM是一種特殊的RNN，能夠?qū)W習(xí)長(zhǎng)期依賴關(guān)系。由Hochreiter和Schmidhuber （1997）提出，在后期工作中又由許多人進(jìn)行了調(diào)整和普及（除了原始作者之外，許多人為現(xiàn)代LSTM做出了貢獻(xiàn)，不完全統(tǒng)計(jì)：Felix Gers（目前在谷歌的DeepMind任職）， Fred Cummins， SanTIago Fernandez， Felix Gers（發(fā)明了LSTM遺忘門），JusTIn Bayer（自動(dòng)演化）， Daan Wierstra， Julian Togelius， FausTIan Gomez， Matteo Gagliolo 和 Alex Graves）。LSTM在大量問(wèn)題上效果異常出色，現(xiàn)在正在廣泛使用。

長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM（Long Short–Term Memory）是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，適合于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲相對(duì)較長(zhǎng)的重要事件。

與其說(shuō)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，倒不如說(shuō)是一個(gè)加強(qiáng)版的組件被放在了循環(huán)神經(jīng)網(wǎng)絡(luò)中。具體地說(shuō)，就是把循環(huán)神經(jīng)網(wǎng)絡(luò)中隱含層的小圓圈換成長(zhǎng)短時(shí)記憶的模塊，如下圖所示。

LSTM引入自循環(huán)的巧妙構(gòu)思，以產(chǎn)生梯度長(zhǎng)時(shí)間持續(xù)流動(dòng)的路徑是初始LSTM模型的核心貢獻(xiàn)。其中一個(gè)關(guān)鍵擴(kuò)展是使自循環(huán)的權(quán)重視上下文而定，而不是固定的。門控此自循環(huán)（由另一個(gè)隱藏單元控制）的權(quán)重，累積的時(shí)間尺度可以動(dòng)態(tài)地改變。

LSTM循環(huán)網(wǎng)絡(luò)除了外部的RNN循環(huán)外，還具有內(nèi)部的LSTM細(xì)胞循環(huán)（自環(huán)）。

LSTM 通過(guò)刻意的設(shè)計(jì)來(lái)避免長(zhǎng)期依賴問(wèn)題。記住長(zhǎng)期的信息在實(shí)踐中是 LSTM 的默認(rèn)行為，而非需要付出很大代價(jià)才能獲得的能力。

LSTM區(qū)別于RNN的地方，主要就在于它在算法中加入了一個(gè)判斷信息有用與否的“處理器”，這個(gè)處理器作用的結(jié)構(gòu)被稱為cell。

一個(gè)cell當(dāng)中被放置了三扇門，分別叫做輸入門、遺忘門和輸出門。一個(gè)信息進(jìn)入LSTM的網(wǎng)絡(luò)當(dāng)中，可以根據(jù)規(guī)則來(lái)判斷是否有用。只有符合算法認(rèn)證的信息才會(huì)留下，不符的信息則通過(guò)遺忘門被遺忘。

說(shuō)起來(lái)無(wú)非就是一進(jìn)二出的工作原理，卻可以在反復(fù)運(yùn)算下解決神經(jīng)網(wǎng)絡(luò)中長(zhǎng)期存在的大問(wèn)題。目前已經(jīng)證明，LSTM是解決長(zhǎng)序依賴問(wèn)題的有效技術(shù)，并且這種技術(shù)的普適性非常高，導(dǎo)致帶來(lái)的可能性變化非常多。各研究者根據(jù)LSTM紛紛提出了自己的變量版本，這就讓LSTM可以處理千變?nèi)f化的垂直問(wèn)題。

LSTM 有通過(guò)精心設(shè)計(jì)的稱作為“門”的結(jié)構(gòu)來(lái)去除或者增加信息到細(xì)胞狀態(tài)的能力。門是一種讓信息選擇式通過(guò)的方法。其包含一個(gè) sigmoid 神經(jīng)網(wǎng)絡(luò)層和一個(gè) pointwise 乘法操作。

Sigmoid 層輸出 0 到 1 之間的數(shù)值，描述每個(gè)部分有多少量可以通過(guò)。0 代表“不許任何量通過(guò)”，1 就指“允許任意量通過(guò)”！

LSTM 擁有三個(gè)門（輸入門，遺忘門，輸出門），來(lái)保護(hù)和控制細(xì)胞狀態(tài)。

1）決定丟棄信息：

2）確定更新的信息：

3）更新細(xì)胞狀態(tài)：

4）輸出信息：

1）peephole 連接：

2）coupled 忘記門和輸入門：

3） GRU（Gated Recurrent Unit）：

LSTM已經(jīng)在科技領(lǐng)域有了多種應(yīng)用?；贚STM的系統(tǒng)可以學(xué)習(xí)翻譯語(yǔ)言、控制機(jī)器人、圖像分析、文檔摘要、語(yǔ)音識(shí)別、圖像識(shí)別、手寫識(shí)別、控制聊天機(jī)器人、預(yù)測(cè)疾病、點(diǎn)擊率和股票、合成音樂等任務(wù)。

2015 年谷歌通過(guò)基于CTC 訓(xùn)練的 LSTM 程序大幅提升了安卓手機(jī)和其他設(shè)備中語(yǔ)音識(shí)別的能力。百度也使用了 CTC；蘋果的 iPhone 在 QucikType 和 Siri 中使用了LSTM；微軟不僅將LSTM 用于語(yǔ)音識(shí)別，還將這一技術(shù)用于虛擬對(duì)話形象生成和編寫程序代碼等。亞馬遜 Alexa 通過(guò)雙向LSTM在家中與用戶交流，而谷歌使用 LSTM 的范圍更加廣泛，它可以生成圖像字幕，自動(dòng)回復(fù)電子郵件，它包含在新的智能助手Allo中，也顯著地提高了谷歌翻譯的質(zhì)量。目前，谷歌數(shù)據(jù)中心的很大一部分計(jì)算資源現(xiàn)在都在執(zhí)行 LSTM 任務(wù)。

長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，適合于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲相對(duì)較長(zhǎng)的重要事件。LSTM是使用RNN的一個(gè)飛躍。LSTM算法在人工智能之機(jī)器學(xué)習(xí)、翻譯語(yǔ)言、控制機(jī)器人、圖像分析、文檔摘要、語(yǔ)音識(shí)別、圖像識(shí)別、手寫識(shí)別、控制聊天機(jī)器人、預(yù)測(cè)疾病、點(diǎn)擊率和股票、合成音樂等領(lǐng)域有著廣泛應(yīng)用。