【深度學(xué)習(xí)】深度學(xué)習(xí)之LSTM
LSTM是深度學(xué)習(xí)領(lǐng)域一個非常受歡迎的模型，它被用以解決各種各樣的問題。在交通領(lǐng)域，LSTM被廣泛應(yīng)用于道路、航空、鐵路等各個方面的研究，例如基于LSTM建立車輛跟馳模型，利用LSTM進行短期交通流預(yù)測，公交車到站時間預(yù)測、共享單車需求預(yù)測、鐵路客運量預(yù)測以及航空延誤預(yù)測等等。本周，交通科研Lab將對LSTM的基礎(chǔ)理論進行介紹，并以航空延誤預(yù)測為例講解如何建立LSTM模型。
今天先為大家介紹一下LSTM模型的相關(guān)理論。
注：以下內(nèi)容是對書籍、博客以及論文中的相關(guān)介紹的整理。
LSTM網(wǎng)絡(luò)的全稱是“Long Short Term Memory networks”，中文名叫“長短期記憶網(wǎng)絡(luò)”，是一種改進版的RNN。所以，在介紹LSTM之前，先來了解一下RNN。
RNN
在實際生活中，我們所面臨的很多問題都是具有順序性的。比如說，你在閱讀文章的時候，都是通過聯(lián)系上文來理解你當前看到的詞的真正含義。但是傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)并不會根據(jù)先前信息來對之后的信息進行推斷。RNN（Recurent Neural Networks,遞歸神經(jīng)網(wǎng)絡(luò)）彌補了這一缺陷，它將神經(jīng)元的輸出再接回神經(jīng)元的輸入，使其具有“記憶力”，從而可以解決具有順序性的問題。如下圖所示，右圖是將左圖按照時間點展開得到的結(jié)果，圖中共有3個時間點，依次是“t-1”“t”“t+1”。
圖注
X是神經(jīng)網(wǎng)絡(luò)的輸入，是t時間點神經(jīng)網(wǎng)絡(luò)的輸入；
O是神經(jīng)網(wǎng)絡(luò)的輸出，是t時間點神經(jīng)網(wǎng)絡(luò)的輸出；
（U,V,W）是神經(jīng)網(wǎng)絡(luò)的參數(shù)，在展開圖中W是t-1時間點的輸出，但是作為t時間點的輸入。
S是隱藏狀態(tài)，代表著神經(jīng)網(wǎng)絡(luò)的“記憶”。在展開圖中是t時間點神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)，它是當前時間點的輸入、前一個時間點的隱藏狀態(tài)以及參數(shù)U和W共同評估的結(jié)果。
然而，世界上沒有十全十美的事物……RNN也不例外，雖然它有“記憶力”，但是，他的“記憶力”有點差。如果相關(guān)信息和當前預(yù)測的位置間隔很小，RNN可以學(xué)會使用先前信息，如果位置間隔很大，RNN就記不住了……為此深度學(xué)習(xí)專家Schmidhuber提出了LSTM模型。
LSTM
emmmm接下來有請哪吒給大家介紹一下LSTM模型！
感謝小爺~小爺講的正是我想說的~
以上就是本期LSTM相關(guān)理論講解的全部內(nèi)容，下期將為大家介紹如何建立LSTM模型來預(yù)測航空延誤。
emmm你們還有什么要補充或者要糾正的嗎？歡迎大家來后臺留言~
注：以上所用圖片均來源于網(wǎng)絡(luò)。
編輯：莊楨
往期精彩回顧