LSTM又火了！再次殺入視覺(jué)！xLSTM一舉超越Mamba、Transformer！
共 1385字，需瀏覽 3分鐘
·
2024-06-18 13:20
今年上半年，LSTM火了！
LSTM原作者分別提出xLSTM和Vision-LSTM，解決了以往的局限性。同時(shí)，LSTM+Transformer登上Nature；LSTM+CNN、LSTM+Attention等多種混合模型架構(gòu)紛紛刷新SOTA。
LSTM絕對(duì)是最近非常好出idea水論文的一個(gè)方向。我也整理了最近幾年52個(gè)LSTM創(chuàng)新思路，全部有對(duì)應(yīng)代碼可以復(fù)現(xiàn)。已經(jīng)按照核心原理整理命名，方便查找。
今天無(wú)償分享給大家學(xué)習(xí)，歡迎掃碼下載。
掃碼下載52個(gè)LSTM創(chuàng)新思路
全部論文+代碼
我整理的52個(gè)LSTM創(chuàng)新思路都是近幾年的論文，最新到2024上半年。已經(jīng)根據(jù)核心思路進(jìn)行命名分類，方便大家按需求查找學(xué)習(xí)。
最關(guān)鍵的是，所有思路全部都有下載好的開源代碼！小伙伴們不需要再去網(wǎng)上下載論文和代碼，直接下載這個(gè)合集就可以了。完全無(wú)償分享，掃碼就能下載。
掃碼下載52個(gè)LSTM創(chuàng)新思路
全部論文+代碼
這里也簡(jiǎn)單分析幾個(gè)近期的熱門研究：
- xLSTM通過(guò)指數(shù)門控和可并行化的矩陣內(nèi)存結(jié)構(gòu)克服無(wú)法修改存儲(chǔ)決策、信息必須壓縮成標(biāo)量單元狀態(tài)、缺乏可并行性等缺陷。Vision-LSTM則是將其拓展到視覺(jué)領(lǐng)域。
- LSTM可以與熱門的mamba結(jié)合。將視覺(jué)Mamba塊的優(yōu)勢(shì)與LSTM集成在一起，構(gòu)建了一個(gè)以VMRNN單元為中心的網(wǎng)絡(luò)。
- LSTM+Transformer登上nature的研究做到了在多任務(wù)實(shí)時(shí)預(yù)測(cè)中，即使數(shù)據(jù)保留率為50％，模型性能依然最優(yōu)。融合模型同時(shí)擁有捕捉長(zhǎng)期依賴關(guān)系與高效并行計(jì)算能力。
等等。。。
想要全部52個(gè)LSTM創(chuàng)新思路，可以掃碼下載！
掃碼下載52個(gè)LSTM創(chuàng)新思路
全部論文+代碼
如果大家有進(jìn)一步學(xué)習(xí)LSTM的需求，我也分享一個(gè)完全免費(fèi)的LSTM講座課程。由UK博士、私募量化研究員Felix老師主講。針對(duì)熱門的xLSTM、KAN與時(shí)間序列。
講座是完全免費(fèi)的，對(duì)時(shí)序感興趣，想結(jié)合最新的xLSTM、KAN等技術(shù)找idea，發(fā)paper的小伙伴們千萬(wàn)不要錯(cuò)過(guò)這個(gè)講座！