【數(shù)據(jù)挖掘】谷歌提出最新時(shí)序框架--Deep Transformer

簡 介

Transformer技術(shù)在諸多問題，例如翻譯，文本分類，搜索推薦問題中都取得了巨大的成功，那么能否用于時(shí)間序列相關(guān)的數(shù)據(jù)呢？答案是肯定的，而且效果非常棒。本篇文章我們就基于Transformer的方法動態(tài)地學(xué)習(xí)時(shí)間序列數(shù)據(jù)的復(fù)雜模式，并且在時(shí)間序列相關(guān)的問題上取得了目前最好的效果。

方法

假設(shè)時(shí)間序列有個(gè)每周的數(shù)據(jù)點(diǎn)：

對于一個(gè)步的預(yù)測，監(jiān)督的ML模型的輸入就是

我們輸出的就是：

每個(gè)輸出點(diǎn)可以是一個(gè)標(biāo)量或者是一個(gè)包含了大量特征的向量。

1. Encoder

Encoder由輸入層、位置編碼層和四個(gè)相同編碼器層的堆棧組成。

輸入層通過一個(gè)完全連接的網(wǎng)絡(luò)將輸入的時(shí)間序列數(shù)據(jù)映射到一個(gè)維度為的向量。這一步對于模型采用多頭注意機(jī)制至關(guān)重要。

• 使用sin和cos函數(shù)的位置編碼，通過將輸入向量與位置編碼向量按元素相加，對時(shí)間序列數(shù)據(jù)中的順序信息進(jìn)行編碼。

最終的向量被輸入到四個(gè)encoder層。每個(gè)encoder層由兩個(gè)子層組成：一個(gè)self-attention的子層和一個(gè)全連接的前饋?zhàn)訉?。每個(gè)子層后面都有一個(gè)normalization層。編碼器生成一個(gè)維向量，往后傳入decoder層。

2. decoder層

此處Transformer的Decoder設(shè)計(jì)架構(gòu)和最早的Transformer是類似的。Decoder包括輸入層、四個(gè)相同的解碼器層和一個(gè)輸出層。Decoder輸入從編碼器輸入的最后一個(gè)數(shù)據(jù)點(diǎn)開始。輸入層將解碼器輸入映射到維向量。除了每個(gè)編碼器層中的兩個(gè)子層之外，解碼器插入第三個(gè)子層以在編碼器輸出上應(yīng)用自注意機(jī)制。

最后，還有一個(gè)輸出層，它將最后一個(gè)Decoder層的輸出映射到目標(biāo)時(shí)間序列。

我們在解碼器中使用前l(fā)ook-ahead masking和在輸入和目標(biāo)輸出之間的one-position的偏移，以確保時(shí)間序列數(shù)據(jù)點(diǎn)的預(yù)測將僅依賴于先前的數(shù)據(jù)點(diǎn)。

實(shí)驗(yàn)

• Transformer架構(gòu)的效果遠(yuǎn)好于其他的效果

對于一個(gè)標(biāo)量的序列數(shù)據(jù),它的delay embedding(TDE)就是將每個(gè)scalar值映射到一個(gè)唯獨(dú)的time-delay的空間，

我們發(fā)現(xiàn)并非是越大越好，在5-7之間是最好的。

小結(jié)

本文提出的基于Transformer的時(shí)間序列數(shù)據(jù)預(yù)測方法。與其他序列對齊的深度學(xué)習(xí)方法相比，

• Transformer的方法利用self-attention對序列數(shù)據(jù)進(jìn)行建模，可以從時(shí)間序列數(shù)據(jù)中學(xué)習(xí)不同長度的復(fù)雜依賴關(guān)系。
• 基于Transformer的方案具有非常好的可擴(kuò)展性，適用于單變量和多變量時(shí)間序列數(shù)據(jù)的建模，只需對模型實(shí)現(xiàn)進(jìn)行最小的修改。

參考文獻(xiàn)

1. https://arxiv.org/pdf/2001.08317.pdf

往期精彩回顧




適合初學(xué)者入門人工智能的路線及資料下載
機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印
機(jī)器學(xué)習(xí)在線手冊
深度學(xué)習(xí)筆記專輯
《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯
AI基礎(chǔ)下載
黃海廣老師《機(jī)器學(xué)習(xí)課程》視頻課
黃海廣老師《機(jī)器學(xué)習(xí)課程》711頁完整版課件
本站qq群851320808，加入微信群請掃碼：