深度學(xué)習(xí)時間序列異常檢測方法
共 11673字，需瀏覽 24分鐘
·
2024-07-10 21:41
本文全面概述了深度學(xué)習(xí)用于時間序列異常檢測的最新架構(gòu)，提供了基于策略和模型的方法，并討論了各種技術(shù)的優(yōu)點和局限性。此外，還舉例說明了近年來深度學(xué)習(xí)在時間序列異常檢測中各領(lǐng)域的應(yīng)用。
1 背景
時間序列是一系列按照時間順序依次索引的數(shù)據(jù)點。最常見的時間序列形式是按時間記錄的觀察序列。時間序列通常分為單變量（一維）和多變量（多維）。隨后，概述時間序列的可分解成分，并給出基于時間序列成分和特征的異常類型分類。
1.1 單變量時間序列
如圖1所示，單變量時間序列（UTS）是基于單個變量隨時間變化而形成的一系列數(shù)據(jù)記錄；例如，記錄一天中每小時的濕度水平就是這樣一個例子。
圖1 從NeurIPS-TS數(shù)據(jù)集繪制的不同時間異常的概述。全局和上下文異常發(fā)生在一個點上（藍(lán)色），而其他類型，包括季節(jié)性、趨勢和形狀子序列，可以發(fā)生在子序列中（紅色）。
1.2 多元時間序列
多元時間序列（MTS）表示多個隨時間變化的變量，這些變量受過去值和其他變量的影響，并且存在相關(guān)性，可交替使用空間和交互度依賴性來描述。例如，除了濕度水平外，每小時還會記錄氣壓和溫度。圖2展示了具有兩個維度的MTS示例。
圖2 多元時間序列中的度量間和時間-度量間異常。在此圖中，度量1是電力消耗，度量2是CPU使用率。
1.3 時間序列分解
可以將時間序列 X 分解為四個組成部分，每個組成部分都表達(dá)了其運(yùn)動的一個特定方面。這些組成部分如下：
長期趨勢：數(shù)據(jù)在長時間內(nèi)呈現(xiàn)出的上升或下降趨勢。這種趨勢反映了數(shù)據(jù)隨時間的總體走勢，但并不一定以線性方式進(jìn)行。例如，某個地區(qū)的人口數(shù)量可能隨時間呈非線性增長或減少，這取決于各種動態(tài)因素的作用。
季節(jié)性變化：時間序列數(shù)據(jù)在特定時間間隔內(nèi)出現(xiàn)有規(guī)律的波動。這種波動通常呈現(xiàn)固定的周期性，例如，一項關(guān)于天然氣/電力消耗的研究表明，全年的消耗曲線并不遵循相同的模式。不同季節(jié)和地區(qū)之間的模式也會有所不同。
周期性波動：時間序列數(shù)據(jù)在沒有固定頻率的情況下出現(xiàn)的上升或下降趨勢。這種波動可能是由于自然事件（如每日溫度變化）所導(dǎo)致的。
不規(guī)則變化：時間序列數(shù)據(jù)中隨機(jī)、不規(guī)則的事件。這些事件通常是不可預(yù)測的，例如地震或洪水等災(zāi)難。不規(guī)則變化是時間序列數(shù)據(jù)中除長期趨勢、季節(jié)性變化和周期性波動之外的殘差。
時間序列是通過分別估計其四個組成部分來進(jìn)行數(shù)學(xué)描述的，每個組成部分都可能偏離正常行為。
1.4 時間序列中的異常
異常指的是數(shù)據(jù)偏離一般分布的情況，例如一個單獨的觀測值（點）或一系列觀測值（子序列）與一般分布存在很大偏差。在現(xiàn)實世界中，數(shù)據(jù)可能包含大量噪聲，這種噪聲對研究者而言可能是無關(guān)緊要的。時間序列數(shù)據(jù)集中可以看到概念漂移帶來的變化，概念漂移指的是當(dāng)值和趨勢隨時間緩慢或突然改變時出現(xiàn)的現(xiàn)象。
異常的類型。異常點在UTS和MTS中分為時間異常、跨度異常和時間-跨度異常三種類型。時間異常點可以與鄰居或整個時間序列進(jìn)行比較，并影響多個或所有維度。不同時間異常類型有多種常見的單變量時間序列。由于點異常，一個意外事件在某個時間點發(fā)生，并假定它是一個短序列。不同的時間異常類型如下：
-
全局異常：它們是時間序列中的峰值，相對于時間序列的其他部分具有極端值。例如，全局異常是客戶在典型日子里支付的異常大額款項。圖1左側(cè)顯示了全局異常的示例，其中-6與時間序列有較大偏差。 -
上下文：與給定上下文的偏差將被定義為與相鄰時間點的偏差，此處定義為位于某一鄰近范圍內(nèi)的時間點。這些類型的異常值是順序數(shù)據(jù)中的小故障，是與其鄰居值的偏差。一個點可能在一種情況下正常，而在另一種情況下則異常。例如，大型互動（例如節(jié)禮日的互動）被認(rèn)為是正常的，但在其他日子則不然。 -
季節(jié)性：盡管時間序列的形狀和趨勢相似，但與整體季節(jié)性相比，它們的季節(jié)性是不同尋常的。例如，一周內(nèi)餐館的顧客數(shù)量。該系列具有明顯的每周季節(jié)性，因此需要查找該季節(jié)性中的偏差，并對異常時期進(jìn)行單獨處理。 -
趨勢：導(dǎo)致數(shù)據(jù)永久轉(zhuǎn)變?yōu)槠淦骄挡a(chǎn)生時間序列趨勢轉(zhuǎn)變的事件。雖然這種異常現(xiàn)象保持了正常的周期和季節(jié)性，但它的斜率卻大大改變了。趨勢有時會改變方向，這意味著它們可能會從增加變?yōu)闇p少，反之亦然。例如，當(dāng)一首新歌出現(xiàn)時，它會流行一段時間，然后它就會從圖表中消失，就像圖1中趨勢發(fā)生變化的部分一樣，被認(rèn)為是趨勢異常。未來這種趨勢很可能會重新啟動。 -
形狀：存在一個子序列，其形狀或循環(huán)與序列的正常形狀組件不同。經(jīng)濟(jì)狀況的變動，如生產(chǎn)率或商品和服務(wù)的總需求和總供應(yīng)，往往是這些波動的根源。在短期內(nèi)，這些變化導(dǎo)致了經(jīng)濟(jì)擴(kuò)張和衰退的時期。
這種情況下，動態(tài)時間扭曲（DTW）用于對兩個時間序列進(jìn)行最佳對齊，以確定它們之間的不同程度，常用于異常檢測。MTS由多個維度組成，每個維度描述實體的不同方面。intermetric依賴指的是實體內(nèi)部度量之間的空間依賴性。如果這種依賴性被打破，MTS會出現(xiàn)廣泛的異常行為。圖2左側(cè)部分的示例顯示了電力消耗和CPU使用率之間的正相關(guān)性在約100秒后中斷，這種異常被稱為intermetric異常。
從時間和度量角度看，間隔-時間異常均比較容易檢測出來，因為這些異常違反了時間和度量的依賴關(guān)系，正如圖2的右圖所示。
2 深度異常檢測方法
對于具有復(fù)雜結(jié)構(gòu)的數(shù)據(jù)，深度神經(jīng)網(wǎng)絡(luò)是建模依賴關(guān)系的強(qiáng)大方法。圖3展示了時間序列異常檢測中深度學(xué)習(xí)體系結(jié)構(gòu)的分類。
圖3 時間序列異常檢測中使用的深度學(xué)習(xí)架構(gòu)
2.1 時間序列異常檢測
本文中，時間序列異常檢測的深度模型根據(jù)其主要方法和體系結(jié)構(gòu)進(jìn)行分類。時間序列異常檢測文獻(xiàn)中有兩種主要的方法（圖4中的學(xué)習(xí)組件）：基于預(yù)測的模型可以訓(xùn)練來預(yù)測下一個時間戳，而基于重構(gòu)的模型可以部署來捕捉時間序列數(shù)據(jù)的嵌入。
圖4 時間序列中深度異常檢測模型的一般組件
表1和表2分別總結(jié)了基于它們處理的輸入維度的單變量和多變量時間序列的異常檢測模型。這些表格概述了以下方面的模型：(1)時間/空間，(2)學(xué)習(xí)方案，(3)輸入，(4)可解釋性，(5)點/子序列異常，(6)隨機(jī)性，(7)增量。
表2 時間序列中的多變量深度異常檢測模型
深度模型以逐步或端到端方式處理輸入（見圖4），包括學(xué)習(xí)模塊和異常評分模塊。模型的輸出可以是異常分?jǐn)?shù)或輸入的標(biāo)簽。異常分?jǐn)?shù)是通過損失函數(shù)來定義的，例如重構(gòu)概率或預(yù)測誤差。評估指標(biāo)包括AUC ROC、精確度和召回率等，有時也會用到點調(diào)整或基于段的評估技術(shù)來測量F1分?jǐn)?shù)。局部性的Affiliation指標(biāo)可用于評估時間序列異常檢測任務(wù)。
2.2 基于預(yù)測的模型
基于預(yù)測的方法使用已學(xué)習(xí)模型預(yù)測點或子序列，通過比較預(yù)測值與實際值確定異常程度。大多數(shù)方法使用滑動窗口預(yù)測，模擬正常行為以識別異常。早期工作使用預(yù)測誤差作為新穎性指標(biāo)，而非異常分?jǐn)?shù)。接下來將解釋基于預(yù)測的體系結(jié)構(gòu)。
循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。由于RNN具有內(nèi)部記憶，因此它們可以處理長度可變的輸入序列并展現(xiàn)出時間動態(tài)特性。圖5a展示了簡單RNN體系結(jié)構(gòu)的示例。
長短期記憶 (LSTM)。LSTM有望為 RNN 提供持續(xù)數(shù)千步的記憶。由于 RNN 架構(gòu)（如圖 5 所示）與 LSTM 單元的結(jié)合，深度神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)出色的預(yù)測，因為它們包含長期依賴性。圖 5b 中顯示了 LSTM 單元的四個主要組件：單元、輸入門、輸出門和遺忘門。在可變的時間段內(nèi)，單元記住值，而其他門控制信息流。
門控循環(huán)神經(jīng)網(wǎng)絡(luò)（GRU）。GRU是是LSTM的簡化版，沒有單獨記憶單元，但信息流增加。GRU沒有輸出門，但有更新門和重置門。GRU和LSTM在多季節(jié)時間序列學(xué)習(xí)復(fù)雜模式有局限，訓(xùn)練成本高。建議使用AD-LTI預(yù)測模型，整合GRU網(wǎng)絡(luò)和Prophet時間序列分解方法，顯式饋送季節(jié)性特征到GRU網(wǎng)絡(luò)中。在推斷期間，除季節(jié)性特征外，還會給定時間序列。由于預(yù)測基于以前的數(shù)據(jù)，可能存在異常點，需要局部趨勢不一致性(LTI)度量異常可能性。
卷積神經(jīng)網(wǎng)絡(luò)（CNN）。CNN是多層感知器的變種，以不同的方式進(jìn)行正規(guī)化。數(shù)據(jù)中的層次模式使得它們可以使用更小和更簡單的模式來構(gòu)建日益復(fù)雜的模式。CNN包括多個層，如圖6所示，包括卷積層、池化層和全連接層。
圖神經(jīng)網(wǎng)絡(luò)（GNN）。過去幾年，研究人員提出從MTS中提取空間信息并形成圖結(jié)構(gòu)。然后，時間序列異常檢測問題轉(zhuǎn)換為檢測給定圖結(jié)構(gòu)的時間序列異常，并且 GNN 已用于對這些圖進(jìn)行建模。GNN 的結(jié)構(gòu)如圖 7 所示。
圖7 用于多元時間序列異常檢測的圖神經(jīng)網(wǎng)絡(luò)（GNN）的基本結(jié)構(gòu)，可以學(xué)習(xí)指標(biāo)之間的關(guān)系（相關(guān)性）并預(yù)測時間序列的預(yù)期行為。
GNN通過學(xué)習(xí)空間結(jié)構(gòu)增強(qiáng)多元時間序列數(shù)據(jù)建模能力。GCN聚合一步鄰居建模節(jié)點特征表示，GAT使用注意力函數(shù)計算鄰居權(quán)重。GDN將向量嵌入節(jié)點以捕獲傳感器特性，并將傳感器間相關(guān)性捕獲為圖中邊緣。GANF結(jié)合圖形結(jié)構(gòu)學(xué)習(xí)增強(qiáng)正規(guī)化流，通過分解時間序列密度學(xué)習(xí)條件密度，并使用基于圖的依賴解碼器總結(jié)計算系列密度所需的條件信息。從時間序列中提取圖形結(jié)構(gòu)并使用GNN進(jìn)行建模，使得異常檢測模型能夠?qū)W習(xí)空間信息變化，是一個有希望的研究方向。
分層時間記憶（HTM）。使用分層時間處理進(jìn)行異常檢測的一個值得注意的例子是分層時間記憶（HTM）系統(tǒng)，該系統(tǒng)試圖模仿新皮質(zhì)中神經(jīng)元細(xì)胞、區(qū)域和級別的層次結(jié)構(gòu)[64]。如圖 8a 所示為典型的 HTM 算法組件。
圖8 (a) 基于分層時間存儲器 (HTM) 的異常檢測系統(tǒng)的組件。根據(jù) HTM 系統(tǒng)的輸出，它計算預(yù)測誤差和異常可能性度量。(b) HTM 細(xì)胞內(nèi)部結(jié)構(gòu)。在 HTM 細(xì)胞中，樹突被建模為重疊的檢測器，它們之間有突觸。上下文樹突接收來自該層中其他神經(jīng)元的橫向輸入。如果上下文樹突上的橫向活動足夠，則細(xì)胞進(jìn)入預(yù)測狀態(tài)。
基于模型預(yù)測歷史和誤差分布情況，異常可能性是一種概率度量，表明當(dāng)前狀態(tài)是否異常，如圖8a所示。在HTM序列記憶中，一層中排列著一列HTM神經(jīng)元（圖8b）。HTM包含多層區(qū)域，高層學(xué)習(xí)復(fù)雜模式，底層處理感官數(shù)據(jù)。頂層保存普遍概念，推斷模式時解釋子區(qū)域信息。HTM具有高容量和魯棒性，可同時學(xué)習(xí)多個模式，識別空間和時間序列。
Numenta HTM可檢測單變量時間序列中的時序異常，具有高效、適應(yīng)數(shù)據(jù)變化和小異常檢測能力，而Multi-HTM是學(xué)習(xí)模型，可解決廣泛的異常檢測問題。RADM是一個結(jié)合HTM和樸素貝葉斯網(wǎng)絡(luò)的實時框架，用于多變量時間序列的無監(jiān)督異常檢測，通過HTM算法檢測單變量時間序列中的異常，并將HTM與BN相結(jié)合以提高檢測準(zhǔn)確性。樸素貝葉斯網(wǎng)絡(luò)易于使用并可以指定后驗概率，用于細(xì)化新觀測結(jié)果。定義健康因子α，以提高檢查效率。
Transformer。Transformer是一種深度學(xué)習(xí)模型，根據(jù)不同部分的重要性，以不同的方式權(quán)衡輸入數(shù)據(jù)。與RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）不同，Transformer可以同時處理整個數(shù)據(jù)。由于其架構(gòu)僅基于注意力機(jī)制（如圖9所示），因此可以在計算上高效的同時捕獲長期依賴性。最近的研究利用Transformer來檢測時間序列中的異常，因為它可以處理文本數(shù)據(jù)中的序列數(shù)據(jù)進(jìn)行翻譯。
圖9 用于異常檢測的變壓器網(wǎng)絡(luò)結(jié)構(gòu)。Transformer使用編碼器-解碼器結(jié)構(gòu)來模擬神經(jīng)序列模型。編碼器和解碼器中都有多個相同的塊。每個編碼器塊由多頭自注意力模塊和位置前饋網(wǎng)絡(luò)組成。在解碼過程中，交叉注意力模型被插入到多頭自注意力模塊和位置前饋網(wǎng)絡(luò)之間。與循環(huán)神經(jīng)網(wǎng)絡(luò)不同，Transformer不包含任何循環(huán)或卷積。它不是直接對序列信息進(jìn)行建模，而是采用添加到輸入嵌入的位置編碼。
GTA采用雙向圖結(jié)構(gòu)學(xué)習(xí)多個物聯(lián)網(wǎng)傳感器之間的關(guān)系，通過影響傳播圖卷積自動學(xué)習(xí)傳感器依賴關(guān)系。使用多尺度擴(kuò)張卷積和圖卷積提供分層時間上下文編碼。SAnD使用注意力模型模擬臨床時間序列，消除復(fù)發(fā)需要，通過自注意力模塊和多個頭捕獲鄰域內(nèi)依賴關(guān)系，使用位置編碼技術(shù)和密集插值嵌入技術(shù)表示時間順序。
2.3 基于重建的模型
大多數(shù)復(fù)雜時間序列異常檢測方法基于對時間序列的建模來預(yù)測未來值和預(yù)測誤差，但尚不存在能針對快速連續(xù)變化時間序列產(chǎn)生準(zhǔn)確模型的穩(wěn)健預(yù)測模型（圖10）。因此，基于預(yù)測的異常檢測方法變得無效。隨著時間點數(shù)量的增加，基于預(yù)測的模型會大大增加預(yù)測誤差。為了克服這一缺陷，重建模型可能更為有效。通過將正常訓(xùn)練數(shù)據(jù)中的子序列編碼到潛在空間中，構(gòu)建了正常行為的模型。在測試階段，模型無法重建異常子序列，得出重建誤差，從而檢測到異常。當(dāng)重建概率低于指定的閾值時，會觸發(fā)異常檢測。
圖10 時間序列在任何給定時刻可能是未知的，或者可能像 (b) 那樣快速變化，該圖說明了用于手動控制的傳感器讀數(shù)。這樣的時間序列無法提前預(yù)測，使得基于預(yù)測的異常檢測無效。
自動編碼器（AE）。自編碼器是一種神經(jīng)網(wǎng)絡(luò)，被廣泛研究用于MTS異常檢測的非線性降維能力形式。它包含編碼器和解碼器兩個組件（如圖11a），用于學(xué)習(xí)低維度表示并重建輸入。理想情況下，自編碼器可以精確重構(gòu)輸入并最小化重構(gòu)誤差。
圖11 (a) 自動編碼器的基本結(jié)構(gòu)，它將輸入窗口壓縮為低維表示 (?)，然后根據(jù)該表示重建輸出 ???。(b) 變分自動編碼器，接收大小為 ?? 的輸入窗口。通過壓縮它，編碼器創(chuàng)建潛在分布。使用來自參數(shù)化分布的采樣數(shù)據(jù)作為輸入，解碼器輸出 ??? 盡可能接近 ??。
研究人員提出了稀疏自編碼器、去噪自編碼器和卷積自編碼器等技術(shù)，以獲取和表達(dá)主導(dǎo)信息。Sakurada和Yairi將自編碼器應(yīng)用于多時間序列降維并檢測異常，結(jié)果表明自編碼器能夠檢測到線性PCA無法檢測到的異常組件，去噪自編碼器可以提高自編碼器的性能。DAGMM使用高斯混合先驗估計MTS輸入樣本的概率，包括壓縮網(wǎng)絡(luò)和估計網(wǎng)絡(luò)，但只考慮了空間上的相關(guān)性，沒有考慮時間信息。ENCDEC-AD模型可以檢測出不可預(yù)測的單變量時間序列中的異常，但沒有考慮時間信息。MSCRED是一種基于注意力的ConvLSTM網(wǎng)絡(luò)，用于捕捉時間趨勢并編碼、重構(gòu)簽名矩陣，從而檢測異常。在CAE-Ensemble中，介紹了卷積序列到序列的自編碼器，通過集成和參數(shù)轉(zhuǎn)移策略提高準(zhǔn)確性，減少訓(xùn)練時間和錯誤。RANSysCoders是eBay使用的實時異常檢測方法，采用多編碼器和解碼器隨機(jī)選擇特征進(jìn)行推斷和異常定位。AMSL算法將自監(jiān)督學(xué)習(xí)和記憶網(wǎng)絡(luò)整合在一起，克服了正常數(shù)據(jù)有限的挑戰(zhàn)，從而實現(xiàn)了端到端訓(xùn)練。
變分自動編碼器（VAE）。圖11b顯示了變分自編碼器（VAE）的典型配置，這是一種有向概率圖模型，將神經(jīng)網(wǎng)絡(luò)自編碼器與均值場變分貝斯（mean-field variational Bayes）結(jié)合在一起。
LSTM-VAE結(jié)合LSTM和變分自編碼器，采用去噪自編碼方法訓(xùn)練，使用動態(tài)閾值減少誤報。Donut模型為監(jiān)督式異常檢測方法，使用修改的ELBO、缺失數(shù)據(jù)注入和MCMC插補(bǔ)。Bagel采用條件變分自編碼器處理時間序列異常，考慮時間信息。STORN模型使用變分推理學(xué)習(xí)高維時間序列數(shù)據(jù)的概率生成模型。OmniAnomaly使用隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多元數(shù)據(jù)的穩(wěn)健表示，并使用平面正規(guī)流描述潛在空間中的非高斯分布。InterFusion采用具有兩個隨機(jī)潛在變量的層次變分自編碼器學(xué)習(xí)跨度量和時間表示，并采用預(yù)濾波策略防止過度擬合。MCMC imputation用于多變量時間序列以進(jìn)行異常解釋，并引入IPS作為分段度量。Buzz采用基于分區(qū)分析的對抗訓(xùn)練方法進(jìn)行異常檢測。SISVAE通過在訓(xùn)練深度生成模型之前進(jìn)行平滑處理來檢測點級異常。無監(jiān)督的基于GRU的高斯混合VAE解決了時間序列數(shù)據(jù)固有的多模態(tài)分布問題。重編碼器和潛在約束網(wǎng)絡(luò)(VELC)被添加到VAE架構(gòu)中以獲得新的潛在向量，并用于最大化異常分?jǐn)?shù)（重構(gòu)誤差），以便準(zhǔn)確建模正常樣本。VAE和LSTM集成到一個組件中用于無監(jiān)督異常檢測和穩(wěn)健預(yù)測支持。譜殘差(SR)被用于增強(qiáng)性能，為每個子序列分配一個權(quán)重以顯示正常性的程度。TopoMAD是一種結(jié)合了圖神經(jīng)網(wǎng)絡(luò)、LSTM和VAE的多元時間序列異常檢測器，用于檢測具有時空學(xué)習(xí)的云系統(tǒng)中的無監(jiān)督異常。
生成式對抗性網(wǎng)絡(luò)（GAN）。GAN是一種為基于博弈論的生成建模而設(shè)計的人工智能算法。在生成模型中，探索訓(xùn)練示例，并學(xué)習(xí)生成它們的概率分布。通過這種方式，生成對抗網(wǎng)絡(luò)可以根據(jù)估計的分布生成更多的示例，如圖12所示。
圖12 生成對抗網(wǎng)絡(luò) (GAN) 的概述，由兩個主要組件組成：生成器和鑒別器。生成器構(gòu)造直接連接到鑒別器輸入的時間序列的虛假輸入窗口。鑒別器通過使用生成的實例作為負(fù)訓(xùn)練示例來學(xué)習(xí)區(qū)分真實時間序列和假窗口。可以通過組合經(jīng)過訓(xùn)練的鑒別器和生成器來計算組合異常分?jǐn)?shù)。
GAN已應(yīng)用于多種用途，但因其依賴博弈論面臨獨特挑戰(zhàn)。GAN模型在考慮對抗性學(xué)習(xí)時，使判別器對當(dāng)前數(shù)據(jù)集之外的數(shù)據(jù)更敏感，數(shù)據(jù)重構(gòu)更具挑戰(zhàn)性。BeatGAN能夠利用自編碼器和GAN組合進(jìn)行無標(biāo)簽重構(gòu)，時間扭曲方法可提高檢測準(zhǔn)確性。GAN訓(xùn)練困難，需在判別器和生成器間保持平衡。DAEMON可檢測時序數(shù)據(jù)中的異常。GAN采用先驗分布和對抗策略擬合隱藏變量的后驗分布。MAD-GAN是捕獲時間關(guān)系的LSTM-RNNGAN模型，同時考慮潛在交互作用以檢測異常。FGANomaly通過偽標(biāo)簽篩選可能的異常樣本，降低過度擬合問題，更準(zhǔn)確地捕獲正常分布。
Transformers。研究者提出了一種名為Anomaly Transformer的模型，該模型采用注意力機(jī)制，對每個時間戳進(jìn)行先驗關(guān)聯(lián)和序列關(guān)聯(lián)建模，以捕捉關(guān)聯(lián)差異，使罕見異常更加明顯。TranAD是另一種基于變壓器的異常檢測模型，具有自調(diào)節(jié)和對抗訓(xùn)練，通過放大重構(gòu)誤差的對抗訓(xùn)練策略來解決當(dāng)偏差過小無法檢測異常的問題。Li等人提出了一種名為DCT-GAN的無監(jiān)督方法，使用變壓器處理時間序列數(shù)據(jù)、GAN模型用于重建樣本和檢測異常、擴(kuò)張的CNN結(jié)構(gòu)從潛在空間中提取時間信息，不同尺度的幾個變壓器生成器以獲取粗粒度和細(xì)粒度的信息，提高泛化能力。MT-RVAE在變壓器序列建模和VAE功能方面獲得了顯著的好處。
2.4 混合模型
混合模型將基于預(yù)測的模型與基于重構(gòu)的模型相結(jié)合，以獲得更好的時間序列表示。預(yù)測模型使用下一個時間戳的預(yù)測，而重構(gòu)模型使用整個時間序列的潛在表示。可以使用聯(lián)合目標(biāo)函數(shù)同時優(yōu)化兩個模型。
自動編碼器（AE）。深度卷積自動編碼記憶網(wǎng)絡(luò)（CAE-M）通過捕捉多傳感器時間序列中的時空相關(guān)性，對目標(biāo)分布進(jìn)行近似，并建模基于標(biāo)準(zhǔn)化數(shù)據(jù)的廣義模式。為降低過擬合，使用帶有MMD罰項的深度卷積自動編碼器。為表示時間依賴性，采用非線性雙向LSTM和注意力機(jī)制以及線性自回歸模型。貝葉斯濾波（NSIBF）是一種新型基于密度的時序異常檢測框架，用于網(wǎng)絡(luò)物理安全。通過遞歸狀態(tài)空間模型，端到端訓(xùn)練神經(jīng)網(wǎng)絡(luò)跟蹤隱藏狀態(tài)的不確定性，以捕獲CPS動力學(xué)。貝葉斯濾波自動應(yīng)用于“已識別”的狀態(tài)空間模型，以篩選出隱藏狀態(tài)并估計觀察值的似然性。NSIBF結(jié)合神經(jīng)網(wǎng)絡(luò)和貝葉斯濾波器的能力，高精度檢測復(fù)雜CPS中噪聲傳感器數(shù)據(jù)中的異常。
循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。TAnoGAN方法能夠在有限的時間序列數(shù)據(jù)樣本中檢測到異常。TAnoGAN已經(jīng)使用了涵蓋多個主題的46個NAB時間序列數(shù)據(jù)集進(jìn)行評估。實驗表明，基于LSTM的GAN在通過對抗訓(xùn)練處理時間序列數(shù)據(jù)時，優(yōu)于其他基于LSTM的GAN。
圖神經(jīng)網(wǎng)絡(luò)（GNN）。基于兩個并行圖注意力層（GAT）用于多變量時間序列異常檢測，可提取相關(guān)性并學(xué)習(xí)時間戳關(guān)系，結(jié)合預(yù)測和重建模型，具有診斷功能。FuSAGNet將SAE重建和GNN預(yù)測融合，發(fā)現(xiàn)復(fù)雜異常類型。結(jié)合GDN，嵌入傳感器并使用循環(huán)單元捕獲時間依賴關(guān)系。通過學(xué)習(xí)循環(huán)傳感器嵌入和稀疏潛在表示，GNN在測試時預(yù)測期望行為。
3 深度學(xué)習(xí)在時間序列異常檢測中的應(yīng)用
3.1 物聯(lián)網(wǎng)（IoT）
物聯(lián)網(wǎng)（IoT）在監(jiān)測發(fā)電廠工業(yè)設(shè)備和處理緊急情況中發(fā)揮著重要作用，對數(shù)據(jù)的分析和過濾可以識別異常并節(jié)省計算資源。Greenhouse使用多步前瞻性預(yù)測長短期記憶（LSTM）對大量物聯(lián)網(wǎng)時間序列進(jìn)行預(yù)測。半監(jiān)督層次堆疊時間卷積網(wǎng)絡(luò)（TCN）用于智能家居通信中的異常檢測，但無法抵抗輸入分布的變化。工業(yè)物聯(lián)網(wǎng)（IIoT）產(chǎn)生大量數(shù)據(jù)，基于LSTM的模型可分析和預(yù)測IIoT設(shè)備的傳感器數(shù)據(jù)，SCVAE用于無監(jiān)督異常檢測。
3.2 服務(wù)器機(jī)器監(jiān)控與維護(hù)
云計算推動微服務(wù)架構(gòu)發(fā)展，具有獨立部署、快速交付和擴(kuò)展靈活性。故障排除是關(guān)鍵，持續(xù)監(jiān)控在線系統(tǒng)發(fā)現(xiàn)異常。SLA-VAE使用半監(jiān)督VAE識別多元時間序列中的異常，提高穩(wěn)健性。主動學(xué)習(xí)框架在線學(xué)習(xí)和更新檢測模型。實驗采用兩種游戲業(yè)務(wù)云服務(wù)器數(shù)據(jù)，11個監(jiān)控指標(biāo)。物聯(lián)網(wǎng)中，無線傳感器網(wǎng)絡(luò)(WSN)至關(guān)重要。AE模型用于WSN異常檢測，無需與其他傳感器或云通信，在傳感器本地檢測異常。通過真實WSN室內(nèi)實驗評估。
3.3 計算機(jī)網(wǎng)絡(luò)
網(wǎng)絡(luò)管理員需保護(hù)計算機(jī)網(wǎng)絡(luò)免受攻擊，入侵檢測系統(tǒng)至關(guān)重要。傳統(tǒng)濫用檢測策略無法檢測新入侵類型，異常檢測通過學(xué)習(xí)正常網(wǎng)絡(luò)行為檢測新模式。CDN提供增強(qiáng)用戶體驗和更短響應(yīng)時間。SDFVAE學(xué)習(xí)KPI潛在表示。NIDS使用深度學(xué)習(xí)技術(shù)獲取高質(zhì)量特征表示，應(yīng)用于正常和異常流量記錄。移動數(shù)據(jù)流量增長，RCAD提出分布式架構(gòu)，使用HTM算法檢測RTT異常。
3.4 城市事件管理
交通異常檢測面臨時空特性建模和異常標(biāo)準(zhǔn)差異挑戰(zhàn)。Zhang等人提出時空分解框架，結(jié)合圖嵌入算法和全連接核心神經(jīng)網(wǎng)絡(luò)，半監(jiān)督學(xué)習(xí)空間和時間特征。生成器和鑒別器使用圖卷積門控循環(huán)單元學(xué)習(xí)短期時空特征。位置和時間感知異常分?jǐn)?shù)用于評估。CHAT基于層次注意力網(wǎng)絡(luò)，結(jié)合雙向循環(huán)層和時間注意力機(jī)制，捕獲未來異常相關(guān)信息。Uber使用端到端神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行不確定性估計，提高異常檢測精度。GTransformer和TH-GAT分別研究圖神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合和時域分層圖注意力網(wǎng)絡(luò)，提高交通預(yù)測準(zhǔn)確性。
3.5 天文研究
隨著天文學(xué)觀測和數(shù)據(jù)處理技術(shù)的進(jìn)步，數(shù)據(jù)量呈指數(shù)級增長。光變曲線圖是觀測數(shù)據(jù)的一部分，通過研究光變曲線圖，開辟了一種全新的天文事件檢測方法，有助于觀測到更多天文現(xiàn)象。文獻(xiàn)中曾提出了一個LSTM神經(jīng)網(wǎng)絡(luò)用于預(yù)測光變曲線圖。
3.6 航空航天
航天器異常檢測系統(tǒng)至關(guān)重要，可提前發(fā)現(xiàn)潛在危險。新型變壓器模型具有時間戳注意力機(jī)制和掩碼策略。多模式無監(jiān)督AD方法，結(jié)合深度AE和跳躍連接AE，實現(xiàn)大型設(shè)備（如LRE）和多源數(shù)據(jù)的可靠和自動異常檢測。
3.7 自然災(zāi)害檢測
實時地震檢測需要高密度網(wǎng)絡(luò)以充分利用廉價傳感器。低成本加速度傳感器用于地震檢測，CNNs、CRNN和LSTM等算法用于分析、定位和預(yù)測地震。實時地震檢測依賴于高密度網(wǎng)絡(luò)和大量廉價傳感器，可分析歷史數(shù)據(jù)以找出遺漏事件。地震預(yù)測依賴于地震前兆數(shù)據(jù)，分為趨勢變化和高頻突變兩類。LSTM網(wǎng)絡(luò)可預(yù)測正常數(shù)據(jù)并判斷行為是否異常。
3.8 醫(yī)療衛(wèi)生
深度學(xué)習(xí)模型如RNNs、ESN、TCN、2D-CNN用于檢測心臟病和老年癡呆癥，捕捉心跳序列時序特征，即使在噪聲環(huán)境下也能產(chǎn)生有前途的結(jié)果。EEG信號用于檢測癲癇病，2D-CNN隨機(jī)集成模型用于檢測早期老年癡呆癥癥狀。
3.9 能源
使用LSTM網(wǎng)絡(luò)架構(gòu)可以監(jiān)測和檢測工業(yè)時間序列中的故障。Wen和Keyes[181]使用CNN進(jìn)行異常檢測，以解決數(shù)據(jù)稀疏性問題。[14]中，基于CNN的濾波器提供額外安全層，幫助識別網(wǎng)絡(luò)攻擊并做出決策。Fan等人[59]提出基于自編碼器的集成方法，用于分析建筑物中的能源時間序列，檢測意外消耗模式和過度浪費(fèi)。
3.10工業(yè)控制系統(tǒng)
事件驅(qū)動進(jìn)程具有快速和慢速模式，難以模擬。THREAT使用系統(tǒng)調(diào)用和屬性檢測異常，內(nèi)核級別檢測提供對復(fù)雜機(jī)器對機(jī)器交互的新洞見。MIMO架構(gòu)擴(kuò)大模型規(guī)模并應(yīng)對更嚴(yán)重威脅。基于MIMO的模型和擴(kuò)展特征集增加異常檢測范圍。GAN用于異常檢測和定位，多元時間序列轉(zhuǎn)換為2D圖像，利用卷積濾波器分析時間序列數(shù)據(jù)的時間關(guān)聯(lián)和多變量之間的相關(guān)性。LSTM自編碼器檢測多元流中的異常，CNN處理半導(dǎo)體制造過程中產(chǎn)生的多元時間序列，MTS-CNN用于檢測異常晶片并提供半導(dǎo)體生產(chǎn)中根本原因分析的有用信息。
3.11 機(jī)器人
工業(yè)機(jī)器人在現(xiàn)代制造業(yè)中提高生產(chǎn)率與質(zhì)量，但故障可能導(dǎo)致災(zāi)難。SWCVAE用于檢測多元時間序列中的異常，可預(yù)防潛在危險。LSTM-VAE分析24個人的1555個機(jī)器人喂食執(zhí)行，包括12種異常。STORN的S?lch等人記錄七個關(guān)節(jié)的聯(lián)合配置，用于訓(xùn)練和測試Baxter機(jī)器人手臂，收集1000個無異常樣本，300個異常樣本用于測試。
3.12 環(huán)境管理
海洋工程中的結(jié)構(gòu)和系統(tǒng)需要實時監(jiān)測海洋環(huán)境，海洋觀測系統(tǒng)（OOS）通過傳感器和設(shè)備提供數(shù)據(jù)，必須在惡劣條件下工作。OceanWNN模型利用小波神經(jīng)網(wǎng)絡(luò)（Wavelet Neural Network）檢測OOS中的異常，可實時工作并檢測新的未知異常。廢水處理廠需要優(yōu)化運(yùn)行，研究人員使用LSTM方法監(jiān)測流程并檢測集體故障。能源管理系統(tǒng)使用端到端CNN模型檢測管道中的內(nèi)部流噪聲泄漏。
參考資料：《 Deep Learning for Time Series Anomaly Detection: A Survey》