【導(dǎo)讀】大家好，我是泳魚。一個(gè)樂于探索和分享AI知識(shí)的碼農(nóng)！
時(shí)間序列異常檢測是一項(xiàng)重要的任務(wù)，其目標(biāo)是從時(shí)間序列的正常樣本分布中識(shí)別異常樣本。這一任務(wù)的最基本挑戰(zhàn)在于學(xué)習(xí)一個(gè)能有效識(shí)別異常的表示映射。
它在許多領(lǐng)域中都有廣泛的應(yīng)用，例如工業(yè)設(shè)備狀態(tài)監(jiān)測、金融欺詐檢測、故障診斷，以及汽車日常監(jiān)測和維護(hù)等。然而，由于時(shí)間序列數(shù)據(jù)的復(fù)雜性和多樣性，時(shí)間序列異常檢測仍然是一個(gè)具有挑戰(zhàn)性的問題。
在以往的時(shí)間序列異常檢測中，使用最多的方法是基于Reconstruction（重建）的方法，但是在其表示學(xué)習(xí)可能會(huì)因其巨大的異常損失而損害性能。不同的是，對(duì)比學(xué)習(xí)旨在找到一種能明確區(qū)分任何實(shí)例的表示，這可能為時(shí)間序列異常檢測帶來更自然和有前景的表示。
日前，KDD 2023中，牛津大學(xué)與阿里巴巴聯(lián)合發(fā)表的時(shí)間序列異常檢測工作，提出了一種名為DCdetector的算法用于時(shí)間序列異常檢測，這是一個(gè)多尺度雙注意力對(duì)比表征學(xué)習(xí)模型（文末附原文及代碼下載鏈接）。
DCdetector利用一個(gè)新穎的雙注意力非對(duì)稱設(shè)計(jì)來創(chuàng)建排列環(huán)境和純對(duì)比損失，以引導(dǎo)學(xué)習(xí)過程，從而學(xué)習(xí)具有優(yōu)越判別能力的排列不變表示。大量實(shí)驗(yàn)表明DCdetector在多個(gè)時(shí)間序列異常檢測基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了不錯(cuò)的成果。本工作的主要貢獻(xiàn)如下：
架構(gòu)：基于對(duì)比學(xué)習(xí)的雙分支注意結(jié)構(gòu)，旨在學(xué)習(xí)排列不變表示差異的學(xué)習(xí)在正常點(diǎn)和異常點(diǎn)之間。同時(shí)，還提出了通道獨(dú)立補(bǔ)丁來增強(qiáng)時(shí)間序列中的局部語義信息。在注意模塊中提出了多尺度的算法，以減少補(bǔ)丁過程中的信息丟失。
優(yōu)化：基于兩個(gè)分支的相似性，設(shè)計(jì)了一個(gè)有效且魯棒的損失函數(shù)。請(qǐng)注意，該模型是純對(duì)比訓(xùn)練的，沒有重建損失，這減少了異常造成的干擾。
性能和證明：DCdetector在6個(gè)多變量和一個(gè)單變量時(shí)間序列異常檢測基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了與最先進(jìn)的方法相媲美或優(yōu)越的性能。我們還提供了理由討論來解釋我們的模型如何在沒有負(fù)樣本的情況下避免崩潰。
在本文中，作者介紹了一些與DCdetector相關(guān)的工作，包括異常檢測和對(duì)比學(xué)習(xí)。
檢測時(shí)間序列中異常的方法多種多樣，包括統(tǒng)計(jì)方法、經(jīng)典機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。統(tǒng)計(jì)方法包括使用移動(dòng)平均、指數(shù)平滑和自回歸綜合移動(dòng)平均（ARIMA）模型。機(jī)器學(xué)習(xí)方法包括聚類算法，如k-均值和基于密度的方法，以及分類算法，如決策樹和支持向量機(jī)（SVMs）。深度學(xué)習(xí)方法包括使用自動(dòng)編碼器、變分自動(dòng)編碼器（VAEs）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs），如長短期記憶（LSTM）網(wǎng)絡(luò)。最近在時(shí)間序列異常檢測方面的工作還包括基于生成對(duì)抗網(wǎng)絡(luò)（GANs）的方法和基于深度強(qiáng)化學(xué)習(xí)（DRL）的方法。一般來說，深度學(xué)習(xí)方法在識(shí)別時(shí)間序列中的異常方面更有效。（擴(kuò)展閱讀：1、深度學(xué)習(xí)時(shí)間序列的綜述 2、時(shí)序預(yù)測的深度學(xué)習(xí)算法介紹 ）
時(shí)間序列異常檢測模型大致可以分為兩類：有監(jiān)督和無監(jiān)督異常檢測算法。當(dāng)異常標(biāo)簽可用或負(fù)擔(dān)得起時(shí)，有監(jiān)督的方法可以表現(xiàn)得更好；在難以獲得異常標(biāo)簽的情況下，可以應(yīng)用無監(jiān)督異常檢測算法。無監(jiān)督深度學(xué)習(xí)方法在時(shí)間序列異常檢測中得到了廣泛的研究。
對(duì)比表示學(xué)習(xí)：對(duì)比表示學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個(gè)嵌入空間，其中相似的數(shù)據(jù)樣本彼此保持靠近，而不相似的數(shù)據(jù)樣本則相距較遠(yuǎn)。使用對(duì)比設(shè)計(jì)使兩種類型的樣本之間的距離更大具有啟發(fā)意義。我們嘗試使用經(jīng)過精心設(shè)計(jì)的多尺度拼接注意力模塊來區(qū)分時(shí)間序列異常和正常點(diǎn)。此外，我們的DCdetector也不需要負(fù)樣本，并且即使沒有“stop gradient”也不會(huì)失效。
圖1：三種方法的體系結(jié)構(gòu)比較。基于重構(gòu)的方法使用表示神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)正常點(diǎn)的模式并進(jìn)行重構(gòu)。在異常變壓器中，用高斯核學(xué)習(xí)先驗(yàn)差異，用變壓器模塊學(xué)習(xí)關(guān)聯(lián)差異；MinMax關(guān)聯(lián)學(xué)習(xí)也是至關(guān)重要的，并且包含了重構(gòu)損失。DCdetector非常簡潔，沒有特別設(shè)計(jì)的高斯核或MinMax學(xué)習(xí)策略，也沒有重構(gòu)損失。
二、基于對(duì)比學(xué)習(xí)的時(shí)間序列異常檢測方法
在DCdetector中，我們提出了一種具有雙注意的對(duì)比表示學(xué)習(xí)結(jié)構(gòu)，從不同的角度獲得輸入時(shí)間序列的表示。雙注意對(duì)比結(jié)構(gòu)模塊在我們的設(shè)計(jì)中至關(guān)重要。它學(xué)習(xí)了不同視角下輸入的表示。
我們的洞察是，對(duì)于正常點(diǎn)，它們大多數(shù)情況下即使在不同的視角下也會(huì)共享相同的潛在模式（強(qiáng)相關(guān)性不容易被破壞）。然而，由于異常點(diǎn)很少且沒有明確的模式，它們很難與正常點(diǎn)或彼此之間共享潛在模式（即，異常點(diǎn)與其他點(diǎn)之間的相關(guān)性較弱）。因此，正常點(diǎn)在不同視角下的表示差異將很小，而異常點(diǎn)的表示差異將很大。我們可以通過一個(gè)精心設(shè)計(jì)的表示差異標(biāo)準(zhǔn)來區(qū)分異常點(diǎn)和正常點(diǎn)。至于異常標(biāo)準(zhǔn)，我們基于兩種表示之間的差異來計(jì)算異常分?jǐn)?shù)，并使用先驗(yàn)閾值進(jìn)行異常檢測。
圖2：DCdetector框架的工作流程。DCdetector由四個(gè)主要模塊組成：正向過程模塊、雙注意對(duì)比結(jié)構(gòu)模塊、表示差異模塊和異常準(zhǔn)則模塊。
圖3：基本補(bǔ)丁注意。將多元時(shí)間序列輸入中的每個(gè)通道被視為一個(gè)單一的時(shí)間序列，并劃分為斑塊。每個(gè)通道共享相同的自注意網(wǎng)絡(luò)，表示結(jié)果被連接為最終輸出。
圖4：關(guān)于如何進(jìn)行上采樣的一個(gè)簡單示例。對(duì)于補(bǔ)丁分支，在補(bǔ)丁中重復(fù)（從補(bǔ)丁到點(diǎn)）。對(duì)于補(bǔ)丁內(nèi)分支，從“一個(gè)”補(bǔ)丁到全部補(bǔ)丁（從點(diǎn)到補(bǔ)丁）進(jìn)行重復(fù)。
我們根據(jù)各種評(píng)估標(biāo)準(zhǔn)將我們的模型與 26 個(gè)基線進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，與各種最先進(jìn)的算法相比，DCdetector在七個(gè)基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了最佳或可比的性能。
表1：對(duì)真實(shí)世界的多變量數(shù)據(jù)集的總體結(jié)果。性能從最低到最高。P、R和f1是精度、查全率和f1分?jǐn)?shù)。（所有的結(jié)果都是%的，最好的是粗體的，次之是下劃線的。下同）
表2：在真實(shí)世界的多變量數(shù)據(jù)集上的多度量結(jié)果。Aff-P和Aff-R分別是隸屬度度量[31]的精確度和查全率。R_A_R和R_A_P分別為Range-AUC-ROC和Range-AUC-PR [49]，分別表示基于ROC曲線和PR曲線下的標(biāo)簽轉(zhuǎn)換的兩個(gè)分?jǐn)?shù)。V_ROC和V_RR分別是基于ROC曲線和PR曲線[49]創(chuàng)建的表面下的體積。
表3：NIPS-TS數(shù)據(jù)集的總體結(jié)果。性能從最低到最高。
表4：NIPS-TS數(shù)據(jù)集上的多指標(biāo)結(jié)果。
表7：單變量數(shù)據(jù)集的總體結(jié)果。
圖5：對(duì)不同類型異常的DCdetector和異常變壓器之間的地面-真實(shí)異常和異常得分的可視化比較。
圖6：DCdetector中主要超參數(shù)的參數(shù)靈敏度研究。
圖7：在不同????????????大小的訓(xùn)練期間，平均GPU內(nèi)存成本和100次迭代的平均運(yùn)行時(shí)間。
我們?cè)贒Cdetector中設(shè)計(jì)了一個(gè)基于對(duì)比學(xué)習(xí)的雙注意結(jié)構(gòu)來學(xué)習(xí)一個(gè)排列不變表示。這種表示擴(kuò)大了正常點(diǎn)和異常點(diǎn)之間的差異，提高了檢測精度。此外，還實(shí)現(xiàn)了兩種設(shè)計(jì)：多尺度和通道獨(dú)立補(bǔ)丁，以提高性能。
此外，我們提出了一個(gè)無重構(gòu)誤差的純對(duì)比損失函數(shù)，并通過經(jīng)驗(yàn)證明了對(duì)比表示與廣泛使用的重構(gòu)表示相比的有效性。最后，大量的實(shí)驗(yàn)表明，與各種最先進(jìn)的算法相比，DCdetector在7個(gè)基準(zhǔn)數(shù)據(jù)集上取得了最佳的或可比較的性能。
關(guān)注??公眾號(hào)，后臺(tái)回復(fù)【DC】即可下載原論文及代碼
