基于圖注意力機制和Transformer的異常檢測數(shù)據(jù)派THU關(guān)注共 2105字,需瀏覽 5分鐘 ·2022-05-23 01:07 來源:專知本文為論文,建議閱讀6分鐘本文提出了一種基于圖注意力和Transformer的異常檢測模型。異常檢測對電力行業(yè)的發(fā)展有著重要的影響,如何根據(jù)大規(guī)模電力數(shù)據(jù)進(jìn)行異常檢測是重要的研究熱點.目前,大多數(shù)研究通過聚類或神經(jīng)網(wǎng)絡(luò)進(jìn)行異常檢測. 但是這些方法忽略了時序數(shù)據(jù)之間潛在的關(guān)聯(lián)關(guān)系及某些特點的重要信息,沒有充分挖掘出數(shù)據(jù)的潛在價值. 因此,提出了一種基于圖注意力和Transformer的異常檢測模型. 該模型首先根據(jù)數(shù)據(jù)中臺中獲取的電力數(shù)據(jù)(主要包括用戶ID、電能表ID、用戶類型、電流、電壓、功率等數(shù)據(jù))構(gòu)建一個異構(gòu)信息網(wǎng)絡(luò);然后,為了減少模型參數(shù)和避免出現(xiàn)過擬合的現(xiàn)象,在圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)模型的基礎(chǔ)上,引入非負(fù)矩陣分解(Non-Negative Matrix Factorization,NNMF)的方法來進(jìn)行相似性學(xué)習(xí);最后采用圖注意力網(wǎng)絡(luò)(Graph Attention Network,GAT)和Transformer共同捕獲數(shù)據(jù)間的相互關(guān)聯(lián)關(guān)系,從而提高檢測精度. 以中國某地區(qū)的電力數(shù)據(jù)為基礎(chǔ)進(jìn)行驗證, 實驗結(jié)果表明所提出的方法可以有效進(jìn)行異常檢測.http://www.ejournal.org.cn/CN/10.12263/DZXB.20211209引言異常檢測指出從預(yù)期正常數(shù)據(jù)中檢測出扭曲或偏 差的數(shù)據(jù)[1,3] ,這些數(shù)據(jù)通常被稱為異常值 . 異常檢測 已被用于許多重要領(lǐng)域,如視頻監(jiān)控、網(wǎng)絡(luò)入侵檢測、 信用欺詐檢測、電力行業(yè)和醫(yī)療保健.?對于電力行業(yè),隨著電力系統(tǒng)信息化水平的提高, 各種電力設(shè)備和系統(tǒng)需要處理大量數(shù)據(jù)[4] . 然而,需要 處理的事件信息類型多樣,難以從數(shù)據(jù)中提取有用信息[5] . 此外,由于各種通信故障[6] 、設(shè)備故障[7] 、電網(wǎng)波 動[8] 和用戶行為異常等原因,出現(xiàn)了大量的異常數(shù)據(jù) . 這些異常數(shù)據(jù)往往包含電網(wǎng)信息中的重要信息,對電 力數(shù)據(jù)的準(zhǔn)確性和完整性有著重要影響. 因此,基于大 規(guī)模電力數(shù)據(jù),研究異常檢測算法,分析、識別、處理異 常信息,對電力行業(yè)挖掘事件信息和智能電網(wǎng)的分析 具有重要意義[9,10] . 目前,傳統(tǒng)數(shù)據(jù)異常檢測方法主要依靠數(shù)據(jù)專家、 業(yè)務(wù)專家等人力進(jìn)行排查[11,12] . 隨著各行業(yè)及各專業(yè) 數(shù)據(jù)化建設(shè)規(guī)模的逐漸擴大,依靠傳統(tǒng)方法對海量、實 時、異構(gòu)的數(shù)據(jù)異常檢測方法漸顯不足. 主要問題在于 人工成本大、時間周期長,依賴專家經(jīng)驗無法并發(fā)批量 工作,人工治理還會引發(fā)錯漏現(xiàn)象等,無法快速、準(zhǔn)確、 低成本地滿足業(yè)務(wù)數(shù)據(jù)的使用需求;同時缺乏異構(gòu)數(shù) 據(jù)環(huán)境下數(shù)據(jù)拓?fù)潢P(guān)系高效管理的手段,無法實現(xiàn)復(fù) 雜邏輯數(shù)據(jù)管理智能化及數(shù)據(jù)脈絡(luò)關(guān)系可視化和清晰 化,與真正實現(xiàn)“追根溯源”式的數(shù)據(jù)核查理念還存在 一定的差距.近年來,隨著數(shù)據(jù)科學(xué)的進(jìn)步以及人工智能技術(shù) 的發(fā)展,提出了一些基于數(shù)據(jù)挖掘和智能優(yōu)化算法的 異常檢測方法[13,14] . Wang 等人[13]采用不同的聚類算 法,根據(jù)電表收集的平均損失、線路損耗變化效率和電 流表開路記錄來檢測10個kV非技術(shù)損失,最后對各種 聚類算法的檢測效果進(jìn)行了分析和比較 . 基于異常用 戶用電的差異行為特征和正常用戶,Buzau等人[14] 使用 長期和短期的記憶網(wǎng)絡(luò)和多層感知器混合的深度神經(jīng) 網(wǎng)絡(luò)來進(jìn)行異常檢測,它們比其他分類器具有更高的 精度. 針對考慮時序數(shù)據(jù)的關(guān)聯(lián)性方面,Chahla等人[15] 提出了一種基于長短期記憶的異常檢測方法,用于從 單變量時間序列數(shù)據(jù)中進(jìn)行不和諧搜索,然后根據(jù)觀 測的數(shù)據(jù)預(yù)測誤差,最后通過統(tǒng)計策略進(jìn)行異常檢測. Barua等人[16] 提出了一個基于層次時空記憶(Hierarchi? cal Temporal Memory,HTM)的新型神經(jīng)認(rèn)知啟發(fā)架構(gòu), 用于利用微相位測量單元數(shù)據(jù)進(jìn)行智能電網(wǎng)的實時異 常檢測 . 其關(guān)鍵的技術(shù)思想是,HTM 學(xué)習(xí)連續(xù)數(shù)據(jù)的 稀疏性和關(guān)聯(lián)性的時間表示,這對于實時的異常檢測 非常有用 . Rouzbahani 等人[17] 提出了一種用于智能電 網(wǎng)ETD的集合深度卷積神經(jīng)網(wǎng)絡(luò)(EDCNN)算法. 該算 法首先采用隨機下采樣技術(shù)來處理不平衡數(shù)據(jù),然后 利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)來挖掘數(shù)據(jù)之間的相 互依賴性,最后,通過嵌入一個投票機制來實現(xiàn)竊電檢 測. 這些方法雖然取得了不錯的檢測效果,但是可能會 忽略掉特定用戶的某些重要信息. 針對上述問題,本文提出了一種基于圖注意力和 Transformer 的異常檢測模型 . 該模型首先根據(jù)數(shù)據(jù) 中臺中收集的電力數(shù)據(jù)構(gòu)建一個異構(gòu)信息網(wǎng)絡(luò);然 后采用圖卷積網(wǎng)絡(luò)(Graph Convdutional Netword,GCN) 和 非 負(fù) 矩 陣 分 解(Non-Negathe Matrix Factorization, NNMF)相結(jié)合的方法進(jìn)行相似性分組;最后采用圖注 意力機制和 Transformer 相結(jié)合的方式進(jìn)行分組異常檢測。 瀏覽 18點贊 評論 收藏 分享 手機掃一掃分享分享 舉報 評論圖片表情視頻評價全部評論推薦 圖解 transformer 中的自注意力機制Python學(xué)習(xí)與數(shù)據(jù)挖掘0深入理解圖注意力機制智能算法0AC-FPN:目標(biāo)檢測中的注意力機制小白學(xué)視覺0深入理解圖注意力機制極市平臺0深入理解圖注意力機制小白學(xué)視覺0基于邊緣特征和注意力機制的圖像語義分割作者:王軍,張霽云,程勇來源:《計算機系統(tǒng)應(yīng)用》期刊編輯:陳萍萍的公主@一點人工一點智能原文:https://www.c-s-a.org.cn/html/2024/7/9588.html摘要:在語義分割任務(wù)中,編碼器的下采樣過程會導(dǎo)致分辨率降低,造成圖像空間信息細(xì)節(jié)的丟失,因此在物體邊緣會出現(xiàn)分割不注意力機制小白學(xué)視覺0當(dāng)可變形注意力機制引入Vision Transformer極市平臺0當(dāng)可變形注意力機制引入Vision TransformerGiantPandaCV0OddBall-圖異常點檢測AI入門學(xué)習(xí)0點贊 評論 收藏 分享 手機掃一掃分享分享 舉報