2022 時(shí)間序列領(lǐng)域相關(guān)頂會(huì)！

• 時(shí)間序列分類與預(yù)測(cè)：3篇

• 時(shí)間序列檢測(cè)：2篇

• 時(shí)間序列聚類：1篇

• 時(shí)間序列補(bǔ)全：1篇

• 時(shí)間神經(jīng)網(wǎng)絡(luò)：4篇

• 時(shí)間損失函數(shù)：4篇

• 時(shí)間表示與分析: 3篇

• 時(shí)空分析·預(yù)測(cè)：5篇

• 時(shí)空分析·知識(shí)表達(dá)：6篇

• 序列與推薦：2篇

  
  

時(shí)序預(yù)測(cè)與分類是時(shí)間序列領(lǐng)域的經(jīng)典問題。本次AAAI帶來(lái)了3篇研究，內(nèi)容包括：多維預(yù)測(cè)、強(qiáng)化學(xué)習(xí)、時(shí)序生成方向的研究：

Reinforcement Learning based Dynamic Model Combination for Time Series Forecasting

論文地址：https://arxiv.org/abs/2022.01846

研究方向：強(qiáng)化學(xué)習(xí)+時(shí)序預(yù)測(cè)

論文摘要：隨著智能電網(wǎng)技術(shù)的日益普及，短期負(fù)荷預(yù)測(cè)（STLF）在電力系統(tǒng)運(yùn)行中變得尤為重要。為 STLF 開發(fā)了大量方法，但在不同條件下選擇合適的方法仍然具有挑戰(zhàn)性。本文開發(fā)了一種新的基于強(qiáng)化學(xué)習(xí)的 STLF 動(dòng)態(tài)模型選擇 (DMS) 方法。首先建立了一個(gè)預(yù)測(cè)模型池，包括十個(gè)基于機(jī)器學(xué)習(xí)的最先進(jìn)的預(yù)測(cè)模型。然后，Q 學(xué)習(xí)代理根據(jù)模型性能學(xué)習(xí)為下一個(gè)時(shí)間步長(zhǎng)選擇最佳預(yù)測(cè)模型的最優(yōu)策略。應(yīng)用最優(yōu) DMS 策略以在每個(gè)時(shí)間步選擇具有移動(dòng)窗口的最佳模型。對(duì)兩年負(fù)載和天氣數(shù)據(jù)的數(shù)值模擬表明，Q-learning 算法收斂速度快，產(chǎn)生了有效且高效的 DMS。與最先進(jìn)的基于機(jī)器學(xué)習(xí)的 STLF 模型相比，開發(fā)的基于 Q 學(xué)習(xí)的 DMS 的 STLF 模型將預(yù)測(cè)精度提高了大約 50%。

Conditional Loss and Deep Euler Scheme for Time Series Generation

論文地址：https://arxiv.org/abs/2102.05313v5

研究方向：時(shí)序生成

論文摘要：我們?yōu)闀r(shí)間序列引入了三個(gè)新的生成模型，這些模型基于隨機(jī)微分方程 (SDE) 的歐拉離散化和 Wasserstein 度量。其中兩種方法依賴于生成對(duì)抗網(wǎng)絡(luò) (GAN) 對(duì)時(shí)間序列的適應(yīng)。第三種算法稱為條件歐拉生成器 (CEGEN)，它最小化所有時(shí)間步長(zhǎng)上轉(zhuǎn)移概率分布之間的專用距離。在 Ito 過程的背景下，我們提供了理論保證，最小化該標(biāo)準(zhǔn)意味著對(duì)漂移和波動(dòng)率參數(shù)的準(zhǔn)確估計(jì)。我們憑經(jīng)驗(yàn)證明 CEGEN 在邊際和時(shí)間動(dòng)態(tài)指標(biāo)上均優(yōu)于最先進(jìn)的生成器和 GAN 生成器。此外，它在高維上識(shí)別準(zhǔn)確的相關(guān)結(jié)構(gòu)。當(dāng)可用的數(shù)據(jù)點(diǎn)很少時(shí)，我們驗(yàn)證了 CEGEN 的有效性，結(jié)合蒙特卡羅模擬的遷移學(xué)習(xí)方法。最后，我們說(shuō)明了我們的方法在各種真實(shí)世界數(shù)據(jù)集上的穩(wěn)健性。

CATN: Cross Attentive Tree-aware Network for Multivariate Time Series Forecasting

研究方向：多維時(shí)間序列預(yù)測(cè)

論文摘要：在多元時(shí)間序列數(shù)據(jù)中建模復(fù)雜的分層和分組特征交互對(duì)于理解數(shù)據(jù)動(dòng)態(tài)和預(yù)測(cè)未來(lái)狀況是必不可少的。隱式特征交互和高維數(shù)據(jù)使多元預(yù)測(cè)非常具有挑戰(zhàn)性。許多現(xiàn)有的工作并沒有更加強(qiáng)調(diào)探索多個(gè)時(shí)間序列數(shù)據(jù)之間的顯式相關(guān)性，而是設(shè)計(jì)了復(fù)雜的模型來(lái)借助注意力機(jī)制來(lái)捕捉長(zhǎng)期和短期模式。在這項(xiàng)工作中，我們認(rèn)為由于其不規(guī)則的結(jié)構(gòu)，預(yù)定義的圖或一般的學(xué)習(xí)方法是困難的。因此，我們提出了 CATN，這是一種跨注意樹感知網(wǎng)絡(luò)的端到端模型，用于聯(lián)合捕獲系列間相關(guān)性和系列內(nèi)時(shí)間模式。我們首先構(gòu)建一個(gè)樹形結(jié)構(gòu)來(lái)學(xué)習(xí)分層和分組相關(guān)性，并設(shè)計(jì)一種嵌入方法，該方法可以傳遞動(dòng)態(tài)消息來(lái)概括多個(gè)時(shí)間序列之間隱含但可解釋的交叉特征。接下來(lái)在時(shí)間方面，我們提出了一種多層次的依賴學(xué)習(xí)機(jī)制，包括全局和局部學(xué)習(xí)和交叉注意機(jī)制，可以結(jié)合長(zhǎng)程依賴、短程依賴以及不同時(shí)間步長(zhǎng)的交叉依賴。與現(xiàn)實(shí)世界中不同數(shù)據(jù)集的廣泛實(shí)驗(yàn)表明，與現(xiàn)有的最先進(jìn)方法相比，我們提出的方法的有效性和穩(wěn)健性。

時(shí)序檢測(cè)在工業(yè)界有很廣泛的應(yīng)用。本次AAAI帶來(lái)了2篇相關(guān)研究：時(shí)序異常檢測(cè)、極端時(shí)間事件建模。

Towards a Rigorous Evaluation of Time-series Anomaly Detection

論文地址：https://arxiv.org/abs/2109.05257

研究方向：時(shí)序異常檢測(cè)

論文摘要：近年來(lái)，關(guān)于時(shí)間序列異常檢測(cè) (TAD) 的擬議研究報(bào)告了基準(zhǔn) TAD 數(shù)據(jù)集的高 F1 分?jǐn)?shù)，給人以明顯改進(jìn)的印象。然而，大多數(shù)研究在評(píng)分之前應(yīng)用一種稱為點(diǎn)調(diào)整 (PA) 的特殊評(píng)估協(xié)議。在本文中，我們從理論上和實(shí)驗(yàn)上揭示了 PA 協(xié)議有很大的可能高估檢測(cè)性能；也就是說(shuō)，即使是隨機(jī)的異常分?jǐn)?shù)也可以很容易地變成最先進(jìn)的 TAD 方法。因此，在 PA 協(xié)議之后將 TAD 方法與 F1 分?jǐn)?shù)進(jìn)行比較可能會(huì)導(dǎo)致排名錯(cuò)誤。此外，我們通過展示未經(jīng)訓(xùn)練的模型即使沒有 PA 也能獲得與現(xiàn)有方法相當(dāng)?shù)臋z測(cè)性能來(lái)質(zhì)疑現(xiàn)有 TAD 方法的潛力。根據(jù)我們的發(fā)現(xiàn)，我們提出了一個(gè)新的基線和評(píng)估協(xié)議。我們希望我們的研究將有助于對(duì) TAD 進(jìn)行嚴(yán)格的評(píng)估，并導(dǎo)致未來(lái)研究的進(jìn)一步改進(jìn)。

DeepGPD: A Deep Learning Approach for Modeling Geospatio-Temporal Extreme Events

研究方向：時(shí)序極端事件檢測(cè)

本次AAAI帶來(lái)了一篇關(guān)于聚類方法進(jìn)行時(shí)序降噪的研究：

Clustering Interval-Censored Time-Series for Disease Phenotyping

論文地址：https://arxiv.org/abs/2102.07005v4

研究方向：時(shí)序聚類，智慧醫(yī)療

論文摘要：無(wú)監(jiān)督學(xué)習(xí)通常用于發(fā)現(xiàn)數(shù)據(jù)中的集群。然而，不同種類的噪聲可能會(huì)阻礙從現(xiàn)實(shí)世界的時(shí)間序列數(shù)據(jù)中發(fā)現(xiàn)有用的模式。在這項(xiàng)工作中，我們專注于減輕間隔審查對(duì)疾病表型聚類任務(wù)的干擾。我們開發(fā)了一個(gè)時(shí)間序列數(shù)據(jù)的深度生成、連續(xù)時(shí)間模型，該模型在校正審查時(shí)間的同時(shí)對(duì)時(shí)間序列進(jìn)行聚類。我們提供了可以從無(wú)噪聲模型下的數(shù)據(jù)中識(shí)別集群和延遲進(jìn)入量的條件。在合成數(shù)據(jù)上，我們展示了優(yōu)于多個(gè)基準(zhǔn)的準(zhǔn)確、穩(wěn)定和可解釋的結(jié)果。在心力衰竭和帕金森病患者的真實(shí)臨床數(shù)據(jù)集上，我們研究了間隔審查如何對(duì)疾病表型分析任務(wù)產(chǎn)生不利影響。我們的模型糾正了這種錯(cuò)誤來(lái)源并恢復(fù)了已知的臨床亞型。

Dynamic Nonlinear Matrix Completion for Time-Varying Data Imputation

研究方向：時(shí)序補(bǔ)全，矩陣計(jì)算

Self-supervised Representation Learning Framework for Remote Physiological Measurement Using Spatiotemporal Augmentation Loss

論文地址：https://arxiv.org/abs/2107.07695v2

研究方向：強(qiáng)化學(xué)習(xí)，時(shí)空目標(biāo)度量

論文源碼：https://github.com/Dylan-H-Wang/SLF-RPM

論文摘要：監(jiān)督式深度學(xué)習(xí)方法的最新進(jìn)展使得能夠使用面部視頻遠(yuǎn)程測(cè)量基于光體積描記的生理信號(hào)。然而，這些監(jiān)督方法的性能取決于大型標(biāo)記數(shù)據(jù)的可用性。對(duì)比學(xué)習(xí)作為一種自監(jiān)督方法，最近通過最大化不同增強(qiáng)視圖之間的互信息，在學(xué)習(xí)代表性數(shù)據(jù)特征方面取得了最先進(jìn)的性能。然而，現(xiàn)有的對(duì)比學(xué)習(xí)數(shù)據(jù)增強(qiáng)技術(shù)并非旨在從視頻中學(xué)習(xí)生理信號(hào)，并且當(dāng)視頻幀之間存在復(fù)雜的噪聲以及微妙和周期性的顏色或形狀變化時(shí)，往往會(huì)失敗。為了解決這些問題，我們提出了一種新的自監(jiān)督時(shí)空學(xué)習(xí)框架，用于遠(yuǎn)程生理信號(hào)表示學(xué)習(xí)，其中缺乏標(biāo)記的訓(xùn)練數(shù)據(jù)。首先，我們提出了一種基于地標(biāo)的空間增強(qiáng)，它基于 Shafer 二色反射模型將面部分成幾個(gè)信息部分，以表征細(xì)微的膚色波動(dòng)。我們還制定了一個(gè)基于稀疏性的時(shí)間增強(qiáng)，利用 Nyquist-Shannon 采樣定理，通過對(duì)生理信號(hào)特征進(jìn)行建模來(lái)有效地捕捉周期性的時(shí)間變化。此外，我們引入了約束時(shí)空損失，它為增強(qiáng)視頻剪輯生成偽標(biāo)簽。它用于調(diào)節(jié)訓(xùn)練過程和處理復(fù)雜的噪聲。我們?cè)?3 個(gè)公共數(shù)據(jù)集上評(píng)估了我們的框架，并證明了比其他自監(jiān)督方法更優(yōu)越的性能，并且與最先進(jìn)的監(jiān)督方法相比，實(shí)現(xiàn)了具有競(jìng)爭(zhēng)力的準(zhǔn)確性。

SPATE-GAN: Improved Generative Modeling of Dynamic Spatio-Temporal Patterns with an Autoregressive Embedding Loss

論文地址：https://arxiv.org/abs/2109.15044

研究方向：時(shí)空度量，對(duì)抗學(xué)習(xí)

論文摘要：從生態(tài)學(xué)到大氣科學(xué)，許多學(xué)科處理的數(shù)據(jù)具有復(fù)雜的時(shí)空復(fù)雜性，其建模通常需要專門的方法。這些數(shù)據(jù)的生成模型特別令人感興趣，因?yàn)樗鼈冎С忠幌盗杏杏绊懥Φ南掠螒?yīng)用程序，如模擬或創(chuàng)建合成訓(xùn)練數(shù)據(jù)。最近的工作強(qiáng)調(diào)了生成對(duì)抗網(wǎng)絡(luò) (GAN) 在生成時(shí)空數(shù)據(jù)方面的潛力。受因果最優(yōu)傳輸（COT）理論的啟發(fā)，提出了一種新的 GAN 算法 COT-GAN，試圖更好地應(yīng)對(duì)這一挑戰(zhàn)。然而，學(xué)習(xí)更復(fù)雜的時(shí)空模式的任務(wù)需要對(duì)其特定數(shù)據(jù)結(jié)構(gòu)的額外了解。在這項(xiàng)研究中，我們提出了一種新的損失目標(biāo)，結(jié)合基于自回歸嵌入的 COT-GAN，以加強(qiáng)對(duì)時(shí)空動(dòng)態(tài)的學(xué)習(xí)。我們?cè)O(shè)計(jì)了 SPATE（時(shí)空關(guān)聯(lián)），這是一種新的度量標(biāo)準(zhǔn)，通過使用觀測(cè)值與其預(yù)期值的偏差來(lái)測(cè)量時(shí)空自相關(guān)性。我們?yōu)檎鎸?shí)和合成數(shù)據(jù)樣本計(jì)算 SPATE，并使用它來(lái)計(jì)算考慮時(shí)空交互的嵌入損失，推動(dòng) GAN 學(xué)習(xí)忠實(shí)于觀察到的動(dòng)態(tài)的輸出。我們?cè)谝唤M不同的復(fù)雜時(shí)空模式上測(cè)試這個(gè)新目標(biāo)：湍流、對(duì)數(shù)高斯考克斯過程和全球天氣數(shù)據(jù)。我們展示了我們新穎的嵌入損失在不改變 COT-GAN 主干架構(gòu)的情況下提高了性能，突出了我們的模型捕獲自回歸結(jié)構(gòu)的能力增加。我們還將我們的工作與物理學(xué)相關(guān)的深度學(xué)習(xí)和跨學(xué)科工作的最新進(jìn)展相關(guān)聯(lián)，將神經(jīng)網(wǎng)絡(luò)與地理和地球物理科學(xué)聯(lián)系起來(lái)。

Adaptive Pairwise Weights for Temporal Credit Assignment

論文地址：https://arxiv.org/abs/2102.04999

研究方向：強(qiáng)化學(xué)習(xí)，時(shí)間狀態(tài)度量

論文摘要：在一個(gè)國(guó)家采取的行動(dòng)應(yīng)該獲得多少信用（或責(zé)備）以換取未來(lái)的獎(jiǎng)勵(lì)？這是強(qiáng)化學(xué)習(xí) (RL) 中的基本時(shí)間信用分配問題。最早且仍然最廣泛使用的啟發(fā)式方法之一是基于標(biāo)量系數(shù) λ（視為超參數(shù)）分配此功勞，該系數(shù)被提升為狀態(tài)動(dòng)作和獎(jiǎng)勵(lì)之間的時(shí)間間隔的冪。在這篇實(shí)證論文中，我們探索了基于更一般的成對(duì)權(quán)重的啟發(fā)式方法，這些權(quán)重是采取行動(dòng)的狀態(tài)、獎(jiǎng)勵(lì)時(shí)的狀態(tài)以及兩者之間的時(shí)間間隔的函數(shù)。當(dāng)然，不清楚這些成對(duì)的權(quán)重函數(shù)應(yīng)該是什么，并且因?yàn)樗鼈兲珡?fù)雜而不能被視為超參數(shù)，我們開發(fā)了一個(gè)元梯度程序，用于在策略的通常 RL 訓(xùn)練期間學(xué)習(xí)這些權(quán)重函數(shù)。我們的實(shí)證工作表明，通常可以在學(xué)習(xí)策略期間學(xué)習(xí)這些成對(duì)的權(quán)重函數(shù)，以獲得比競(jìng)爭(zhēng)方法更好的性能。

Synthesis from Satisficing and Temporal Goals

論文地址：https://suguman.github.io/Papers/AAAI22.pdf

研究方向：強(qiáng)化學(xué)習(xí)，時(shí)間目標(biāo)度量

論文摘要：將線性時(shí)序邏輯 (LTL) 中表示的硬約束與折扣和 (DS) 獎(jiǎng)勵(lì)表示的軟約束相結(jié)合的高級(jí)規(guī)范的反應(yīng)式合成在規(guī)劃和強(qiáng)化學(xué)習(xí)中具有應(yīng)用。現(xiàn)有的方法將 LTL 綜合技術(shù)與 DS 獎(jiǎng)勵(lì)的優(yōu)化相結(jié)合，但未能產(chǎn)生合理的算法。將 LTL 合成與令人滿意的 DS 獎(jiǎng)勵(lì)（達(dá)到閾值的獎(jiǎng)勵(lì)）相結(jié)合的替代方法對(duì)于整數(shù)折扣因子是合理且完整的，但在實(shí)踐中，需要分?jǐn)?shù)折扣因子。這項(xiàng)工作擴(kuò)展了現(xiàn)有的令人滿意的方法，提出了第一個(gè)用于從具有分?jǐn)?shù)折扣因子的 LTL 和 DS 獎(jiǎng)勵(lì)合成的聲音算法。我們算法的實(shí)用性在機(jī)器人規(guī)劃領(lǐng)域得到了證明。

高效且清晰的時(shí)序特征表達(dá)與分析對(duì)于時(shí)序信息的挖掘，決策輔助至關(guān)重要。如何對(duì)時(shí)間序列的價(jià)值信息進(jìn)行表達(dá)？本次AAAI帶來(lái)了3篇研究：

TS2Vec: Towards Universal Representation of Time Series

論文地址：https://arxiv.org/abs/2106.10466v3

研究方向：時(shí)序語(yǔ)義表達(dá)

論文源碼：https://github.com/yuezhihan/ts2vec

論文摘要：本文介紹了 TS2Vec，這是一種在任意語(yǔ)義級(jí)別學(xué)習(xí)時(shí)間序列表示的通用框架。與現(xiàn)有方法不同，TS2Vec 在增強(qiáng)的上下文視圖上以分層方式執(zhí)行對(duì)比學(xué)習(xí)，這為每個(gè)時(shí)間戳提供了強(qiáng)大的上下文表示。此外，為了獲得時(shí)間序列中任意子序列的表示，我們可以對(duì)相應(yīng)時(shí)間戳的表示進(jìn)行簡(jiǎn)單的聚合。我們對(duì)時(shí)間序列分類任務(wù)進(jìn)行了大量實(shí)驗(yàn)，以評(píng)估時(shí)間序列表示的質(zhì)量。因此，TS2Vec 在 125 個(gè) UCR 數(shù)據(jù)集和 29 個(gè) UEA 數(shù)據(jù)集上實(shí)現(xiàn)了對(duì)現(xiàn)有無(wú)監(jiān)督時(shí)間序列表示的 SOTA 的顯著改進(jìn)。學(xué)習(xí)到的時(shí)間戳級(jí)表示在時(shí)間序列預(yù)測(cè)和異常檢測(cè)任務(wù)中也取得了優(yōu)異的成績(jī)。在學(xué)習(xí)表示之上訓(xùn)練的線性回歸優(yōu)于之前的時(shí)間序列預(yù)測(cè) SOTA。此外，我們提出了一種簡(jiǎn)單的方法來(lái)將學(xué)習(xí)到的表示應(yīng)用于無(wú)監(jiān)督異常檢測(cè)，這在文獻(xiàn)中建立了 SOTA 結(jié)果

Temporal Action Proposal Generation with Background Constraint

論文地址：https://arxiv.org/abs/2112.07984v1

研究方向：動(dòng)作定位

論文摘要：時(shí)間動(dòng)作提議生成 (TAPG) 是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，旨在在具有時(shí)間邊界的未修剪視頻中定位動(dòng)作實(shí)例。為了評(píng)估提案的置信度，現(xiàn)有的工作通常預(yù)測(cè)提案的動(dòng)作得分，這些提案由提案和地面實(shí)況之間的時(shí)間交叉聯(lián)合（tIoU）監(jiān)督。在本文中，我們創(chuàng)新地提出了一種通用的輔助背景約束思想，通過利用背景預(yù)測(cè)分?jǐn)?shù)來(lái)限制建議的置信度，以進(jìn)一步抑制低質(zhì)量的建議。通過這種方式，背景約束概念可以輕松地插入現(xiàn)有的 TAPG 方法（例如，BMN、GTAD）中。從這個(gè)角度來(lái)看，我們提出了背景約束網(wǎng)絡(luò)（BCNet）來(lái)進(jìn)一步利用動(dòng)作和背景的豐富信息。具體來(lái)說(shuō)，我們引入了一個(gè)用于可靠置信度評(píng)估的動(dòng)作-背景交互模塊，該模塊通過幀和剪輯級(jí)別的注意機(jī)制對(duì)動(dòng)作和背景之間的不一致進(jìn)行建模。在兩個(gè)流行的基準(zhǔn)測(cè)試中進(jìn)行了廣泛的實(shí)驗(yàn)，即 ActivityNet-1.3 和 THUMOS14。結(jié)果表明，我們的方法優(yōu)于最先進(jìn)的方法。配備現(xiàn)有的動(dòng)作分類器，我們的方法在時(shí)間動(dòng)作定位任務(wù)上也取得了顯著的表現(xiàn)。

Training Robust Deep Models for Time-Series Domain: Novel Algorithms and Theoretical Analysis

研究方向：時(shí)序模型魯棒性

時(shí)空預(yù)測(cè)在城市交通預(yù)測(cè)，用戶行為預(yù)測(cè)，多因子氣象預(yù)測(cè)等領(lǐng)域應(yīng)用廣泛。本次AAAI帶來(lái)了5篇研究：

Conditional Local Convolution for Spatio-temporal Meteorological Forecasting

論文地址：https://arxiv.org/abs/2101.01000

研究方向：時(shí)空預(yù)測(cè)，天氣預(yù)報(bào)

論文源碼：https://github.com/BIRD-TAO/CLCRN

論文摘要：由于時(shí)間動(dòng)態(tài)的高度非線性以及空間域中復(fù)雜的位置特征模式，時(shí)空預(yù)測(cè)具有挑戰(zhàn)性，尤其是在天氣預(yù)報(bào)等領(lǐng)域。圖卷積通常用于建模氣象學(xué)中的空間依賴性，以處理傳感器空間位置的不規(guī)則分布。在這項(xiàng)工作中，提出了一種新穎的基于圖的卷積來(lái)模擬氣象流，以捕獲局部空間模式。基于位置特征模式的平滑性假設(shè)，我們提出了條件局部卷積，其節(jié)點(diǎn)局部空間上的共享核通過前饋網(wǎng)絡(luò)進(jìn)行近似，將水平映射獲得的坐標(biāo)的局部表示作為圓柱切線空間的輸入。既定的局部坐標(biāo)系統(tǒng)一標(biāo)準(zhǔn)保留了地理定位。我們進(jìn)一步提出了距離和方向縮放項(xiàng)，以減少不規(guī)則空間分布的影響。卷積嵌入到循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)中以對(duì)時(shí)間動(dòng)態(tài)進(jìn)行建模，從而產(chǎn)生條件局部卷積循環(huán)網(wǎng)絡(luò) (CLCRN)。我們的模型在真實(shí)世界的天氣基準(zhǔn)數(shù)據(jù)集上進(jìn)行了評(píng)估，實(shí)現(xiàn)了最先進(jìn)的性能和明顯的改進(jìn)。我們對(duì)局部模式可視化、模型的框架選擇、水平圖的優(yōu)勢(shì)等進(jìn)行了進(jìn)一步的分析。

TLogic: Temporal Logical Rules for Explainable Link Forecasting on Temporal Knowledge Graphs

論文地址：https://arxiv.org/abs/2112.08025

研究方向：連接預(yù)測(cè)，時(shí)間知識(shí)圖譜

論文源碼：https://github.com/liu-yushan/TLogic

論文摘要：傳統(tǒng)的靜態(tài)知識(shí)圖將關(guān)系數(shù)據(jù)中的實(shí)體建模為節(jié)點(diǎn)，由特定關(guān)系類型的邊連接。然而，信息和知識(shí)不斷發(fā)展，時(shí)間動(dòng)態(tài)出現(xiàn)，預(yù)計(jì)會(huì)影響未來(lái)的情況。在時(shí)間知識(shí)圖中，通過為每條邊配備時(shí)間戳或時(shí)間范圍，將時(shí)間信息集成到圖中。已經(jīng)引入了基于嵌入的方法來(lái)對(duì)時(shí)間知識(shí)圖進(jìn)行鏈接預(yù)測(cè)，但它們大多缺乏可解釋性和可理解的推理鏈。特別是，它們通常不是設(shè)計(jì)用于處理鏈接預(yù)測(cè)——涉及未來(lái)時(shí)間戳的事件預(yù)測(cè)。我們解決了時(shí)間知識(shí)圖上的鏈接預(yù)測(cè)任務(wù)，并介紹了 TLogic，這是一個(gè)可解釋的框架，它基于通過時(shí)間隨機(jī)游走提取的時(shí)間邏輯規(guī)則。我們?cè)谌齻€(gè)基準(zhǔn)數(shù)據(jù)集上將 TLogic 與最先進(jìn)的基線進(jìn)行比較，并顯示出更好的整體性能，同時(shí)我們的方法還提供了保持時(shí)間一致性的解釋。此外，與大多數(shù)最先進(jìn)的基于嵌入的方法相比，TLogic 在歸納設(shè)置中運(yùn)行良好，其中已經(jīng)學(xué)習(xí)的規(guī)則被轉(zhuǎn)移到具有通用詞匯表的相關(guān)數(shù)據(jù)集。

Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation

論文地址：https://arxiv.org/abs/2109.04871

研究方向：光流預(yù)估，事件分析

論文摘要：事件相機(jī)為視覺感知提供了有希望的替代方案，特別是在高速和高動(dòng)態(tài)范圍的場(chǎng)景中。最近，許多深度學(xué)習(xí)方法在為許多基于事件的問題（例如光流估計(jì)）提供無(wú)模型解決方案方面取得了巨大成功。然而，現(xiàn)有的深度學(xué)習(xí)方法并沒有從架構(gòu)設(shè)計(jì)的角度很好地解決時(shí)間信息的重要性，不能有效地提取時(shí)空特征。另一種利用尖峰神經(jīng)網(wǎng)絡(luò)的研究受到更深層次架構(gòu)的訓(xùn)練問題的困擾。為了解決這些問題，提出了一種新穎的輸入表示，它可以捕獲事件時(shí)間分布以進(jìn)行信號(hào)增強(qiáng)。此外，我們引入了一種用于基于事件的光流估計(jì)的時(shí)空循環(huán)編碼-解碼神經(jīng)網(wǎng)絡(luò)架構(gòu)，它利用卷積門控循環(huán)單元從一系列事件圖像中提取特征圖。此外，我們的架構(gòu)允許結(jié)合一些傳統(tǒng)的基于框架的核心模塊，例如相關(guān)層和迭代殘差細(xì)化方案。該網(wǎng)絡(luò)在多車輛立體事件攝像機(jī)數(shù)據(jù)集上通過自監(jiān)督學(xué)習(xí)進(jìn)行端到端訓(xùn)練。我們已經(jīng)證明它大大優(yōu)于所有現(xiàn)有的最先進(jìn)的方法。

A GNN-RNN Approach for Harnessing Geospatial and Temporal Information: Application to Crop Yield Prediction

論文地址：https://arxiv.org/pdf/2111.08900.pdf

研究方向：糧作物產(chǎn)量預(yù)測(cè)

論文摘要：氣候變化對(duì)糧食不安全、供應(yīng)穩(wěn)定和經(jīng)濟(jì)規(guī)劃等作物相關(guān)問題提出了新的挑戰(zhàn)。作為核心挑戰(zhàn)之一，作物產(chǎn)量預(yù)測(cè)已成為機(jī)器學(xué)習(xí)領(lǐng)域的一項(xiàng)緊迫任務(wù)。盡管它很重要，但預(yù)測(cè)任務(wù)異常復(fù)雜，因?yàn)樽魑锂a(chǎn)量取決于各種因素，如天氣、地表、土壤質(zhì)量以及它們的相互作用。近年來(lái)，機(jī)器學(xué)習(xí)模型已成功應(yīng)用于該領(lǐng)域。然而，這些模型要么將它們的任務(wù)限制在一個(gè)相對(duì)較小的區(qū)域，要么只研究一年或幾年，這使得它們很難在空間和時(shí)間上進(jìn)行概括。在本文中，我們介紹了一種用于作物產(chǎn)量預(yù)測(cè)的新型基于圖的循環(huán)神經(jīng)網(wǎng)絡(luò)，將地理和時(shí)間知識(shí)結(jié)合到模型中，并進(jìn)一步提高預(yù)測(cè)能力。我們的方法在美國(guó)本土 41 個(gè)州的 2000 多個(gè)縣進(jìn)行了訓(xùn)練、驗(yàn)證和測(cè)試，涵蓋 1981 年至 2019 年。據(jù)我們所知，這是第一個(gè)將地理知識(shí)嵌入到作物產(chǎn)量預(yù)測(cè)和預(yù)測(cè)全國(guó)縣級(jí)作物產(chǎn)量。我們還通過應(yīng)用眾所周知的線性模型、基于樹的模型、深度學(xué)習(xí)方法并比較它們的性能，為與其他機(jī)器學(xué)習(xí)基線的比較奠定了堅(jiān)實(shí)的基礎(chǔ)。實(shí)驗(yàn)表明，我們提出的方法在各種指標(biāo)上始終優(yōu)于現(xiàn)有的最先進(jìn)方法，驗(yàn)證了地理空間和時(shí)間信息的有效性。

CausalGNN: Causal-based Graph Neural Networks for Spatio-Temporal Epidemic Forecasting

研究方向：時(shí)空預(yù)測(cè)，流行病分析

DeepVisualInsight: Time-Travelling Visualization for Spatio-Temporal Causality of Deep Classification Training

論文地址：https://arxiv.org/abs/2201.01155

研究方向：時(shí)空模型解釋，因果分析

論文摘要：了解深度學(xué)習(xí)模型的預(yù)測(cè)是如何在訓(xùn)練過程中形成的，對(duì)于提高模型性能和修復(fù)模型缺陷至關(guān)重要，尤其是當(dāng)我們需要調(diào)查諸如主動(dòng)學(xué)習(xí)之類的非平凡訓(xùn)練策略，并跟蹤意外訓(xùn)練結(jié)果的根本原因時(shí)，例如性能退化。在這項(xiàng)工作中，我們提出了一種時(shí)間旅行視覺解決方案 DeepVisualInsight (DVI)，旨在在訓(xùn)練深度學(xué)習(xí)圖像分類器的同時(shí)體現(xiàn)時(shí)空因果關(guān)系。時(shí)空因果關(guān)系展示了梯度下降算法和各種訓(xùn)練數(shù)據(jù)采樣技術(shù)如何影響和重塑學(xué)習(xí)輸入表示的布局和連續(xù)時(shí)期的分類邊界。這種因果關(guān)系使我們能夠在可見的低維空間中觀察和分析整個(gè)學(xué)習(xí)過程。從技術(shù)上講，我們提出了四個(gè)空間和時(shí)間屬性，并設(shè)計(jì)了我們的可視化解決方案來(lái)滿足它們。當(dāng)在可見的低維和不可見的高維空間之間逆向投影輸入樣本時(shí)，這些屬性保留了最重要的信息，以進(jìn)行因果分析。我們廣泛的實(shí)驗(yàn)表明，與基線方法相比，我們?cè)诳臻g/時(shí)間屬性和可視化效率方面實(shí)現(xiàn)了最佳可視化性能。此外，我們的案例研究表明，我們的視覺解決方案可以很好地反映各種訓(xùn)練場(chǎng)景的特征，顯示出 DVI 作為分析深度學(xué)習(xí)訓(xùn)練過程的調(diào)試工具的良好潛力。

Temporal Knowledge Graph Completion using Box Embeddings

論文地址：https://arxiv.org/abs/2109.08970

研究方向：時(shí)間知識(shí)圖譜

論文摘要：知識(shí)圖完成是根據(jù)知識(shí)圖中的現(xiàn)有數(shù)據(jù)推斷缺失事實(shí)的任務(wù)。時(shí)間知識(shí)圖完成（TKGC）是此任務(wù)對(duì)時(shí)間知識(shí)圖的擴(kuò)展，其中每個(gè)事實(shí)都與時(shí)間戳相關(guān)聯(lián)。當(dāng)前的 TKGC 方法主要建立在為（靜態(tài)）知識(shí)圖完成而開發(fā)的現(xiàn)有嵌入模型的基礎(chǔ)上，并將這些模型擴(kuò)展為包含時(shí)間，其想法是學(xué)習(xí)實(shí)體、關(guān)系和時(shí)間戳的潛在表示，然后使用學(xué)習(xí)的表示在不同的時(shí)間步預(yù)測(cè)缺失的事實(shí)。在本文中，我們提出了 BoxTE，一種用于 TKGC 的框嵌入模型，建立在靜態(tài)知識(shí)圖嵌入模型 BoxE 的基礎(chǔ)上。我們證明 BoxTE 具有充分的表達(dá)能力，并且在時(shí)間環(huán)境中具有很強(qiáng)的歸納能力。然后，我們憑經(jīng)驗(yàn)評(píng)估我們的模型，并表明它在幾個(gè) TKGC 基準(zhǔn)測(cè)試中取得了最先進(jìn)的結(jié)果。

Disentangled Spatiotemporal Graph Generative Model

研究方向：時(shí)空?qǐng)D生成

Learning Temporal Point Processes for Efficient Retrieval of Continuous Time Event Sequences

研究方向：時(shí)間點(diǎn)過程，時(shí)間事件分析

Learning Disentangled Classification and Localization Representations for Temporal Action Localization

研究方向：動(dòng)作識(shí)別，分類

TIGGER: Scalable Generative Modelling for Temporal Interaction Graph

研究方向：時(shí)間交互圖，生成模型

Leaping Through Time with Gradient-based Adaptation for Recommendation

論文地址：https://arxiv.org/abs/2112.05914v1

研究方向：持續(xù)學(xué)習(xí)，風(fēng)格遷移

論文源碼：https://github.com/nutcrtnk/LeapRec

論文摘要：現(xiàn)代推薦系統(tǒng)需要適應(yīng)用戶偏好和項(xiàng)目流行度的變化。這樣的問題被稱為時(shí)間動(dòng)態(tài)問題，它是推薦系統(tǒng)建模的主要挑戰(zhàn)之一。與流行的循環(huán)建模方法不同，我們通過使用基于軌跡的元學(xué)習(xí)對(duì)時(shí)間依賴性進(jìn)行建模，提出了一種名為 LeapRec 的新解決方案來(lái)解決時(shí)間動(dòng)態(tài)問題。LeapRec 通過名為全局時(shí)間跳躍 (GTL) 和有序時(shí)間跳躍 (OTL) 的兩個(gè)互補(bǔ)組件來(lái)表征時(shí)間動(dòng)態(tài)。根據(jù)設(shè)計(jì)，GTL 通過在無(wú)序時(shí)間數(shù)據(jù)中找到最短的學(xué)習(xí)路徑來(lái)學(xué)習(xí)長(zhǎng)期模式。合作地，OTL 通過考慮時(shí)間數(shù)據(jù)的順序性來(lái)學(xué)習(xí)短期模式。我們的實(shí)驗(yàn)結(jié)果表明，LeapRec 在多個(gè)數(shù)據(jù)集和推薦指標(biāo)上始終優(yōu)于最先進(jìn)的方法。此外，我們提供了 GTL 和 OTL 之間相互作用的實(shí)證研究，顯示了長(zhǎng)期和短期建模的影響。

Dynamic Meta-Learning Model for Time-Sensitive Cold-Start Recommendations

研究方向：冷啟動(dòng)，時(shí)間敏感度分析