本文約2800字，建議閱讀8分鐘
本綜述對擴散模型在時間序列和時空數(shù)據(jù)中的應(yīng)用進行了全面而深入的梳理。
擴散模型與時間序列/時空數(shù)據(jù)的交叉能夠碰撞出怎樣的火花？
——擴散模型在時間序列和時空數(shù)據(jù)中的理論、進展、應(yīng)用與展望
時間序列（Time series）的研究對于理解趨勢、周期和異常起到關(guān)鍵作用，它可以在各個領(lǐng)域提供超前的洞察力；時空數(shù)據(jù)（Spatio-temporal data）對于分析空間和時間中的各種特征至關(guān)重要，為復(fù)雜系統(tǒng)的交互關(guān)系提供了動態(tài)視角。近年來，擴散模型（Diffusion model）在時間序列和時空數(shù)據(jù)挖掘中得到了廣泛應(yīng)用，不僅增強了對序列和時空數(shù)據(jù)的生成和推斷能力，還擴展到其他下游任務(wù)。本綜述對擴散模型在時間序列和時空數(shù)據(jù)中的應(yīng)用進行了全面而深入的梳理，并按模型類別（Model）、任務(wù)類型（Task）、數(shù)據(jù)模態(tài)（Data）和應(yīng)用（Application）進行了分類。
具體來說，我們將擴散模型分為無條件模型和條件模型，并分別討論時間序列和時空數(shù)據(jù)。無條件模型在無監(jiān)督的情況下運行，進一步細分為基于概率的模型和基于分數(shù)的模型，服務(wù)于預(yù)測和生成任務(wù)，例如預(yù)測、異常檢測、分類回歸、補全和去噪。而條件模型利用額外信息來提升性能，同樣被細分為預(yù)測和生成任務(wù)兩種類型。
本綜述廣泛覆蓋了擴散模型及其變種在醫(yī)療保健、推薦系統(tǒng)、氣候、能源、音頻和交通運輸、智能運維、金融等多個領(lǐng)域的應(yīng)用，為這些模型在分析和生成數(shù)據(jù)方面提供了基礎(chǔ)性認識。通過結(jié)構(gòu)化的概述，本文希望為研究者和實踐者提供關(guān)于擴散模型在時間序列和時空數(shù)據(jù)分析中的全面理解，從而通過解決傳統(tǒng)挑戰(zhàn)并探索擴散模型框架中的創(chuàng)新解決方案，引導未來的創(chuàng)新和應(yīng)用。
擴散模型（Diffusion model）是一類概率生成模型，其通過在訓練樣本中注入和去除噪聲的雙重過程進行優(yōu)化和生成。這個過程包括正向階段（稱為擴散Diffusion）和逆向階段（稱為去噪denoising）。模型通過學習在擴散過程中去除噪聲，從而在推理階段生成與訓練數(shù)據(jù)分布高度一致的有效數(shù)據(jù)。
近年來，擴散模型嶄露頭角，對多個領(lǐng)域產(chǎn)生了重大影響，包括計算機視覺（CV）、自然語言處理（NLP）以及通用的多模態(tài)學習，這也挑戰(zhàn)了生成對抗網(wǎng)絡(luò)（GAN）的長期統(tǒng)治地位。在這些領(lǐng)域中，擴散模型在文生圖、實例分割、3D生成、分子設(shè)計和音頻/語音生成等應(yīng)用上展現(xiàn)了卓越的能力。值得注意的是，擴散模型也開始作為一種非自回歸的替代方案應(yīng)用于傳統(tǒng)上由自回歸方法主導的任務(wù)中。最近，OpenAI發(fā)布的Sora標志著擴散模型開始用于建模嵌入時空連續(xù)體中的物理世界，進一步凸顯了其重要性。
序列數(shù)據(jù)，主要包括時間序列和時空數(shù)據(jù)（參見圖4），它們捕捉了絕大多數(shù)現(xiàn)實世界系統(tǒng)的動態(tài)變化。這些形式的序列數(shù)據(jù)經(jīng)過廣泛研究，被認為在眾多應(yīng)用中至關(guān)重要。然而，在這一領(lǐng)域，從多種數(shù)據(jù)模式中推導出物理世界中的普遍動態(tài)規(guī)律仍然是一個重大挑戰(zhàn)。近些年來，時間序列和時空數(shù)據(jù)建模領(lǐng)域正從感知智能逐漸向通用智能發(fā)展。
擴散模型在包括圖像、語音和視頻等多種模式中取得了最先進的成果。受益于這些領(lǐng)域中大量可用的數(shù)據(jù)，擴散模型通常與大型語言模型（LLM）或其他基礎(chǔ)模型一起作為生成式基礎(chǔ)模型，推動了這些領(lǐng)域的快速發(fā)展。近年來，越來越多的使用擴散模型的研究工作被用于時間序列和時空數(shù)據(jù)建模（參見圖1）。我們也注意到，使用擴散模型進行序列建模的嘗試越來越多（參見表1）。觀察到擴散模型的成功后，一個有趣的問題浮現(xiàn)：時間序列/時空數(shù)據(jù)分析與擴散模型的交叉會碰撞出什么樣的火花？
時間序列和時空數(shù)據(jù)分析主要依賴于對其內(nèi)在序列動態(tài)地深入理解，主要任務(wù)側(cè)重于骨干模型的生成能力，如預(yù)測、補全和生成。這些分析的核心在于以條件或無條件的方式為特定目的生成序列數(shù)據(jù)樣本。最近時間序列和時空基礎(chǔ)模型的發(fā)展表明，不論是基于大語言模型構(gòu)建還是從頭開始訓練，其成功的關(guān)鍵在于能夠估計訓練樣本的分布并獲得有效的數(shù)據(jù)表示。在這方面，擴散模型作為一種強大的生成框架，具備以下能力：（1）建模序列數(shù)據(jù)中的復(fù)雜模式，以及（2）支持廣泛的下游任務(wù)（參見圖2）。
為了生成符合特定任務(wù)的數(shù)據(jù)樣本，時間序列和時空擴散模型通常以無條件的方式運行，無需監(jiān)督信號。鑒于現(xiàn)實世界應(yīng)用的部分可觀測特性，條件擴散模型應(yīng)運而生。它們利用數(shù)據(jù)標簽（如指令、元數(shù)據(jù)或外部變量）來“引導”生成過程，從而實現(xiàn)更有效的跨模態(tài)提示，帶來更量身定制和改進的結(jié)果（路線圖參見圖3）。通過對大規(guī)模序列數(shù)據(jù)的訓練，擴散模型有效填補了時間序列/時空數(shù)據(jù)生成的空白，并在解決下一代、由大語言模型賦能的時間數(shù)據(jù)中心化代理的難題方面展現(xiàn)出巨大潛力。
盡管擴散模型在處理時間序列和時空數(shù)據(jù)方面前景廣闊并取得了快速進展，但現(xiàn)有文獻中明顯缺乏對這一模型家族的系統(tǒng)分析。本文旨在填補這一空白，通過提供前瞻性的綜述，闡明“為什么”和“如何”——詳細說明擴散模型適用于這些數(shù)據(jù)模式的原因，并揭示其帶來優(yōu)勢的機制。在本次綜述中，我們提供了詳細的分類、深入的評論，并識別了這一迅速發(fā)展的領(lǐng)域中的新興趨勢。
本文其余部分結(jié)構(gòu)如下：第二章提供了擴散模型的全面背景知識，包括其歷史發(fā)展、優(yōu)勢、理論基礎(chǔ)和各種變種及優(yōu)化算法。第三章對應(yīng)用于時間序列和時空數(shù)據(jù)的擴散模型進行了結(jié)構(gòu)化的概述和分類，為第四章中模型視角（Model）的更深入探討奠定了基礎(chǔ)。第五章聚焦于任務(wù)視角（Task），研究擴散模型如何解決預(yù)測、生成、補全、異常檢測等下游任務(wù)。第六章討論數(shù)據(jù)視角（Data），突出時間序列和時空數(shù)據(jù)中不同類別數(shù)據(jù)的特定挑戰(zhàn)和解決方案。第七章探討了擴散模型在醫(yī)療保健、推薦系統(tǒng)、交通、氣候、能源電力、語音、金融、智能運維等多個領(lǐng)域的應(yīng)用（Application），展示了其廣泛的實用性。最后，在第八章展望了未來的機遇和潛在問題（Outlook），并給出了總結(jié)性意見。
論文鏈接：https://arxiv.org/abs/2404.18886
項目地址：https://github.com/yyysjz1997/Awesome-TimeSeries-SpatioTemporal-Diffusion-Model
楊毅遠，牛津大學計算機系博士生，牛津克拉倫登學者，師從Andrew Markham教授和Niki Trigoni院士，研究方向數(shù)據(jù)挖掘、時間序列、生成模型、信號處理等。
下載APP