點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
本文轉(zhuǎn)自|計算機視覺聯(lián)盟
本文介紹了 TCN 在股市趨勢預測任務中的應用，表明在集成新聞事件和知識圖譜后，TCN 的性能大幅超過 RNN。
1. 金融時間序列（FTS）中的深度學習背景介紹；2. 值得關注的 FTS 數(shù)據(jù)處理實踐；4. 時間卷積網(wǎng)絡在 FTS 中的應用實例；5. 基于 TCN 的知識驅(qū)動股市趨勢預測與解釋。金融時間序列（FTS）建模歷史悠久，20 世紀 70 年代初它首次革新了算法交易。FTS 分析包括兩類：基礎分析和技術(shù)分析。但這兩種分析方法都受到有效市場假說（EMH）的質(zhì)疑。自 1970 年提出以來，EMH 一直備受爭議，它假設股價最終是不可預測的。但這并沒有限制如下研究：通過使用線性、非線性和基于 ML 的模型進行 FTS 建模。由于金融時間序列具有非平穩(wěn)、非線性、高噪聲的特點，因此傳統(tǒng)的統(tǒng)計模型很難準確地預測它們。近年來，越來越多的研究開始嘗試將深度學習應用于股市預測，雖然還遠遠不夠完善。例如：Lin 等人在論文《An SVM-based approach for stock market trend prediction》中提出一種基于支持向量機的股票預測方法，建立兩部分特征選擇和預測模型，并證明該方法比傳統(tǒng)方法具有更好的泛化能力。Wanjawa 等人在論文《ANN Model to Predict Stock Prices at Stock Exchange Markets》中，提出一種利用誤差反向傳播的前饋多層感知機來預測股票價格的神經(jīng)網(wǎng)絡。結(jié)果表明，該模型能夠?qū)Φ湫偷墓善笔袌鲞M行預測。進入 LSTM 時代：使用 LSTM 網(wǎng)絡處理時間序列數(shù)據(jù)的研究激增。Zhao 等人在論文《Time-Weighted LSTM Model with Redefined Labeling for Stock Trend Prediction》中提出向 LSTM 中加入時間加權(quán)函數(shù)，其結(jié)果優(yōu)于其他模型。Zhang 等人在文章《Forecasting stock prices with long-short term memory neural network based on attention mechanism》中結(jié)合了卷積神經(jīng)網(wǎng)絡（CNN）和循環(huán)神經(jīng)網(wǎng)絡（RNN），提出了一種新的架構(gòu)——深度廣域神經(jīng)網(wǎng)絡（DWNN）。結(jié)果表明，與常規(guī) RNN 模型相比，DWNN 模型可以將預測均方誤差降低 30％。Ha 等人在《Forecasting the volatility of stock price index: A hybrid model integrating LSTM with multiple GARCH-type models》中提出將 CNN 用于定量股票選擇策略，以確定股市趨勢，然后使用 LSTM 預測股票價格，并提出一種混合神經(jīng)網(wǎng)絡模型，用于定量擇時策略，以增加利潤。Jiang 等人在《Stock Price Forecast Based on LSTM Neural Network》中利用 LSTM 神經(jīng)網(wǎng)絡和 RNN 來構(gòu)建模型，發(fā)現(xiàn) LSTM 可以更好地應用于股票預測。在論文《Stock closing price prediction based on sentiment analysis and LSTM》中，Jin 等人在模型分析中增加了投資者的情感傾向，并引入經(jīng)驗模態(tài)分解（EMD）與 LSTM 相結(jié)合，以獲得更準確的股票預測?；谧⒁饬C制的 LSTM 模型在語音和圖像識別中很常見，但在金融領域卻很少使用。Radford 等人提出 GPT-2，旨在設計一個多任務學習器。它將預訓練與監(jiān)督微調(diào)結(jié)合起來，以實現(xiàn)更加靈活的遷移方式。GPT-2 具有 15 億參數(shù)。在《Knowledge-Driven Stock Trend Prediction and Explanation via Temporal Convolutional Network》中，Shumin 等人提出一種基于時間卷積網(wǎng)絡的知識驅(qū)動方法（KDTCN），來進行股票趨勢預測與解釋。 他們首先從財經(jīng)新聞中提取結(jié)構(gòu)化事件，并利用知識圖譜獲取事件嵌入。然后，將事件嵌入和股票價格結(jié)合起來預測股票走勢。實驗表明，該方法對股市趨勢突變情況具有更快的反應能力，在股票數(shù)據(jù)集上的性能優(yōu)于 SOTA 方法（本文將重點介紹這一方法）。2020 年，Jiayu 等人和 Thomas 等人提出一類混合注意力網(wǎng)絡，可基于近期新聞預測股票趨勢。具有注意機制的 LSTM 優(yōu)于常規(guī) LSTM，因為其獨特的存儲單元結(jié)構(gòu)避免了長期依賴性。Hongyan 等人在論文《Temporal Convolutional Attention-based Network For Sequence Modeling》中提出一種探索性網(wǎng)絡結(jié)構(gòu)：基于時間卷積注意力的網(wǎng)絡（TCAN）。該網(wǎng)絡結(jié)合了時間卷積網(wǎng)絡和注意力機制，包括兩個部分：一個是時間注意力（TA），用來捕獲序列中的相關特征；另一個是增強殘差（ER），用來提取淺層的重要信息并遷移到深層。以上時間線旨在方便讀者了解 FTS 與深度學習的歷史關聯(lián)，并非淡化同時期學術(shù)界其他人所做的重要工作。需要注意的是：FTS 預測領域的學術(shù)出版物可能具有誤導性。由于大量使用模擬器，許多 FTS 預測論文往往會夸大其性能。這些論文中聲稱的許多性能難以復現(xiàn)，因為它們無法泛化至所預測的特定 FTS 的未來變化。金融時間序列數(shù)據(jù)（尤其是股票價格）會隨著季節(jié)、噪聲和自動校正而不斷波動。傳統(tǒng)的預測方法使用移動平均和差分來減少預測的噪聲。然而，F(xiàn)TS 通常是不穩(wěn)定的，并且有用信號和噪聲之間存在重疊，這使得傳統(tǒng)的去噪方法無效。小波分析在圖像和信號處理等領域取得了令人矚目的成就。它能夠彌補傅里葉分析的缺點，因此被逐漸引入經(jīng)濟和金融領域。小波變換在解決傳統(tǒng)時間序列分析問題方面具有獨特優(yōu)勢，因為它可以分解和重構(gòu)來自不同時域和頻域范圍的金融時間序列數(shù)據(jù)。小波變換本質(zhì)上利用多尺度特征對數(shù)據(jù)集進行去噪，從而將有用信號與噪聲高效地分離開來。Jiayu Qiu 等人將 coif3 小波函數(shù)用于三個分解層，并通過信噪比（SNR）和均方根誤差（RMSE）來評估小波變換的效果。SNR 越高，RMSE 越小，小波變換的去噪效果越好：來源：https://journals.plos.org/plosone/article/file?id=10.1371/journal.pone.0227222&type=printable在 FTS 中，選擇哪些數(shù)據(jù)作為驗證集并非易事。確實，驗證集的選擇有無數(shù)種方法，但對于變化不定的股票指數(shù)，必須仔細考慮。固定原點方法是最樸素也最常用的方法。給出特定的分割大小，將數(shù)據(jù)前面一部分分割為訓練集，后面的部分分割為驗證集。但這是一種較為初級的選擇方法，對于像亞馬遜這樣的高增長股票而言尤其如此。之所以會出現(xiàn)這種情況，是因為亞馬遜的股價一開始波動性較低，隨著股價的增長，股價波動越來越大。亞馬遜今年股票價格（圖源：Google Finance）
因此，我們需要訓練一個低波動率動態(tài)模型，并期望它能預測高波動率動態(tài)。對于上述類型的股票而言，這確實有一定困難，并且還要以性能作為代價。因此，如果僅考慮這一點，以驗證損失和性能作為基準可能存在一定的誤導性。但是，對于像英特爾這樣波動性較為穩(wěn)定的股票（COVID 危機前），這種方法是合理的。滾動原點重校方法比固定原點方法略穩(wěn)健，因為它允許通過對數(shù)據(jù)的多種不同分割取平均值來計算驗證損失，以避免無法代表高波動率時間段的問題。最后，滾動窗口方法通常是最有用的方法之一，因為它尤其適用于長時間運行的 FTS 算法。實際上，該模型輸出多個滾動數(shù)據(jù)窗口的平均驗證誤差。而這意味著最終獲得的值更能代表最近的模型性能。數(shù)據(jù) shuffle 技術(shù)可視化（圖源：https://arxiv.org/abs/1812.07699）Thomas Hollis 等人的研究表明，滾動窗口（RW）和滾動原點重校（ROR）的性能（58％和 60％）都比簡單的固定原點方法好。這表明對于像亞馬遜這樣的高波動率股票，使用這些數(shù)據(jù) shuffle 方法是不可避免的。數(shù)據(jù) shuffle 方法性能比較時間卷積網(wǎng)絡（TCN），是用于序列建模任務的卷積神經(jīng)網(wǎng)絡的變體，結(jié)合了 RNN 和 CNN 架構(gòu)。對 TCN 的初步評估表明，簡單的卷積結(jié)構(gòu)在多個任務和數(shù)據(jù)集上的性能優(yōu)于典型循環(huán)網(wǎng)絡（如 LSTM），同時表現(xiàn)出更長的有效記憶。1. TCN 架構(gòu)中的卷積是因果卷積，這意味著從將來到過去不存在信息「泄漏」；2. 該架構(gòu)可以像 RNN 一樣采用任意長度的序列，并將其映射到相同長度的輸出序列。通過結(jié)合非常深的網(wǎng)絡（使用殘差層進行增強）和擴張卷積，TCN 具有非常長的有效歷史長度（即網(wǎng)絡能夠看到很久遠的過去，并幫助預測）。如前所述，TCN 基于兩個原則：網(wǎng)絡的輸入輸出長度相同，且從未來到過去不存在信息泄漏。為了完成第一點，TCN 使用 1D 全卷積網(wǎng)絡（FCN），每個隱藏層的長度與輸入層相同，并用零填充（長度為 kernel size ? 1）來保持后續(xù)層與之前層長度相同。為了實現(xiàn)第二點，TCN 使用因果卷積，即卷積中時間 t 處的輸出僅與時間 t 或前一層中的元素進行卷積。簡而言之：TCN = 1D FCN + 因果卷積。簡單的因果卷積回看的歷史長度只能與網(wǎng)絡深度呈線性關系。這使得將因果卷積應用于序列任務具有一定難度，尤其是需要更長歷史的任務。Bai 等人采用擴張卷積找到了一種解決方案，其感受野呈指數(shù)級增大。對于一維序列輸入 x ∈ R^? 和濾波器 f:{0,…,k?1}→R，序列元素 s 的擴張卷積運算 F 可定義為：
其中 d 是擴張因子，k 是濾波器大小，s-d·i 代表過去的方向。因此，擴張卷積等效于在每兩個相鄰的濾波器之間引入一個固定的步長。當 d = 1 時，擴張卷積即為常規(guī)卷積。而使用較大的擴張因子，可使頂層的輸出表示更大范圍的輸入，從而有效地擴展了 ConvNet 的感受野。
擴張因果卷積，擴張因子 d = 1、2、4，濾波器大小 k =3。感受野能夠覆蓋輸入序列中的所有值。殘差模塊可使層高效學習修改（modification），進而識別映射而不是整個變換，這對非常深的網(wǎng)絡很有用。由于 TCN 的感受野取決于網(wǎng)絡深度 n、濾波器大小 k 和擴張因子 d，因此，對于更深更大的 TCN 來說，穩(wěn)定性很重要。使用 TCN 進行序列建模具備以下優(yōu)勢：并行性。與 RNN 中后繼時間步長的預測必須等待之前時間步完成預測不同，卷積可以并行完成，因為每一層都使用相同的濾波器。因此，在訓練和評估中，TCN 可以處理一整個較長的輸入序列，而不是像 RNN 中那樣順序處理。靈活的感受野大小。TCN 有多種方式更改其感受野大小。例如，堆疊更多擴張（因果）卷積層，使用更大的擴張因子，或增加濾波器大小都是可行的選擇。因此，TCN 可以更好地控制模型的內(nèi)存大小，它們也可以輕松適應不同的域。梯度穩(wěn)定。與循環(huán)網(wǎng)絡不一樣的是，TCN 的反向傳播路徑與序列的時間方向不同。TCN 因此避免了梯度爆炸 / 消失問題，這是 RNN 面臨的主要問題（限制了 LSTM 和 GRU 的發(fā)展）。訓練內(nèi)存需求低。特別是在輸入序列較長的情況下，LSTM 和 GRU 占用大量內(nèi)存存儲其多個單元門的部分結(jié)果。然而，在 TCN 中，濾波器是跨層共享的，而反向傳播路徑僅取決于網(wǎng)絡深度。因此，在實踐中，人們發(fā)現(xiàn)門控 RNN 比 TCN 消耗的內(nèi)存更多。可變長度輸入。RNN 以循環(huán)的方式對可變長度輸入進行建模，TCN 也可以通過滑動一維卷積核來接收任意長度的輸入。這意味著，對于任意長度的序列數(shù)據(jù)，都可以用 TCN 替代 RNN。評估期間的數(shù)據(jù)存儲。TCN 需要接收有效歷史長度的原始序列，因此在評估過程中可能需要更多的內(nèi)存。域遷移時可能引起參數(shù)更改。不同的域?qū)δＰ皖A測所需的歷史量可能有不同的要求。因此，當將模型從僅需要很少記憶（即較小的 k 和 d）的域轉(zhuǎn)移至需要更長記憶（即較大的 k 和 d）的域時，TCN 可能因為沒有足夠大的感受野而表現(xiàn)不佳。
TCN 和循環(huán)網(wǎng)絡在典型的序列建模任務中的評估結(jié)果，這些任務通常用來評估 RNN 模型。上述結(jié)果表明，經(jīng)過最小調(diào)優(yōu)的通用 TCN 架構(gòu)在大量序列建模任務中優(yōu)于典型循環(huán)架構(gòu)，而這些任務通常用于對循環(huán)架構(gòu)的性能進行基準測試。4. 基于 TCN 的知識驅(qū)動股市趨勢預測與解釋用于股市趨勢預測的大部分深度神經(jīng)網(wǎng)絡存在兩個常見缺陷：1）當前方法對股市趨勢的突然變化不夠敏感；2）預測結(jié)果不具備可解釋性。為了解決這兩個問題，Deng 等人 2019 年提出一種新型知識驅(qū)動時間卷積網(wǎng)絡（KDTCN）用于股市趨勢預測和解釋，該方法將背景知識、新聞事件和股價數(shù)據(jù)集成到深度預測模型中，以解決股市趨勢突變時的趨勢預測和解釋問題。為了解決股市趨勢突變下的預測問題，該研究將金融新聞中的事件提取出來并結(jié)構(gòu)化為事件元組，如「Britain exiting from EU」被表示為 (Britain, exiting from, EU)。然后將事件元組中的實體和關系鏈接至知識圖譜（KG），如 Freebase 和 Wikidata。接下來，分別對結(jié)構(gòu)化知識、文本新聞和股價數(shù)值進行向量化和級聯(lián)。最后，將這些嵌入饋入基于 TCN 的模型。實驗表明 KDTCN 可以更快地響應股市突變，在股市數(shù)據(jù)集上的性能優(yōu)于 SOTA 方法，此外它還增強了股市突變預測的可解釋性。此外，基于股市突變預測結(jié)果，要想解決可解釋性問題，我們可以通過知識圖譜中事件的關聯(lián)對事件的影響進行可視化。這樣，我們就可以解釋 1）知識驅(qū)動的事件如何不同程度地影響股市波動；2）知識如何將股市趨勢預測中與突變相關的事件關聯(lián)起來。這里介紹的基礎 TCN 模型架構(gòu)基于第三部分推導而來，通用 TCN 架構(gòu)包括因果卷積、殘差連接和擴張卷積。
原始模型輸入為股價 X、新聞數(shù)據(jù)庫 N 和知識圖譜 G。股價經(jīng)過歸一化處理，并映射到股價向量：
其中每個向量 p_t 表示股票交易日 t 的實時股價向量，T 表示時間跨度。至于新聞數(shù)據(jù)庫，新聞被表示為事件集合 ε，然后被結(jié)構(gòu)化為事件元組 e = (s, p, o)，其中 p 為動作 / 謂語、s 是執(zhí)行者 / 主語、o 是動作承受者。事件元組中的每個項都與知識圖譜鏈接，對應知識圖譜中的實體和關系，通過訓練事件元組和 KG 三元組獲得事件嵌入 V。詳細過程參見 https://core.ac.uk/download/pdf/222446995.pdf。最后，將事件嵌入和股價向量結(jié)合并輸入基于 TCN 的模型。1. 時間序列股價數(shù)據(jù) X：道瓊斯工業(yè)平均指數(shù)每日記錄構(gòu)成的股價數(shù)據(jù)集；2. 文本新聞數(shù)據(jù) N：來自 Reddit WorldNews 頻道的歷史新聞組成的新聞數(shù)據(jù)集；3. 結(jié)構(gòu)化知識數(shù)據(jù) G：基于兩個常用開放研究知識圖譜 Freebase 和 Wikidata 的結(jié)構(gòu)化數(shù)據(jù)構(gòu)建的子圖。
使用不同輸入的基線模型。第一列中，前綴 WB 表示詞嵌入，EB 表示事件嵌入，PV 表示股價向量，KD 表示知識驅(qū)動。注意，event embedding^(a) 和 event embedding^(b) 分別表示不具備 / 具備 KG 的事件嵌入。KDTCN 的性能評估基于以下三個方面：1）基礎 TCN 架構(gòu)的評估；2）不同模型輸入對 TCN 的影響；3）基于 TCN 的模型對股市趨勢突變的預測性能。
在道瓊斯工業(yè)平均指數(shù)數(shù)據(jù)集上，不同基礎預測模型的股市趨勢預測結(jié)果。TCN 在股市趨勢預測任務上超過其他基線模型，不管是傳統(tǒng)的機器學習模型 (ARIMA) 還是深度神經(jīng)網(wǎng)絡（如 LSTM 和 CNN），這說明 TCN 在序列建模和分類問題上有更明顯的優(yōu)勢。
在道瓊斯工業(yè)平均指數(shù)數(shù)據(jù)集上，不同輸入的 TCN 模型的股市趨勢預測結(jié)果。
可以看出，WB-TCN 和 EB-TCN 的性能都超過 TCN，這表明文本信息有助于改進預測結(jié)果。KDTCN 獲得了最高的準確率和 F1 得分，這說明模型輸入集成結(jié)構(gòu)化知識、金融新聞和股價信息是有效的。
基于局部道瓊斯工業(yè)平均指數(shù)數(shù)據(jù)集（股市趨勢突變），不同輸入的模型的股市趨勢預測結(jié)果。
可以看出，使用知識驅(qū)動事件嵌入輸入的模型（如 KDEB-TCN 和 KDTCN）性能大大超過基于數(shù)值數(shù)據(jù)和文本數(shù)據(jù)的模型。這些對比結(jié)果說明，知識驅(qū)動的模型對于股市突變能夠做出更快的反應。首先，通過識別兩個鄰近股票交易日的波動程度 D_(fluctuation) 獲取股市突變的時間間隔：
其中時間 t 處的 x 表示股票交易日 t 的股票價格。波動程度的差異 C 被定義為：
如果 | Ci | 超過特定閾值，則可以認為在第 i 天，股票價格突變。為什么知識驅(qū)動事件是不具備 ML 專業(yè)知識的人識別股市突變的常規(guī)來源？這可以從兩個方面進行解釋：1）將知識驅(qū)動事件對突變預測結(jié)果的影響可視化；2）將知識驅(qū)動事件鏈接至外部 KG，進而檢索事件的背景事實。下圖中的預測結(jié)果顯示道瓊斯工業(yè)平均指數(shù)趨勢將下降。注意圖中同色長條表示相同的事件影響，長條的高度反映了影響的程度，事件的流行性自左向右下降。直觀來看，具備更高流行性的事件對股市趨勢突變預測應有更大的影響，但事實并不總是如此。
幾乎所有負影響事件都與這兩個事件有關，如 (British Pound, drops, nearly 5%) 和 (Northern Ireland, calls for poll on United Ireland)。盡管一些事件對預測股市趨勢上漲有著積極影響也具備高流行性，但整體影響仍是負面的。因此，股票指數(shù)波動出現(xiàn)突變可被視為事件影響和事件流行性的共同結(jié)果。
首先，搜索具備高影響或高流行性的事件元組；然后，回溯包含這些事件的新聞文本；最后，通過實體鏈接檢索與事件元組相關的 KG 三元組。上圖中，藍色為事件元組，其中的實體與 KG 鏈接。列出的這些事件元組字面上并沒有強相關。但是，鏈接 KG 后，它們可以彼此建立關聯(lián)，并與英國脫歐和歐盟公投事件產(chǎn)生強相關。通過集成事件影響的解釋，我們可以證明知識驅(qū)動事件是突變的常規(guī)來源。循環(huán)網(wǎng)絡在序列建模中的優(yōu)秀效果可能大多是歷史的痕跡。最近，擴張卷積和殘差連接等架構(gòu)元素的引入使得卷積架構(gòu)不那么弱了。近期的學術(shù)研究表明，使用這些元素后，簡單的卷積架構(gòu)在不同序列建模任務上的效果優(yōu)于循環(huán)架構(gòu)，如 LSTM。由于 TCN 的清晰性和簡潔性，Shaojie Bai 等人提出卷積網(wǎng)絡應被看作序列建模的起點和強大工具。此外，本文介紹的 TCN 在股市趨勢預測任務中的應用表明，集成新聞事件和知識圖譜后，TCN 的性能大幅超過 RNN。[1] Hollis, T., Viscardi, A. and Yi, S. (2020). “A Comparison Of Lstms And Attention Mechanisms For Forecasting Financial Time Series”. (https://arxiv.org/abs/1812.07699)[2] Qiu J, Wang B, Zhou C. (2020). “Forecasting stock prices with long-short term memory neural network based on attention mechanism”. (https://doi.org/10.1371/journal.pone.0227222)[3] Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. (2020). “Neural Machine Translation By Jointly Learning To Align And Translate”. (https://arxiv.org/abs/1409.0473)[4] Bai, S., Kolter, J. and Koltun, V., 2020. “An Empirical Evaluation Of Generic Convolutional And Recurrent Networks For Sequence Modeling”. (https://arxiv.org/abs/1803.01271)[6] Deng, S., Zhang, N., Zhang, W., Chen, J., Pan, J. and Chen, H., 2019. “Knowledge-Driven Stock Trend Prediction and Explanation via Temporal Convolutional Network”. (https://dl.acm.org/doi/10.1145/3308560.3317701)[5] Hao, H., Wang, Y., Xia, Y., Zhao, J. and Shen, F., 2020. “Temporal Convolutional Attention-Based Network For Sequence Modeling”. (https://arxiv.org/abs/2002.12530)
下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。下載2：Python視覺實戰(zhàn)項目52講在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~
