【論文解讀】一種基于時間卷積網(wǎng)絡(luò)的知識驅(qū)動股票趨勢預(yù)測方法

深度神經(jīng)網(wǎng)絡(luò)目前在股票趨勢預(yù)測中已經(jīng)取得了良好的理論和實(shí)際成果。但是，這些模型大多都具有兩個共同的缺點(diǎn)，一是現(xiàn)有的方法對股票趨勢的突變不夠敏感，二是預(yù)測結(jié)果不具有可解釋性。對此，這篇文章提出了一種知識驅(qū)動的時間卷積網(wǎng)絡(luò)模型，Knowledge-Driven Temporal Convolutional Network (KDTCN) ，用于趨勢預(yù)測并進(jìn)行解釋。首先，金融新聞等非結(jié)構(gòu)化數(shù)據(jù)被用于構(gòu)造知識圖結(jié)構(gòu)數(shù)據(jù)，并對其進(jìn)行嵌入處理，以得到嵌入事件。然后，嵌入事件和價格數(shù)據(jù)被一同用于股票價格趨勢的預(yù)測。

對于第一個問題，股票趨勢的突變指的是股票價格在極短的時間內(nèi)發(fā)生劇烈的變動，如下圖的道瓊斯工業(yè)指數(shù)在2016/6/23日上漲1.29%，然后6/24日暴跌3.39%。因此，面對這樣的突變時，僅僅只通過股票價格數(shù)據(jù)是不充足的，并且股票價格的變動是隨著事件或者新聞而發(fā)生的。

針對這個問題，一系列文章展現(xiàn)了對事件進(jìn)行編碼并結(jié)合深度學(xué)習(xí)技術(shù)進(jìn)行特征學(xué)習(xí)以用于股票趨勢預(yù)測的有效性，盡管新聞事件能幫助人們迅速捕捉到股市走勢的突然變化，但新聞事件往往混亂而稀疏。所以，為了解決這個問題，這篇文章引入派生的知識來表示事件。即通過知識圖（Knowledge graphs, KGs）的形式進(jìn)行數(shù)據(jù)表示，通過這種方式獲取的知識有兩個主要優(yōu)勢：一是知識中豐富的語義信息有助于建立離散事件之間的關(guān)聯(lián)，二是知識在知識圖中具有結(jié)構(gòu)化和易于參數(shù)化的特點(diǎn)。

對于第二個問題，即深度學(xué)習(xí)模型缺少可解釋性的問題。即使深度學(xué)習(xí)預(yù)測模型成功地檢測到股市的突變，也很難讓不懂機(jī)器學(xué)習(xí)原理的人理解這些變化發(fā)生的原因。例如，在事件驅(qū)動的股票趨勢預(yù)測中，人們可能會關(guān)注哪些事件對股票波動產(chǎn)生了較大的影響，以及這些事件是如何產(chǎn)生影響的。為了解決這一問題，這篇文章將可解釋的知識編碼到深度預(yù)測模型中，使得預(yù)測結(jié)果成為可解釋的。

這篇文章也是首次將時間卷積網(wǎng)絡(luò)模型用于股票趨勢預(yù)測的文章。之所以通過事件驅(qū)動的時間卷積網(wǎng)絡(luò)模型，是因?yàn)樗诓煌秶娜蝿?wù)和數(shù)據(jù)集上優(yōu)于標(biāo)準(zhǔn)的RNNs以及LSTMs，同時顯示出更長的有效時間。而從直覺上看，許多事件都是股票市場突變的原因，而事件和變化之間的相關(guān)分析提供了相應(yīng)的解釋。實(shí)驗(yàn)表明，KDTCN可以更快地對突變做出反應(yīng)，并且在股票數(shù)據(jù)集上勝過對比方法，更進(jìn)一步地，KDTCN便于解釋預(yù)測結(jié)果，特別是在突然變化的情況下。

這部分將對提出的KDTCN模型各個部分進(jìn)行介紹，從整體來看，模型主要包括了兩個部分，即事件的嵌入以及時間卷積網(wǎng)絡(luò)模型。模型的整體框架圖如下所示：

事件的嵌入（Event Embedding）

事件嵌入的目標(biāo)是學(xué)習(xí)事件元組的低維密集向量表示，我們首先從財經(jīng)新聞中提取結(jié)構(gòu)化事件元組??，其中，??表示行動者,??表示行動者的動作,??則表示動作執(zhí)行到的目標(biāo)。然后將得到的元組鏈接到知識圖（KG）中。事件元組嵌入是通過對每個條目的KG嵌入和單詞向量進(jìn)行多通道連接來計(jì)算的。進(jìn)一步地，文章中是通過開源庫Open IE將非結(jié)構(gòu)化的新聞文本轉(zhuǎn)換為結(jié)構(gòu)化的事件元組，過程是讀取一個句子并使用關(guān)聯(lián)短語和由關(guān)聯(lián)短語關(guān)聯(lián)的參數(shù)來提取事件元組。例如，“Britain exiting from the EU”這句話就被轉(zhuǎn)換為了元組（s=Britain, p=exiting from, o=EU）。之后，在對得到的事件元組進(jìn)行一些去重以去除冗余的信息。

得到上面的事件元組之后，文章通過實(shí)體鏈接（Entity Linking）的方式來構(gòu)造知識圖的子圖，由于事件元組中的主語s、謂詞p和對象o在KG中可能并不總是具有鏈接。此外，單個事件元組中的信息可能是稀疏的，缺乏多樣性。因此，文章中通過一種利用近鄰信息的方式來豐富子圖。為了實(shí)現(xiàn)上面提到的這種方式，文章制定了下面的規(guī)則：

在得到了知識圖之后，文章采用了TransE的方法來對知識圖進(jìn)行嵌入處理，因?yàn)樵摲椒茉谝话闱闆r下保持知識圖中的結(jié)構(gòu)信息，且具有很強(qiáng)的魯棒性。進(jìn)而，事件特征被參數(shù)化處理至不同通道，即??表示KG的鏈接通道，??表示KG的上下文通道，??表示詞向量通道，如下所示：

最后上面三者通過多信道鏈接以得到最后的事件嵌入，即表示為：

時間卷積網(wǎng)絡(luò)模型（Temporal Convolutional Network）

這篇文章中用到的TCN是一種一維的全卷積網(wǎng)絡(luò)（FCN）架構(gòu)，其中的隱藏層神經(jīng)元具有和輸入層一樣的神經(jīng)元個數(shù)，為了實(shí)現(xiàn)后面每層具有相同的神經(jīng)元個數(shù)，zero-padding被加入到每層網(wǎng)絡(luò)中去。進(jìn)而，這個網(wǎng)絡(luò)的輸出可以和輸入具有相同的長度，具體如前面的TCN網(wǎng)絡(luò)架構(gòu)圖所示。除此之外，TCN還用到了因果卷積，即t時刻的輸出只與t時刻的元素和前一層更早的元素進(jìn)行卷積，這樣就不會引入未來數(shù)據(jù)。因此簡而言之，TCN即是一維FCN+因果卷積。

除此之外，考慮到網(wǎng)絡(luò)的深層結(jié)構(gòu)以及長期依賴關(guān)系，常用于卷積結(jié)構(gòu)中的技術(shù)像空洞卷積（dilated convolutions）和殘差連接（residual connections）。其中，對于一個一維輸入序列??和一個濾波器??來說，對序列中的??個元素的空洞卷積操作即是：

進(jìn)而，殘差連接技術(shù)也被加入到網(wǎng)絡(luò)當(dāng)中，其中，作者定義了一系列的殘差塊，其中每個塊包含了??個卷積層，其中第??層和第??個塊之間的激活值表示為??，即：

其中，由于因果卷積只作用域兩個時間戳，所以濾波器的權(quán)重可通過兩個權(quán)重矩陣表示，即上式中的??和??，??和??分別表示殘差塊之間的權(quán)重矩陣和偏置項(xiàng)。

最后，得到TCN的序列輸出之后，由于這是一個二分類問題，所以一個判別式函數(shù)被引入以將預(yù)測結(jié)果進(jìn)行輸出，其中??表示事件，??則是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到的參數(shù)。

這樣，每個事件e對于預(yù)測值都會有一個貢獻(xiàn)值，即下面的表示：