綜述 | 持續(xù)學習，如何解決分類問題中災難性遺忘
僅分享，侵刪 轉載 ：專知
人工神經網絡在解決特定剛性任務的分類問題時，通過不同訓練階段的廣義學習行為獲取知識。由此產生的網絡類似于一個靜態(tài)的知識實體，努力擴展這種知識而不針對最初的任務，從而導致災難性的遺忘。
持續(xù)學習將這種范式轉變?yōu)榭梢栽诓煌蝿丈铣掷m(xù)積累知識的網絡，而不需要從頭開始再訓練。我們關注任務增量分類，即任務按順序到達，并由清晰的邊界劃分。我們的主要貢獻包括:
(1) 對持續(xù)學習技術的分類和廣泛的概述;
(2) 一個持續(xù)學習器穩(wěn)定性-可塑性權衡的新框架;
(3) 對11種最先進的持續(xù)學習方法和4條基準進行綜合實驗比較。
考慮到微型Imagenet和大規(guī)模不平衡的非自然主義者以及一系列識別數據集，我們以經驗的方式在三個基準上仔細檢查方法的優(yōu)缺點。我們研究了模型容量、權重衰減和衰減正則化的影響，以及任務呈現的順序，并從所需內存、計算時間和存儲空間等方面定性比較了各種方法。
引言
近年來，據報道，機器學習模型在個人任務上表現出甚至超過人類水平的表現，如雅達利游戲[1]或物體識別[2]。雖然這些結果令人印象深刻，但它們是在靜態(tài)模型無法適應其行為的情況下獲得的。因此，這需要在每次有新數據可用時重新啟動訓練過程。在我們的動態(tài)世界中，這種做法對于數據流來說很快就變得難以處理，或者可能由于存儲限制或隱私問題而只能暫時可用。這就需要不斷適應和不斷學習的系統(tǒng)。人類的認知就是這樣一個系統(tǒng)的例證，它具有順序學習概念的傾向。通過觀察例子來重新審視舊的概念可能會發(fā)生，但對保存這些知識來說并不是必要的，而且盡管人類可能會逐漸忘記舊的信息，但完全丟失以前的知識很少被證明是[3]。相比之下，人工神經網絡則不能以這種方式學習:在學習新概念時，它們會遭遇對舊概念的災難性遺忘。為了規(guī)避這一問題，人工神經網絡的研究主要集中在靜態(tài)任務上，通常通過重組數據來確保i.i.d.條件，并通過在多個時期重新訪問訓練數據來大幅提高性能。
持續(xù)學習研究從無窮無盡的數據流中學習的問題，其目標是逐步擴展已獲得的知識，并將其用于未來[4]的學習。數據可以來自于變化的輸入域(例如，不同的成像條件)，也可以與不同的任務相關聯(例如，細粒度的分類問題)。持續(xù)學習也被稱為終身學習[18]0，[18]1，[18]2，[18]3，[18]5，[18]4，順序學習[10]，[11]，[12]或增量學習[13]，[14]，[15]，[16]，[17]，[18]，[19]。主要的標準是學習過程的順序性質，只有一小部分輸入數據來自一個或幾個任務，一次可用。主要的挑戰(zhàn)是在不發(fā)生災難性遺忘的情況下進行學習:當添加新的任務或域時，之前學習的任務或域的性能不會隨著時間的推移而顯著下降。這是神經網絡中一個更普遍的問題[20]的直接結果，即穩(wěn)定性-可塑性困境，可塑性指的是整合新知識的能力，以及在編碼時保持原有知識的穩(wěn)定性。這是一個具有挑戰(zhàn)性的問題，不斷學習的進展使得現實世界的應用開始出現[21]、[22]、[23]。
為了集中注意力，我們用兩種方式限制了我們的研究范圍。首先，我們只考慮任務增量設置，其中數據按順序分批到達，一個批對應一個任務，例如要學習的一組新類別。換句話說，我們假設對于一個給定的任務，所有的數據都可以同時用于離線訓練。這使得對所有訓練數據進行多個時期的學習成為可能，反復洗刷以確保i.i.d.的條件。重要的是，無法訪問以前或將來任務的數據。在此設置中優(yōu)化新任務將導致災難性的遺忘，舊任務的性能將顯著下降，除非采取特殊措施。這些措施在不同情況下的有效性，正是本文所要探討的。此外，任務增量學習將范圍限制為一個多頭配置，每個任務都有一個獨占的輸出層或頭。這與所有任務共享一個頭的更有挑戰(zhàn)性的類增量設置相反。這在學習中引入了額外的干擾，增加了可供選擇的輸出節(jié)點的數量。相反，我們假設已知一個給定的樣本屬于哪個任務。
其次，我們只關注分類問題，因為分類可以說是人工神經網絡最既定的任務之一，使用相對簡單、標準和易于理解的網絡體系結構具有良好的性能。第2節(jié)對設置進行了更詳細的描述，第7節(jié)討論了處理更一般設置的開放問題。
---------?---------
猜您喜歡：
附下載 |《TensorFlow 2.0 深度學習算法實戰(zhàn)》