↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺

作者丨Hannah Peterson、McGL（譯）

來源丨PyVision

編輯丨極市平臺

極市導(dǎo)讀

本文主要介紹了正則化、重播、提醒、雙層持續(xù)學(xué)習(xí)等4種可用于對抗神經(jīng)網(wǎng)絡(luò)災(zāi)難性遺忘問題的策略，并提出了一個新的研究方向——在更真實(shí)的流場景下，訓(xùn)練實(shí)例流有可變分布的在線學(xué)習(xí)。>>加入極市CV技術(shù)交流群，走在計算機(jī)視覺的最前沿

什么是災(zāi)難性遺忘（Catastrophic Forgetting）？

我們的大腦是個不斷進(jìn)化的物體，一直在持續(xù)不斷修改自身的結(jié)構(gòu)，以保留新的信息，并根據(jù)我們與環(huán)境的互動去掉舊的信息。正如我們所知，人工神經(jīng)網(wǎng)絡(luò)及其激活網(wǎng)最初是仿照大腦建立的。然而，大多數(shù)人工神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是靜態(tài)的，依賴于批量學(xué)習(xí)，在訓(xùn)練時它們被輸入很多批獨(dú)立同分布(IID)數(shù)據(jù)，并且學(xué)習(xí)到的參數(shù)在部署時被固定，這與我們大腦的學(xué)習(xí)方式不一樣: 我們不是通過一次性處理隨機(jī)批量的數(shù)據(jù)來學(xué)習(xí)，而是通過處理我們從感官接收到的關(guān)于我們周圍環(huán)境的連續(xù)的相關(guān)信息流。

雖然對于模型在推理時會遇到的數(shù)據(jù)的確切性質(zhì)是事先知道的任務(wù)，批量學(xué)習(xí)很有效，比如對特定類別的隨機(jī)照片進(jìn)行分類。這是一個不現(xiàn)實(shí)的案例，因?yàn)樵诤芏喱F(xiàn)實(shí)應(yīng)用程序中，模型在部署后可能會遇到新數(shù)據(jù)。在這種情況下，我們希望這個模型能夠適應(yīng)動態(tài)處理新數(shù)據(jù)，這個過程被稱為在線學(xué)習(xí)（online learning）。此外，在大多數(shù)情況下，遇到的數(shù)據(jù)并不是隨機(jī)的，而是以相關(guān)實(shí)例順序出現(xiàn)的，比如視頻的幀或股票價格的波動——在開發(fā)在線學(xué)習(xí)解決方案時，必須考慮到這一屬性。

為在線學(xué)習(xí)創(chuàng)建持續(xù)進(jìn)化的神經(jīng)網(wǎng)絡(luò)，已經(jīng)有好幾次嘗試。但是他們不可避免地遇到了所謂的災(zāi)難性遺忘(有時也稱為災(zāi)難性干擾)問題，在這種情況下，適應(yīng)新的任務(wù)會導(dǎo)致神經(jīng)網(wǎng)絡(luò)“忘記”它以前學(xué)過的東西。早在1989年，研究人員McCloskey 和 Cohen就首次發(fā)現(xiàn)了這種現(xiàn)象，當(dāng)時他們測試了一個網(wǎng)絡(luò)按順序?qū)W習(xí)關(guān)聯(lián)列表任務(wù)的能力。在他們的實(shí)驗(yàn)中，第一個任務(wù)包括從兩組 A 和 B 中學(xué)習(xí)成對的任意單詞，如“火車頭 - 抹布，窗戶 - 理由，自行車 - 樹等”。然后它開始學(xué)習(xí)第二個任務(wù)，在這個任務(wù)中，A 與 C 組的不同單詞配對，比如“火車頭 - 云，窗戶 - 書，自行車 - 沙發(fā)等” ，并在1、5、10和20次迭代學(xué)習(xí) AC 列表后，測試它記住 AB 列表中的配對的能力。下面的圖表 b)顯示了在開始學(xué)習(xí) AC 任務(wù)后，網(wǎng)絡(luò)是如何迅速忘記 AB 任務(wù)的，相比之下，在相同的實(shí)驗(yàn)設(shè)置 a)中人類的表現(xiàn)，表明我們的大腦能夠更有效地記住先前任務(wù)的知識。

毫無疑問，構(gòu)建一個結(jié)構(gòu)有限，但能夠在連續(xù)的數(shù)據(jù)流中保留過去經(jīng)驗(yàn)知識的網(wǎng)絡(luò)是非常有挑戰(zhàn)性的?？朔?zāi)難性遺忘的最初策略依賴于隨著新類別的學(xué)習(xí)，逐步向網(wǎng)絡(luò)分配更多的資源，這種方法對于大多數(shù)現(xiàn)實(shí)世界的應(yīng)用程序來說最終是不可持續(xù)的。現(xiàn)在讓我們來看看一些最新的策略，這些策略可以迫使網(wǎng)絡(luò)記住已經(jīng)學(xué)到的東西。

記憶的策略

正則化（Regularization）

處理災(zāi)難性遺忘的一個機(jī)制是正則化，已經(jīng)被深入研究過。正如我們所知道的，一個網(wǎng)絡(luò)通過調(diào)整連接的權(quán)重來適應(yīng)學(xué)習(xí)新的任務(wù)，而正規(guī)化涉及到改變權(quán)重的可塑性，基于他們對以前的任務(wù)的重要性。

在2017年一篇高引用的論文“Overcoming catastrophic forgetting in neural networks”中，Kirkpatrick 等人引入了一種稱為EWC(Elastic Weight Consolidation)的正則化技術(shù)。當(dāng)遇到新任務(wù)時，EWC 通過約束權(quán)重盡量靠近學(xué)到的值，來保持對以前學(xué)習(xí)的任務(wù)重要的連接的準(zhǔn)確性。

為了說明 EWC 是如何工作的，假設(shè)我們正在學(xué)習(xí)一個分類任務(wù) A，我們的網(wǎng)絡(luò)正在學(xué)習(xí)一組權(quán)重 θ。實(shí)際上，在 A 上有多種可以得到良好性能的 θ 設(shè)置——上圖中灰色橢圓表示的權(quán)重范圍。當(dāng)網(wǎng)絡(luò)繼續(xù)學(xué)習(xí)一個與不同權(quán)重范圍（奶油色橢圓）相關(guān)的另一個任務(wù) B 時，它的重量因此被調(diào)整，以至于它們落在A表現(xiàn)好的權(quán)重范圍外，如藍(lán)色箭頭所示，災(zāi)難性遺忘就發(fā)生了。

在 EWC 中，引入了二次懲罰項(xiàng)來約束網(wǎng)絡(luò)參數(shù)，使其在學(xué)習(xí) B 時保持在任務(wù) A 的低誤差區(qū)域內(nèi)，如紅色箭頭所示。二次懲罰作為一種“彈簧”，限定了參數(shù)在以前學(xué)習(xí)到的解決方案范圍內(nèi)，因此得名Elastic?Weight Consolidation。彈簧的彈性度，即二次懲罰的度，在權(quán)重之間的不同取決于權(quán)重對于先前任務(wù)的“重要性”。例如，在圖表中，任務(wù) A 的2D權(quán)重橢球體沿 x 維的長度比 y 維的長，表明 x 權(quán)重對于 A 更重要，因此在調(diào)整學(xué)習(xí) B 時彈性比 y 權(quán)重小。若未能使彈簧以這種方式適應(yīng)，而是對每個權(quán)重施加相同的彈性系數(shù)的話，將導(dǎo)致權(quán)重不能很好地適合任一任務(wù)，如圖中的綠色箭頭所示。

EWC 模型在一連串任務(wù)上進(jìn)行訓(xùn)練，每個任務(wù)由一批數(shù)據(jù)組成。任務(wù)是手寫 MNIST 數(shù)字圖像，固定數(shù)量隨機(jī)洗牌。一旦模型訓(xùn)練了一個任務(wù)的數(shù)據(jù)，它就會轉(zhuǎn)移到下一個任務(wù)的批處理中，并且不會再次遇到前一個任務(wù)的數(shù)據(jù)，這就可以測試 EWC“記住”如何執(zhí)行以前學(xué)過的任務(wù)的能力。下面的圖表顯示了 EWC 在一系列任務(wù) A、 B 和 C 上的測試性能，這些任務(wù)是逐步進(jìn)行訓(xùn)練的。

我們可以看到，盡管學(xué)習(xí)了新的任務(wù)，EWC 的性能在之前學(xué)習(xí)的任務(wù)中保持得相當(dāng)穩(wěn)定，作為對比的是采用對所有權(quán)重使用相同的二次懲罰的方法(綠線)和一個根本不包含懲罰，只是使用標(biāo)準(zhǔn)的隨機(jī)梯度下降的方法(藍(lán)線)——這兩種方法都顯示了任務(wù) A 的災(zāi)難性遺忘，例如，當(dāng)任務(wù) B 和 C 被學(xué)習(xí)時。

重播（Replay）

重播是另一種減少遺忘的流行方法，它包括存儲以前遇到的訓(xùn)練數(shù)據(jù)的一些代表（representation）。數(shù)據(jù)存儲在被稱為重播緩沖區(qū)的地方。這個技術(shù)最早在2016年底Rebuffi 等人發(fā)表的論文“iCaRL: Incremental Classifier and Representation Learning”中提出。在其重播緩沖區(qū)中，iCaRL 為訓(xùn)練期間遇到的每個類存儲成組的圖像，稱為“樣本”圖像。我們的目標(biāo)是讓這些圖片盡可能代表它們各自的類別。對于訓(xùn)練，iCaRL 一次處理一批（含各類別）。當(dāng)遇到一個新類時，將使用所有存儲的樣本和新數(shù)據(jù)創(chuàng)建一個模擬訓(xùn)練集。所有這些數(shù)據(jù)都通過網(wǎng)絡(luò)，之前學(xué)習(xí)的類的輸出存儲到下一步，在下一步中更新網(wǎng)絡(luò)的參數(shù)。通過最小化損失函數(shù)對網(wǎng)絡(luò)進(jìn)行更新，該損失函數(shù)將分類損失和蒸餾損失結(jié)合在一起，分類損失讓網(wǎng)絡(luò)輸出新遇到的類的正確標(biāo)簽，蒸餾損失則鼓勵網(wǎng)絡(luò)重新生成以前學(xué)過的類的標(biāo)簽。

網(wǎng)絡(luò)通過查詢存儲的樣本圖像集來確定如何對給定圖像進(jìn)行分類。具體來說，在推理時，特定類別的樣本圖像通過網(wǎng)絡(luò)產(chǎn)生一組特征向量，這些特征向量的平均值產(chǎn)生該類別的代表性特征向量。對于所有類都會重復(fù)這個過程，并且測試實(shí)例的特征向量會與所有類進(jìn)行比較，然后分配給它最相似的類的標(biāo)簽。重要的是，對存儲的樣本圖像的數(shù)量設(shè)置了一個限制，如果在達(dá)到限制后遇到新類，則從其他類的集合中刪除圖像以適應(yīng)新類的學(xué)習(xí)。這可以防止模型的計算需求和內(nèi)存占用隨著遇到新類而無限增加。

通過這種策略，我們可以在上面的混淆矩陣中看到 iCaRL 保留了以前類(a)的證據(jù)。對角線上被照亮的像素代表了正確的類預(yù)測，我們可以看到，與其他偏向于預(yù)測初始類(c)或最近遇到的類(b 和 d)的網(wǎng)絡(luò)相比，iCaRL 實(shí)現(xiàn)了最正確的預(yù)測以及錯誤預(yù)測的均勻分布。

提醒（REMIND）

iCaRL引入了儲存訓(xùn)練實(shí)例以便記憶學(xué)習(xí)任務(wù)的想法，并引發(fā)了關(guān)于這項(xiàng)技術(shù)不同應(yīng)用的大量研究; 然而，所有這些都依賴于在重播緩沖區(qū)中儲存訓(xùn)練數(shù)據(jù)的原始表示，而大腦則儲存和重播記憶，記憶是新皮層活動模式的壓縮表示。提醒（REMIND），代表使用記憶索引的重播（Replay using Memory INDexing），是由 Hayes 等人在2019年年末提出的一種流式學(xué)習(xí)模型，旨在通過存儲圖像數(shù)據(jù)的特征圖來模仿大腦的這種功能，這是學(xué)界第一次這樣做。此外，很多流式學(xué)習(xí)模型涉及批量處理輸入數(shù)據(jù)——例如，先對一批貓圖像進(jìn)行訓(xùn)練，然后再對一批狗圖像進(jìn)行訓(xùn)練——這既不能代表大腦的工作方式，也不能代表大多數(shù)真實(shí)世界的部署情景，即在連續(xù)流中每次遇到一個數(shù)據(jù)實(shí)例。批處理也是資源密集型的，使得它不適用于很多移動應(yīng)用程序，所以由于這些原因 REMIND 將實(shí)例逐個分類。

REMIND 網(wǎng)絡(luò)分為兩個部分，如上圖所示: 一系列凍結(jié)層之后是一系列可塑層，中間有一個重播緩沖區(qū)。網(wǎng)絡(luò)的訓(xùn)練從一個“基本初始化周期”開始，在這個周期中，所有層以正常的離線方式對一定數(shù)量的類進(jìn)行訓(xùn)練，以初始化它們的權(quán)重。在這之后，凍結(jié)層的權(quán)重實(shí)際上是凍結(jié)的——在剩下的訓(xùn)練中它們保持不變。這背后的想法是，初始的神經(jīng)網(wǎng)絡(luò)層可以很好地概括各種可變輸入，所以當(dāng)遇到新數(shù)據(jù)時，不必更新它們的權(quán)重，因?yàn)樗鼈儾粫l(fā)生重大變化。由網(wǎng)絡(luò)凍結(jié)層產(chǎn)生的輸入圖像的特征映射表示用于訓(xùn)練一個向量量化模型，該模型壓縮特征映射并學(xué)習(xí)如何忠實(shí)地重建它們。被壓縮的表征信息被儲存在 REMIND 的重播緩沖區(qū)中，模仿大腦儲存記憶的機(jī)制，同時減小數(shù)據(jù)的大小，這樣就可以在緩沖區(qū)中儲存更多的訓(xùn)練實(shí)例。

在基本初始化周期結(jié)束后，每個新的訓(xùn)練實(shí)例將通過網(wǎng)絡(luò)的凍結(jié)層，并與一定量從重播緩沖區(qū)中統(tǒng)一選擇并通過學(xué)習(xí)的量化模型重建的實(shí)例結(jié)合在一起?；旌虾蟊挥脕碛?xùn)練網(wǎng)絡(luò)的可塑層。量化的訓(xùn)練樣本和它們的標(biāo)簽被存儲在重播緩沖區(qū)中，直到它達(dá)到最大容量，達(dá)到最大容量后，每次添加一個新的樣本，一個來自具有最多實(shí)例的類的樣本會被隨機(jī)刪除; 這允許模型學(xué)習(xí)新的類而不至于無限制擴(kuò)展。

在下面的圖中，我們可以看到在圖像分類任務(wù)中，REMIND 在線學(xué)習(xí)技術(shù)的測試準(zhǔn)確性與其他學(xué)習(xí)技術(shù)的測試準(zhǔn)確性對比。我們看到，在線學(xué)習(xí)方法中，它獲得了最好的準(zhǔn)確性，僅次于離線分批學(xué)習(xí)方法，在離線分批學(xué)習(xí)方法中，每學(xué)習(xí)一個新類時，網(wǎng)絡(luò)會用以前遇到的所有數(shù)據(jù)隨機(jī)分批進(jìn)行重新訓(xùn)練。

REMIND 的卓越結(jié)果表明，模仿大腦在神經(jīng)網(wǎng)絡(luò)中儲存壓縮記憶表征的方式可能是強(qiáng)迫他們記憶的關(guān)鍵因素。

雙層持續(xù)學(xué)習(xí)（BCL）

BCL（Bi-level Continual Learning）是模仿我們大腦運(yùn)作方式的另一種在線學(xué)習(xí)技術(shù)。在2020年由 Pham 等人提出，它包括兩個不同的模型——“快速權(quán)重”模型和基礎(chǔ)模型——分別反映了海馬體（hippocampus）和新皮層（neocortex）的功能。在我們的大腦中，海馬體負(fù)責(zé)“快速學(xué)習(xí)和獲得新的經(jīng)驗(yàn)” ，而大腦新皮層的任務(wù)是“捕捉所有觀察到的任務(wù)的共同知識”。為了在他們的模型中實(shí)現(xiàn)這些，Pham 等人同時使用了概括泛化記憶和片段記憶緩沖器。小片段記憶的目的是為訓(xùn)練快速權(quán)重模型而存儲近期任務(wù)的數(shù)據(jù)，而泛化記憶則存儲所有遇到的任務(wù)的數(shù)據(jù)?？焖贆?quán)重模型的任務(wù)是將新樣本中的信息整合到基本模型中。

對于 BCL，數(shù)據(jù)以特定類的小批次輸入，其中的一個樣本被放入泛化內(nèi)存，而大部分樣本用于訓(xùn)練快速權(quán)重模型?？焖贆?quán)重模型以基本模型的權(quán)重 θ 初始化，并對特定類別的當(dāng)前批量數(shù)據(jù)與來自片段記憶的最新數(shù)據(jù)混合進(jìn)行訓(xùn)練，得到一組新的權(quán)重 φ。然后根據(jù)快速權(quán)重模型的因素調(diào)整基礎(chǔ)模型的權(quán)重?？焖贆?quán)重模型的任務(wù)是快速適應(yīng)新任務(wù)的學(xué)習(xí)，而知識蒸餾正則器（regularizer）的作用是鼓勵它最小化新權(quán)重 φ 與初始權(quán)重 θ 之間的距離，這樣更新基礎(chǔ)模型不會導(dǎo)致它在任務(wù)間失去過多的泛化能力。在處理一個小批次后，快速權(quán)重值被丟棄，并用基礎(chǔ)模型的權(quán)重重新初始化，以學(xué)習(xí)下一批數(shù)據(jù)。

Pham 比較他們的 BCL 技術(shù)和其他幾個持續(xù)學(xué)習(xí)模型在一系列分類任務(wù)中的表現(xiàn)，發(fā)現(xiàn)它通常優(yōu)于其他所有模型。在 CIFAR100數(shù)據(jù)集上，一個典型的離線批量學(xué)習(xí)方法達(dá)到了74.11% 的測試準(zhǔn)確率，BCL 達(dá)到了67.75% ，而次優(yōu)的模型達(dá)到了64.36% ，iCARL 只達(dá)到了48.43% 的準(zhǔn)確率。下面的圖表顯示了 BCL 和其他重播技術(shù)是如何隨著片段記憶大小的增加而普遍提高 CIFAR 任務(wù)的性能的?？紤]到更大的記憶容許更準(zhǔn)確地表示原始數(shù)據(jù)集，這是合理的。

但與 REMIND 不同的是，BCL 將未經(jīng)壓縮的原始數(shù)據(jù)存儲在其內(nèi)存緩沖區(qū)中。因此，比較這兩種不同方法在同一任務(wù)中模擬大腦記憶結(jié)構(gòu)的表現(xiàn)是很有意思的。

總結(jié)

即使在這里所討論的增量學(xué)習(xí)場景中，訓(xùn)練的條件仍然不能很好地代表現(xiàn)實(shí)世界——極少情況下，輸入的數(shù)據(jù)會如此清楚地劃分為每個類別的增量批次。鑒于此，一個新的研究方向是研究在更真實(shí)的流場景下，訓(xùn)練實(shí)例流有可變分布的在線學(xué)習(xí)。這種研究對于在線學(xué)習(xí)的太空應(yīng)用尤其有意義，比如，航天器可能必須學(xué)習(xí)如何在飛行中避免與之前未見過的物體碰撞。

原文鏈接：

https://medium.com/gsi-technology/your-neural-network-will-forget-what-its-learned-39b7f578f24a

推薦閱讀

深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中的 tricks（原理與代碼匯總）
如何理解神經(jīng)網(wǎng)絡(luò)的泛化能力？CMU團(tuán)隊(duì)另辟蹊徑：一切秘密都在數(shù)據(jù)中
總結(jié) 27 類深度學(xué)習(xí)主要神經(jīng)網(wǎng)絡(luò)：結(jié)構(gòu)圖及應(yīng)用

來測一測你是幾級的煉丹師？

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測-深圳），即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??

你的神經(jīng)網(wǎng)絡(luò)會忘了學(xué)到的東西？

什么是災(zāi)難性遺忘（Catastrophic Forgetting）？

記憶的策略

正則化（Regularization）

總結(jié)

你的神經(jīng)網(wǎng)絡(luò)會忘了學(xué)到的東西？