本文對持續(xù)學(xué)習(xí)進(jìn)行了全面的調(diào)研，試圖在基本設(shè)置、理論基礎(chǔ)、代表性方法和實(shí)際應(yīng)用之間建立聯(lián)系。
在一般意義上，持續(xù)學(xué)習(xí)明顯受到災(zāi)難性遺忘的限制，學(xué)習(xí)新任務(wù)通常會(huì)導(dǎo)致舊任務(wù)的性能急劇下降。
除此之外，近年來出現(xiàn)了越來越多的進(jìn)展，在很大程度上擴(kuò)展了持續(xù)學(xué)習(xí)的理解和應(yīng)用。人們對這一方向日益增長和廣泛的興趣表明了它的現(xiàn)實(shí)意義和復(fù)雜性。論文地址：https://arxiv.org/abs/2302.00487基于現(xiàn)有的理論和實(shí)證結(jié)果，將持續(xù)學(xué)習(xí)的一般目標(biāo)總結(jié)為：在資源效率的背景下，確保適當(dāng)?shù)姆€(wěn)定性-可塑性權(quán)衡，以及充分的任務(wù)內(nèi)/任務(wù)間泛化能力。提供了最先進(jìn)的和詳細(xì)的分類法，廣泛分析了有代表性的策略如何解決持續(xù)學(xué)習(xí)，以及它們?nèi)绾芜m應(yīng)各種應(yīng)用中的特定挑戰(zhàn)。通過對持續(xù)學(xué)習(xí)當(dāng)前趨勢、跨方向前景和與神經(jīng)科學(xué)的跨學(xué)科聯(lián)系的深入討論，相信這種整體的視角可以極大地促進(jìn)該領(lǐng)域和其他領(lǐng)域的后續(xù)探索。學(xué)習(xí)是智能系統(tǒng)適應(yīng)環(huán)境的基礎(chǔ)。為了應(yīng)對外界的變化，進(jìn)化使人類和其他生物具有很強(qiáng)的適應(yīng)性，能夠不斷地獲取、更新、積累和利用知識(shí)[148]、[227]、[322]。自然，我們期望人工智能(AI)系統(tǒng)以類似的方式適應(yīng)。這激發(fā)了持續(xù)學(xué)習(xí)的研究，其中典型的設(shè)置是逐一學(xué)習(xí)一系列內(nèi)容，并表現(xiàn)得就像同時(shí)觀察到的一樣(圖1,a)。這些內(nèi)容可以是新技能、舊技能的新示例、不同的環(huán)境、不同的背景等，并包含特定的現(xiàn)實(shí)挑戰(zhàn)[322]，[413]。由于內(nèi)容是在一生中逐步提供的，因此在許多文獻(xiàn)中，持續(xù)學(xué)習(xí)也被稱為增量學(xué)習(xí)或終身學(xué)習(xí)，但沒有嚴(yán)格的區(qū)分[70]，[227]。與傳統(tǒng)的基于靜態(tài)數(shù)據(jù)分布的機(jī)器學(xué)習(xí)模型不同，持續(xù)學(xué)習(xí)的特點(diǎn)是從動(dòng)態(tài)數(shù)據(jù)分布中學(xué)習(xí)。一個(gè)主要的挑戰(zhàn)被稱為災(zāi)難性遺忘[291]，[292]，對新分布的適應(yīng)通常會(huì)導(dǎo)致捕獲舊分布的能力大大降低。這種困境是學(xué)習(xí)可塑性和記憶穩(wěn)定性權(quán)衡的一個(gè)方面：前者過多會(huì)干擾后者，反之亦然。除了簡單地平衡這兩方面的「比例」外，持續(xù)學(xué)習(xí)的理想解決方案應(yīng)該獲得強(qiáng)大的泛化能力，以適應(yīng)任務(wù)內(nèi)部和任務(wù)之間的分布差異(圖1,b)。作為一個(gè)樸素的基線，重新訓(xùn)練所有舊的訓(xùn)練樣本(如果允許)可以輕松解決上述挑戰(zhàn)，但會(huì)產(chǎn)生巨大的計(jì)算和存儲(chǔ)開銷(以及潛在的隱私問題)。事實(shí)上，持續(xù)學(xué)習(xí)的主要目的是確保模型更新的資源效率，最好接近只學(xué)習(xí)新的訓(xùn)練樣本。
許多努力致力于解決上述挑戰(zhàn)，可以在概念上分為五組(圖1,c)：參考舊模型添加正則化項(xiàng)(基于正則化的方法);逼近和恢復(fù)舊數(shù)據(jù)分布(基于回放的方法);顯式操作優(yōu)化程序(基于優(yōu)化的方法);學(xué)習(xí)魯棒和良好泛化的表示(基于表示的方法);以及使用正確設(shè)計(jì)的體系結(jié)構(gòu)構(gòu)建任務(wù)自適應(yīng)參數(shù)(基于體系結(jié)構(gòu)的方法)。該分類法擴(kuò)展了常用分類法的最新進(jìn)展，并為每個(gè)類別提供了細(xì)化的子方向?？偨Y(jié)了這些方法是如何實(shí)現(xiàn)所提出的一般目標(biāo)的，并對其理論基礎(chǔ)和典型實(shí)現(xiàn)進(jìn)行了廣泛的分析。特別是，這些方法是緊密聯(lián)系的，例如正則化和重放最終糾正優(yōu)化中的梯度方向，并且具有高度的協(xié)同性，例如，重放的效果可以通過從舊模型中提取知識(shí)來提高。現(xiàn)實(shí)應(yīng)用對持續(xù)學(xué)習(xí)提出了特殊的挑戰(zhàn)，可以分為場景復(fù)雜性和任務(wù)特異性。對于前者，例如，在訓(xùn)練和測試中可能缺少任務(wù)oracle(即執(zhí)行哪個(gè)任務(wù))，訓(xùn)練樣本可能是小批量甚至一次引入的。由于數(shù)據(jù)標(biāo)記的成本和稀缺性，持續(xù)學(xué)習(xí)需要在少樣本、半監(jiān)督甚至無監(jiān)督的場景中有效。對于后者，雖然目前的進(jìn)展主要集中在視覺分類，但其他視覺領(lǐng)域(如目標(biāo)檢測、語義分割和圖像生成)以及其他相關(guān)領(lǐng)域(如強(qiáng)化學(xué)習(xí)(RL)、自然語言處理(NLP)和倫理考慮)正在受到越來越多的關(guān)注，其機(jī)遇和挑戰(zhàn)。考慮到持續(xù)學(xué)習(xí)的興趣顯著增長，我們相信這項(xiàng)最新和全面的調(diào)研可以為后續(xù)的工作提供一個(gè)整體的視角。盡管有一些關(guān)于持續(xù)學(xué)習(xí)的早期調(diào)研，覆蓋面相對較廣[70]，[322]，但近年來的重要進(jìn)展并未被納入其中。相比之下，最新的調(diào)研通常只整理持續(xù)學(xué)習(xí)的局部方面，關(guān)于其生物學(xué)基礎(chǔ)[148]，[156]，[186]，[227]，視覺分類的專門設(shè)置[85]，[283]，[289]，[346]，以及NLP[37]，[206]或RL[214]中的擴(kuò)展。據(jù)我們所知，這是第一個(gè)系統(tǒng)總結(jié)持續(xù)學(xué)習(xí)的最新進(jìn)展的調(diào)研。基于這些優(yōu)勢，我們就當(dāng)前趨勢、跨方向前景(如擴(kuò)散模型、大規(guī)模預(yù)訓(xùn)練、視覺轉(zhuǎn)換器、具體AI、神經(jīng)壓縮等)以及與神經(jīng)科學(xué)的跨學(xué)科聯(lián)系，深入討論了持續(xù)學(xué)習(xí)。(1) 對持續(xù)學(xué)習(xí)進(jìn)行了最新而全面的綜述，以連接理論、方法和應(yīng)用的進(jìn)步;(2) 根據(jù)現(xiàn)有的理論和實(shí)證結(jié)果，總結(jié)了持續(xù)學(xué)習(xí)的一般目標(biāo)，并對具有代表性的策略進(jìn)行了詳細(xì)的分類;(3) 將現(xiàn)實(shí)應(yīng)用的特殊挑戰(zhàn)分為場景復(fù)雜性和任務(wù)特殊性，并廣泛分析了持續(xù)學(xué)習(xí)策略如何適應(yīng)這些挑戰(zhàn); (4)深入探討了當(dāng)前研究趨勢和發(fā)展方向，以期為相關(guān)領(lǐng)域后續(xù)工作提供參考。本文的組織如下：在第2節(jié)中，我們介紹了持續(xù)學(xué)習(xí)的設(shè)置，包括其基本公式，典型場景和評估指標(biāo)。在第3節(jié)中，我們總結(jié)了一些針對其一般目標(biāo)的持續(xù)學(xué)習(xí)的理論努力。在第4節(jié)中，我們對具有代表性的策略進(jìn)行了最新的和詳細(xì)的分類，分析了它們的動(dòng)機(jī)和典型的實(shí)現(xiàn)。在第5節(jié)和第6節(jié)中，我們描述了這些策略如何適應(yīng)場景復(fù)雜性和任務(wù)特異性的現(xiàn)實(shí)挑戰(zhàn)。在第7節(jié)中，我們提供了當(dāng)前趨勢的討論，交叉方向的前景和神經(jīng)科學(xué)的跨學(xué)科聯(lián)系。在本節(jié)中，我們詳細(xì)介紹了代表性持續(xù)學(xué)習(xí)方法的分類(參見圖3和圖1,c)，并廣泛分析了它們的主要?jiǎng)訖C(jī)、典型實(shí)現(xiàn)和經(jīng)驗(yàn)屬性。該方向的特點(diǎn)是添加顯式正則項(xiàng)來平衡新舊任務(wù)，這通常需要存儲(chǔ)舊模型的凍結(jié)副本以供參考(見圖4)。根據(jù)正則化的目標(biāo)，這類方法可以分為兩類。將近似和恢復(fù)舊數(shù)據(jù)分布的方法分組到這個(gè)方向(見圖5)。根據(jù)回放的內(nèi)容，這些方法可以進(jìn)一步分為三個(gè)子方向，每個(gè)子方向都有自己的挑戰(zhàn)。持續(xù)學(xué)習(xí)不僅可以通過向損失函數(shù)添加額外的項(xiàng)(例如正則化和重放)來實(shí)現(xiàn)，還可以通過顯式地設(shè)計(jì)和操作優(yōu)化程序來實(shí)現(xiàn)。將創(chuàng)建和利用持續(xù)學(xué)習(xí)表示優(yōu)勢的方法歸為這一類。除了早期通過元訓(xùn)練[185]獲得稀疏表示的工作外，最近的工作試圖結(jié)合自監(jiān)督學(xué)習(xí)(SSL)[125]、[281]、[335]和大規(guī)模預(yù)訓(xùn)練[295]、[380]、[456]的優(yōu)勢，以改進(jìn)初始化和持續(xù)學(xué)習(xí)中的表示。請注意，這兩種策略密切相關(guān)，因?yàn)轭A(yù)訓(xùn)練數(shù)據(jù)通常數(shù)量巨大且沒有明確的標(biāo)簽，而SSL本身的性能主要通過對(一系列)下游任務(wù)進(jìn)行微調(diào)來評估。下面，我們將討論具有代表性的子方向。上述策略主要集中在學(xué)習(xí)所有具有共享參數(shù)集的增量任務(wù)(即單個(gè)模型和一個(gè)參數(shù)空間)，這是導(dǎo)致任務(wù)間干擾的主要原因。相反，構(gòu)造特定于任務(wù)的參數(shù)可以顯式地解決這個(gè)問題。以往的工作通常根據(jù)網(wǎng)絡(luò)體系結(jié)構(gòu)是否固定，將該方向分為參數(shù)隔離和動(dòng)態(tài)體系結(jié)構(gòu)。本文專注于實(shí)現(xiàn)特定任務(wù)參數(shù)的方式，將上述概念擴(kuò)展到參數(shù)分配、模型分解和模塊化網(wǎng)絡(luò)(圖8)。參考資料：
https://arxiv.org/abs/2302.00487
