本文為論文介紹，建議閱讀5分鐘
本文提出了一種對比視覺Transformer(CVT)框架。
在線連續(xù)學(xué)習(xí)(Online continuous learning, Online CL)研究從無任務(wù)邊界的在線數(shù)據(jù)流中學(xué)習(xí)順序任務(wù)的問題，旨在適應(yīng)新數(shù)據(jù)的同時緩解對過去任務(wù)的災(zāi)難性遺忘。本文提出了一種對比視覺Transformer(CVT)框架，該框架設(shè)計(jì)了一種基于Transformer結(jié)構(gòu)的focal對比學(xué)習(xí)策略，以實(shí)現(xiàn)在線學(xué)習(xí)的更好的穩(wěn)定性-可塑性權(quán)衡。具體地說，我們設(shè)計(jì)了一種新的外部注意力機(jī)制，隱式地捕捉了之前的任務(wù)信息。此外，每節(jié)課都有可學(xué)習(xí)的重點(diǎn)，可以積累上節(jié)課的知識，緩解遺忘。基于可學(xué)習(xí)的重點(diǎn)，我們設(shè)計(jì)了焦點(diǎn)對比損失，以重新平衡對比學(xué)習(xí)之間的新和過去的課程和鞏固以前學(xué)習(xí)表征。此外，CVT包含一個雙分類器結(jié)構(gòu)，用于解耦學(xué)習(xí)電流類和平衡所有觀察類。大量的實(shí)驗(yàn)結(jié)果表明，我們的方法在在線CL基準(zhǔn)測試中以更少的參數(shù)實(shí)現(xiàn)了最先進(jìn)的性能，并有效地緩解了災(zāi)難性的遺忘。
https://arxiv.org/abs/2207.13516
下載APP