美女做爱视频网站,国产麻传媒一区二区三区网站入口,五月丁香好婷婷网站入口,一级欧美在线,大鸡巴操逼视频网站,黄视频在线观看免费,国产AV一区二区三区,国产毛片在线视频

【南洋理工-CVPR2022】視覺語言模型的條件提示學(xué)習(xí)

共 724字，需瀏覽 2分鐘

2022-03-19 00:13

來源：專知
本文為論文，建議閱讀5分鐘
一種名為上下文優(yōu)化(CoOp)的方法將提示學(xué)習(xí)的概念引入視覺領(lǐng)域，以適應(yīng)預(yù)訓(xùn)練的視覺語言模型。

隨著功能強(qiáng)大的預(yù)訓(xùn)練視覺語言模型(如CLIP)的興起，研究如何使這些模型適應(yīng)下游數(shù)據(jù)集變得非常必要。最近提出的一種名為上下文優(yōu)化(CoOp)的方法將提示學(xué)習(xí)的概念引入視覺領(lǐng)域，以適應(yīng)預(yù)訓(xùn)練的視覺語言模型。具體來說，CoOp將提示中的上下文單詞轉(zhuǎn)換為一組可學(xué)習(xí)的向量，并且僅使用少量標(biāo)記的圖像進(jìn)行學(xué)習(xí)，可以在經(jīng)過大量調(diào)整的手動提示中實現(xiàn)巨大的改進(jìn)。在我們的研究中，我們確定了CoOp的一個關(guān)鍵問題: 學(xué)習(xí)的上下文不能泛化到同一數(shù)據(jù)集內(nèi)更廣泛的不可見類，這表明在訓(xùn)練期間觀察到的CoOp基類過擬合。為了解決這個問題，我們提出了條件上下文優(yōu)化(CoCoOp)，它通過進(jìn)一步學(xué)習(xí)一個輕量級神經(jīng)網(wǎng)絡(luò)來為每幅圖像生成一個輸入條件標(biāo)記(向量)來擴(kuò)展CoCoOp。與CoOp的靜態(tài)提示相比，我們的動態(tài)提示適應(yīng)每個實例，因此對類遷移不那么敏感。大量的實驗表明，對于不可見的類，CoCoOp的泛化效果要比CoOp好得多，甚至在單個數(shù)據(jù)集之外還顯示出很好的可遷移性; 具有較強(qiáng)的域泛化性能。代碼可在https://github.com/ KaiyangZhou/CoOp

https://www.zhuanzhi.ai/paper/8fc04028caefdfdb427ca26bc1005d6e

點(diǎn)贊

評論

舉報