久久久久久久大香蕉,精品内射一区,日韩毛片在线观看,免费在线观看亚洲,日韩在线视频一区二区三区,日韩免费一级,天天日天天草,五月天亚洲淫淫网

來源：知乎—劉亞輝

地址：https://zhuanlan.zhihu.com/p/510927638

劍橋大學(xué)、騰訊AI Lab、特倫托大學(xué)、DeepMind、香港大學(xué)新作

Language Models Can See: Plugging Visual Controls in Text Generation

論文：https://arxiv.org/abs/2205.02655

代碼：https://github.com/yxuansu/MAGIC

導(dǎo)讀

本文提出了一個全新的MAGIC (iMAge-guided text GeneratIon with CLIP）框架。該框架可以使用圖片模態(tài)的信息指導(dǎo)預(yù)訓(xùn)練語言模型完成一系列跨模態(tài)生成任務(wù)，例如image captioning和visually grounded story generation。與其他方法不同的是，MAGIC框架無需多模態(tài)的訓(xùn)練數(shù)據(jù)，只需利用現(xiàn)成的語言模型（例如GPT-2）和圖文匹配模型（例如CLIP）就能夠以zero-shot的方式高質(zhì)量地完成多模態(tài)生成任務(wù)。此外，不同于使用梯度更新生成模型cache的傳統(tǒng)方法，MAGIC框架無需梯度更新，因而具備更高效的推理效率。

研究背景以及目的

借助于日益強大的預(yù)訓(xùn)練語言模型，我們已經(jīng)可以根據(jù)文本前綴生成一段流利文本。當(dāng)前，絕大多數(shù)工作的主要研究方向集中于利用文本模態(tài)的前綴來生成后續(xù)文本的方法。然而，如何有效利用其他模態(tài)的信息（例如圖片）來指導(dǎo)預(yù)訓(xùn)練語言模型生成高質(zhì)量的文本，仍然是一個待解決的難題。

目前，針對此類問題最常見的解決思路是在收集好的高質(zhì)量多模態(tài)平行數(shù)據(jù)的基礎(chǔ)上，訓(xùn)練多模態(tài)的模型來完成特定的跨模態(tài)任務(wù)。例如，現(xiàn)在我們可以在圖文匹配的標(biāo)注數(shù)據(jù)集上，通過監(jiān)督學(xué)習(xí)的方法訓(xùn)練image captioning模型，從而根據(jù)輸入圖片生成對應(yīng)的文本描述。

但是，該方法存在標(biāo)注數(shù)據(jù)獲得困難的弊端，并不適合所有應(yīng)用場景。為了解決這一難題，許多研究者們提出了一系列弱監(jiān)督的方法。而這類方法也有其弊端，它們會受到不同多模態(tài)任務(wù)的特定限制。例如，在image captioning任務(wù)中，弱監(jiān)督的方法需要使用特定的目標(biāo)檢測器，來收集圖片內(nèi)可識別目標(biāo)的標(biāo)簽信息。然而，當(dāng)圖片中包含目標(biāo)檢測器無法識別的物體(out-of-domain object)時，弱監(jiān)督方法的有效性就會大打折扣。

為了擺脫對目標(biāo)檢測器的依賴從而真正實現(xiàn)zero-shot跨模態(tài)文本生成，ZeroCap[1]提出在推理階段通過梯度更新的方式修正生成語言模型模型的內(nèi)部的隱狀態(tài)，從而使生成的文本描述和圖片內(nèi)容盡可能接近。但是，這一方法也有其弊端，通過多次迭代梯度更新來調(diào)整模型的內(nèi)部隱狀態(tài)，在當(dāng)前預(yù)訓(xùn)練語言模型參數(shù)量越來越大的趨勢下，其運行效率會變得越來越低，嚴(yán)重限制了該方法在實際場景中的應(yīng)用。

本文提出了一個全新的MAGIC框架。MAGIC通過直接插入可控的圖文匹配模型分?jǐn)?shù)的方式，使得語言模型在解碼過程中選擇更接近圖片信息的生成結(jié)果。這樣，語言模型可以在不經(jīng)過任何跨模態(tài)訓(xùn)練的情況下，高質(zhì)量地解決跨模態(tài)生成任務(wù)，得到明顯優(yōu)于弱監(jiān)督模型的文本生成質(zhì)量。同時，與ZeroCap相比，MAGIC還擁有接近27倍的推理速度提升。

研究方法

3.1 無監(jiān)督語言建模

為了適應(yīng)特定跨模態(tài)任務(wù)的文本領(lǐng)域，我們在本文中，預(yù)先使用了跨模態(tài)訓(xùn)練數(shù)據(jù)集中的文本數(shù)據(jù)，采取無監(jiān)督的方式更新語言模型的參數(shù)（僅需在1塊NVIDIA 1080Ti 上運行不到兩個小時），從而使得語言模型更加熟悉該領(lǐng)域的文本分布。具體而言，本文使用MLE損失函數(shù)訓(xùn)練語言模型的參數(shù)：

此外，SimCTG[2]的最新工作證明了通過引入對比損失來校準(zhǔn)模型的語義空間，能夠獲得質(zhì)量更高的的語言模型。因此，本文也同時優(yōu)化如下的對比損失：

其中

\rho

是用來校準(zhǔn)生成模型表示空間的margin參數(shù)，

s

用來計算token表示之間的余弦相似度。最終，本文將兩個損失函數(shù)合并，以此來優(yōu)化文本模態(tài)的GPT-2語言模型：

\mathcal{L} = \mathcal{L}_{\text{MLE}} + \mathcal{L}_{\text{CL}}

3.2 MAGIC Search

本文提出了MAGIC Search解碼算法。MAGIC使用視覺信息指導(dǎo)預(yù)訓(xùn)練語言模型的生成過程。具體而言，給定文本前綴

\boldsymbol{x}_{<t}

和圖片

\mathcal{I}

，第

t

步的token選擇公式如下：

其中

V^{(k)}

表示按照語言模型概率分布選擇的top-k個候選token。同時，我們借鑒了SimCTG中contrastive search的思路，在token選擇指標(biāo)中引入了model confidence和degeneration penalty項來使得模型選擇更合適的token。上述公式中最重要的一項是將視覺控制信息引入到模型的解碼過程中的magic score：

其中

h_{\mathcal{I}}

是CLIP的image encoder產(chǎn)生的圖片表示，

h_{[\boldsymbol{x}_{<t}:v]}

是CLIP的text encoder產(chǎn)生的文本表示。

\beta

參數(shù)用來調(diào)節(jié)視覺信息的控制力度。當(dāng)其值為0時，語言模型的生成過程不再被視覺信息所影響，從而magic search退化為傳統(tǒng)的contrastive search。

實驗結(jié)論

4.1 Zero-shot Image Captioning

4.1.1 實驗設(shè)置

本文在MS-COCO和Flickr30k數(shù)據(jù)集上進行了大量的實驗，并選用以下的無監(jiān)督baseline進行對比：

1. top-k sampling：不基于圖片信息，用top-k 解碼方法使用語言模型來生成caption

2. nucleus sampling：不基于圖片信息，用nucleus解碼方法使用語言模型生成caption

3. contrastive search：不基于圖片信息，用contrastive search解碼方法使用語言模型來生成caption

4. CLIPRe：使用CLIP模型從MS-COCO或Flickr30k的訓(xùn)練數(shù)據(jù)中檢索文本數(shù)據(jù)

5. ZeroCap：在解碼過程中，使用CLIP信息來指導(dǎo)語言模型梯度更新的方法

值得注意的是top-k sampling, nucleus sampling和contrastive search解碼方法因為不基于圖片信息，所以可看作是文本生成模型在跨模態(tài)任務(wù)上的性能下界。此外，本文還選取了一批監(jiān)督和弱監(jiān)督的方法來進行對比。

對于評價方法，本文采用image captioning中經(jīng)典的評價指標(biāo)：BLEU-1, BLEU-4, METEOR, ROUGE-L, CIDEr和SPICE，同時也測試了不同模型的相對解碼速率。

4.1.2 MS-COCO和Flickr30k實驗結(jié)果

如上圖所示，本文發(fā)現(xiàn)當(dāng)忽視captions 的信息，只使用語言模型進行生成時效果并不好（Top-k, Nucleus, Contrastive），這說明沒有對應(yīng)的圖片信息，只依靠語言模型很難完成這個跨模態(tài)的任務(wù)。CLIPRe方法效果雖然顯著好于Top-k等純文本解碼方法，但仍然弱于當(dāng)前state-of-the-art的無監(jiān)督方法，ZeroCap。這是由training set和test set之間的數(shù)據(jù)差異所造成。這也證明了檢索模型在該任務(wù)上效果弱于生成模型。

本文MAGIC的生成結(jié)果顯著優(yōu)于ZeroCap，展示了MAGIC框架的有效性。并且因為MAGIC完全不依賴于梯度更新，其解碼速度比ZeroCap快接近27倍。

4.1.3. 跨領(lǐng)域?qū)嶒灲Y(jié)果

此外，本文還做了跨領(lǐng)域的實驗以進一步測試MAGIC的泛化能力。具體而言，本文使用在源領(lǐng)域（例如MS-COCO）上得到的無監(jiān)督語言模型，在目標(biāo)領(lǐng)域（例如Flickr30k）的測試集上進行實驗。本文在該實驗中對比無監(jiān)督解碼方法和CLIPRe。其中CLIPRe的檢索數(shù)據(jù)集僅來自于源領(lǐng)域的訓(xùn)練集，實驗結(jié)果如下：

從表格中結(jié)果可以發(fā)現(xiàn)，MAGIC遠(yuǎn)好于純文本解碼方法和CLIPRe強baseline。

4.1.4. Case Study

我們通過一些例子來定性的對比baseline和我們的方法：

這幾個例子顯示出MAGIC不僅能夠生成非常流利的文本，同時其生成文本中的信息和圖片模態(tài)的關(guān)聯(lián)性也更強。例如圖(a)中，MAGIC可以準(zhǔn)確的生成“building”，但是ZeroCap卻生成了“school bus”這個無關(guān)的結(jié)果。此外，圖(d)中，雖然ZeroCap生成出了“boatboard”這一相關(guān)詞匯，但其語句流利度低，并且存在語法錯誤。相比之下，MAGIC生成的文本在通順流暢的同時，也與圖片顯示的內(nèi)容一致。

4.2 Visually Grounded Story Generation

除了image captioning任務(wù)之外，我們還將MAGIC框架拓展到了其他基于視覺的文本生成任務(wù)，例如visually grounded story generation。在該任務(wù)中，給一個圖片和故事標(biāo)題，模型的任務(wù)是生成一個流利有趣并且與圖片內(nèi)容及故事標(biāo)題一致的故事。

4.2.1 實驗設(shè)置

本文在ROCStories數(shù)據(jù)集上進行了實驗，并選取以下的文本解碼方式作為我們的baseline：（1） Greedy search；（2）Beam search；（3）Top-K sampling；（4）Nucleus sampling；（5）Typical sampling；和（6）Contrastive search。

為了達(dá)到給ROCStories數(shù)據(jù)集中每一個測試樣例提供一個圖片信息的目的，本文使用CLIP模型從公開的ConceptCaption數(shù)據(jù)集中檢索和故事標(biāo)題最相關(guān)的圖片。

為了有效評價模型的效果，本文采用了以下幾種評價指標(biāo)：

1. 自動評價指標(biāo)：本文采用之前文本生成研究中的一系列評價指標(biāo)

a. n-gram重復(fù)率 (rep-n)

b. 生成文本多樣性 (div.)

c. 語義一致性(coh.)：生成的故事和標(biāo)題是否語義一致

d. 圖文匹配相關(guān)性（CLIPScore）

e. MAUVE分?jǐn)?shù)

2. 人工評價指標(biāo)：為了更精準(zhǔn)的反映生成故事的質(zhì)量，五個專業(yè)的標(biāo)注員從以下幾個角度對生成故事的質(zhì)量進行打分（1-5分，1分最差，5分最好）

a. 相關(guān)性：生成的故事是否和標(biāo)題有關(guān)

b. 流利度：生成的故事是否流利易懂

c. 信息量：生成的故事是否多樣且有趣

d. 故事圖片相關(guān)性：生成的故事是否和通過標(biāo)題檢索得到的圖片語義一致

4.2.2 實驗結(jié)果

如上圖所示，MAGIC在大多數(shù)的指標(biāo)上都達(dá)到了最佳的效果，明顯優(yōu)于其他方法。其中rep-n, diversity和MAUVE的最佳結(jié)果說明MAGIC生成的故事和人類文本更加接近。并且MAGIC在coherence和圖文匹配一致性分?jǐn)?shù)上顯著優(yōu)于其他的方法，說明MAGIC在綜合利用了圖片和文本標(biāo)題的信息之后可以生成和標(biāo)題信息更加相關(guān)的故事內(nèi)容。人工評價的效果也顯示MAGIC生成的故事在各個角度上均達(dá)到了最好的效果。

4.2.3 Case Study

如上圖所示，MAGIC可以有效的生成出和圖片有關(guān)的信息。在第一個例子中，MAGIC 生成的故事包含了詳細(xì)的冰淇凌的種類和味道，除了orange的結(jié)果稍有差異，其他的文本都完美符合圖片中的描述。在第二個例子中，contrastive search生成的結(jié)果和故事標(biāo)題間相關(guān)度較差。與之相反，MAGIC生成的內(nèi)容和圖片中的信息及主題高度相關(guān)，例如：（1）和朋友們在沙灘；（2）打沙灘排球；（3）比賽持續(xù)了兩個小時；（4）朋友贏下了比賽。

Reference:

[1] Tewel et al., ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic, arXiv 2022

[2] Su et al., A Contrastive Framework for Neural Text Generation, arXiv 2022

猜您喜歡：