亚洲五月激情,欧美毛片大片在线关看,天堂资源在线观看,禁片天堂免费网址,国产一区二区性爱视频,无码三级在线播放,91中文|国产蝌蚪,免费无码又爽又黄又刺激网站

來(lái)源：專知
本文約5000字，建議閱讀9分鐘
最新視頻視頻標(biāo)題生成與描述研究綜述論文。

視頻標(biāo)題生成與描述是使用自然語(yǔ)言對(duì)視頻進(jìn)行總結(jié)與重新表達(dá). 由于視頻與語(yǔ)言之間存在異構(gòu)特性, 其數(shù)據(jù)處理過(guò)程較為復(fù)雜.?本文主要對(duì)基于“編碼?解碼” 架構(gòu)的模型做了詳細(xì)闡述, 以視頻特征編碼與使用方式為依據(jù), 將其分為基于視覺(jué)特征均值/最大值的方法、基于視頻序列記憶建模的方法、基于三維卷積特征的方法及混合方法, 并對(duì)各類模型進(jìn)行了歸納與總結(jié).?最后, 對(duì)當(dāng)前存在的問(wèn)題及可能趨勢(shì)進(jìn)行了總結(jié)與展望, 指出需要生成融合情感、邏輯等信息的結(jié)構(gòu)化語(yǔ)段, 并在模型優(yōu)化、數(shù)據(jù)集構(gòu)建、評(píng)價(jià)指標(biāo)等方面進(jìn)行更為深入的研究.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200662

視頻標(biāo)題生成與描述任務(wù)是對(duì)給定的視頻進(jìn)行特征抽象, 并將其轉(zhuǎn)換為自然語(yǔ)言, 對(duì)視覺(jué)內(nèi)容進(jìn)行結(jié)構(gòu)化總結(jié)與重新表達(dá).?它與目前流行的圖像描述任務(wù)一樣, 同屬于計(jì)算機(jī)視覺(jué)高層語(yǔ)義理解范疇, 但鑒于視頻數(shù)據(jù)的時(shí)空特性與語(yǔ)義的多樣性、復(fù)雜性, 其比圖像描述更具挑戰(zhàn)性.

如圖1所示, 它不僅需要檢測(cè)出空間域中的物體、場(chǎng)景、人物等靜態(tài)要素, 還要能夠識(shí)別時(shí)間域上的動(dòng)作及事件, 反映各視覺(jué)語(yǔ)義對(duì)象的時(shí)空變化, 最后選擇合適的詞匯及句式結(jié)構(gòu)將其組合在一起, 形成符合人們表達(dá)習(xí)慣的描述語(yǔ)句. 該任務(wù)對(duì)于自動(dòng)解說(shuō)、導(dǎo)航輔助、智能人機(jī)環(huán)境開(kāi)發(fā)等領(lǐng)域應(yīng)用前景廣闊, 在推動(dòng)旅游、教育及計(jì)算機(jī)學(xué)科本身發(fā)展等方面意義巨大. 但由于該任務(wù)涉及計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理, 甚至社會(huì)心理學(xué)等學(xué)科, 數(shù)據(jù)處理過(guò)程較為復(fù)雜, 具有很大的挑戰(zhàn)性.

視頻標(biāo)題生成與描述研究歷史較為悠久. 在其發(fā)展早期, 人們主要借助于SIFT特征(Scale-invariant feature transform, SIFT)[1]、方向梯度直方圖特征(Histogram of oriented gradient, HOG)[2]等手工特征, 采用統(tǒng)計(jì)的方式對(duì)視頻內(nèi)容進(jìn)行抽象, 提取視頻中的語(yǔ)義特征, 然后運(yùn)用機(jī)器學(xué)習(xí)、分類/識(shí)別、檢索、檢測(cè)等技術(shù)獲取視覺(jué)語(yǔ)義對(duì)象, 并將其按照預(yù)定模板或規(guī)則填入相應(yīng)位置, 組成可讀的描述句子[3-6]. 后來(lái), 人們借鑒機(jī)器翻譯的流程, 設(shè)計(jì)出能夠生成句式更為靈活、用詞更為豐富的“編碼?解碼” 框架結(jié)構(gòu), 提升了生成句子質(zhì)量[7]. 但受限于手工特征的表達(dá)能力, 其生成的句子在準(zhǔn)確性和語(yǔ)義豐富程度等方面與人工表達(dá)仍有較大差距, 難以滿足人們的需求. 隨著深度學(xué)習(xí)技術(shù)的發(fā)展, 研究人員使用大規(guī)模訓(xùn)練數(shù)據(jù)對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural networks, DCNN)進(jìn)行優(yōu)化[8-11], 并將其應(yīng)用于視頻特征提取[12-14]. 深度特征更加抽象, 表達(dá)能力更強(qiáng), 將其與循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural networks, RNN)進(jìn)行結(jié)合, 使得生成的句子中詞匯更加準(zhǔn)確、語(yǔ)義更為豐富. 目前, CNN-RNN框架已成為視覺(jué)描述任務(wù)的基礎(chǔ)架構(gòu). 在此基礎(chǔ)上, 研究人員結(jié)合三維卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)[15-16]、門(mén)限循環(huán)單元(Gated recurrent unit, GRU)[17]、注意力機(jī)制[18]、視覺(jué)概念/屬性機(jī)制[19]等, 設(shè)計(jì)了多種更為復(fù)雜的模型與算法, 進(jìn)一步改善了視頻標(biāo)題與描述的生成質(zhì)量.

除對(duì)簡(jiǎn)單視頻進(jìn)行高度總結(jié)與抽象, 為其生成簡(jiǎn)單描述之外, 人們也在尋求對(duì)更為復(fù)雜的視頻進(jìn)行精細(xì)化表達(dá), 或以事件/場(chǎng)景變化為依據(jù), 對(duì)其中的視覺(jué)語(yǔ)義片段進(jìn)行更為細(xì)致的描述, 或者提取整個(gè)視頻的邏輯語(yǔ)義, 將各片段描述組合為具有一定邏輯結(jié)構(gòu)的描述語(yǔ)段等. 但由于視頻數(shù)據(jù)的復(fù)雜性, 各視覺(jué)語(yǔ)義對(duì)象本身的變化、各對(duì)象之間的邏輯關(guān)聯(lián)及其交互等仍存在建模困難、挖掘與利用不充分等弊端. 同時(shí), 將其映射為更為抽象的詞匯表達(dá)與邏輯語(yǔ)段也在準(zhǔn)確性、連貫性及語(yǔ)義性等方面存在較大挑戰(zhàn), 生成的描述難以應(yīng)用在實(shí)際場(chǎng)景中. 此外, 在復(fù)雜視頻的情感挖掘與個(gè)性化表達(dá)方面, 目前尚無(wú)較為有效的方法與模型, 生成的描述缺乏生動(dòng)性與吸引力, 且難以對(duì)隱含在視頻內(nèi)部的潛在語(yǔ)義及可能的外延信息進(jìn)行推理顯化與表述, 視覺(jué)信息與語(yǔ)言之間的語(yǔ)義鴻溝仍然較為明顯.

目前已有部分工作對(duì)視頻描述任務(wù)進(jìn)行梳理與總結(jié), 如Aafaq等總結(jié)了當(dāng)前視頻描述的主流方法、數(shù)據(jù)集和評(píng)價(jià)指標(biāo), 但他們側(cè)重于從學(xué)習(xí)策略(如序列學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等)上對(duì)各模型進(jìn)行歸類分析[20]. Li等則從更大的視角出發(fā), 系統(tǒng)總結(jié)了視覺(jué)(包括圖像和視頻)到語(yǔ)言的建模范式, 并從視覺(jué)特征編碼方式的層面上對(duì)各視頻描述主流工作進(jìn)行了介紹[21]. 本文參考了他們的思路, 但為了更加詳細(xì)而清晰地呈現(xiàn)視頻標(biāo)題與描述生成的研究脈絡(luò), 首先回顧了視頻描述研究的發(fā)展歷史, 對(duì)其中典型的算法和模型進(jìn)行了分析和總結(jié). 然后對(duì)目前流行的方法進(jìn)行了梳理, 尤其是基于深度網(wǎng)絡(luò)的模型框架, 以視頻特征編碼方式為依據(jù), 按照不同的視覺(jué)特征提取與輸入方式, 將各類模型分別歸類到基于視覺(jué)均值/最大值特征的方法、基于RNN網(wǎng)絡(luò)序列建模的方法、基于3D卷積網(wǎng)絡(luò)的方法, 以及基于混合特征編碼的方法. 在每類方法中, 首先對(duì)視頻簡(jiǎn)單描述模型進(jìn)行了舉例與概括, 然后對(duì)視頻密集描述、段落描述等精細(xì)化表達(dá)模型做了分析與總結(jié). 此外, 還介紹了視頻描述任務(wù)的各類常用驗(yàn)證數(shù)據(jù)集及其評(píng)價(jià)指標(biāo)體系, 列舉了部分典型模型的性能表現(xiàn), 并對(duì)結(jié)果進(jìn)行了對(duì)比分析. 最后對(duì)視頻描述任務(wù)面臨的問(wèn)題及可能研究方向進(jìn)行了闡述與說(shuō)明.

1.??基于模板/規(guī)則的視頻描述

不同于靜態(tài)圖像, 視頻中的視覺(jué)內(nèi)容是動(dòng)態(tài)可變的, 在靜態(tài)的二維數(shù)據(jù)基礎(chǔ)上, 增加了時(shí)間維度, 蘊(yùn)含的視覺(jué)信息更為豐富, 但數(shù)據(jù)結(jié)構(gòu)也更為復(fù)雜. 在為視頻生成標(biāo)題與描述時(shí), 不僅需要考慮每幀上的視覺(jué)語(yǔ)義對(duì)象, 還需要兼顧對(duì)象隨著時(shí)間的變化及其與環(huán)境、其他語(yǔ)義對(duì)象的交互. 同時(shí)還要考慮多尺度時(shí)空上的上下文信息, 對(duì)視覺(jué)信息進(jìn)行高度抽象, 并將其表現(xiàn)在生成的描述語(yǔ)句中. 正是由于視頻攜帶了更為豐富的視覺(jué)信息, 人們一般認(rèn)為視頻標(biāo)題生成與描述更具有現(xiàn)實(shí)意義, 在自動(dòng)解說(shuō)、監(jiān)控理解等方面具有巨大的應(yīng)用價(jià)值, 因此其發(fā)展歷史也更為悠久. 在具體方法方面, 早期研究者主要是結(jié)合基于模板或固定規(guī)則的框架, 設(shè)計(jì)手工特征從視頻中獲取視覺(jué)語(yǔ)義表達(dá), 或使用識(shí)別檢測(cè)技術(shù)檢測(cè)出人物、動(dòng)作、場(chǎng)景等, 將其填入預(yù)設(shè)的語(yǔ)句模板中, 或按照固定規(guī)則組合成描述語(yǔ)句. 其基本框架如圖2所示.

2.??基于神經(jīng)網(wǎng)絡(luò)的視頻描述

基于模板或規(guī)則的視頻描述方法其弊端較為明顯, 生成的描述句子在語(yǔ)法結(jié)構(gòu)、語(yǔ)義表達(dá)等方面都不夠靈活. 目前, 隨著深度學(xué)習(xí)技術(shù)的廣泛應(yīng)用, 人們也將其應(yīng)用在視頻描述領(lǐng)域中, 從視頻特征編碼, 到描述語(yǔ)句生成, 設(shè)計(jì)了多種有效的模型與方法, 大幅提升了模型性能, 有效改善了生成語(yǔ)句的質(zhì)量. 具體表現(xiàn)在, 人們參考機(jī)器翻譯與圖像描述中流行的做法, 使用深度卷積神經(jīng)網(wǎng)絡(luò)及三維卷積神經(jīng)網(wǎng)絡(luò)等對(duì)視頻進(jìn)行特征編碼, 然后使用RNN網(wǎng)絡(luò)對(duì)視覺(jué)特征進(jìn)行解碼, 逐個(gè)生成詞匯并組成句子. 其通用框架與圖像描述類似, 是將視頻作為“源語(yǔ)言”, 將待生成句子作為“目標(biāo)語(yǔ)言”. 在整個(gè)過(guò)程中, 其語(yǔ)句的語(yǔ)法、句型結(jié)構(gòu)等不再通過(guò)人為設(shè)定模板或規(guī)則進(jìn)行干預(yù), 而是直接從訓(xùn)練數(shù)據(jù)中進(jìn)行自主學(xué)習(xí)并記憶. 目前, 基于神經(jīng)網(wǎng)絡(luò)的流程與框架, 研究者已開(kāi)發(fā)出多種效果顯著的模型與算法. 但不同方法之間差異巨大, 所結(jié)合的相關(guān)技術(shù)涵蓋了時(shí)序特征編碼、檢索與定位、注意力機(jī)制、視覺(jué)屬性、對(duì)抗學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等. 本文主要從視覺(jué)特征編碼的角度對(duì)相關(guān)工作進(jìn)行歸納與梳理, 對(duì)各模型與方法的設(shè)計(jì)動(dòng)機(jī)、原理及所使用的技術(shù)進(jìn)行詳細(xì)分析.

3.? 相關(guān)數(shù)據(jù)集與評(píng)價(jià)方法

視頻標(biāo)題生成與描述的驗(yàn)證與評(píng)價(jià)比其他傳統(tǒng)的視覺(jué)任務(wù)(如分類識(shí)別[8-11]、目標(biāo)檢測(cè)[101-103]、圖像/視頻檢索[104-105]等)更加復(fù)雜. 在對(duì)生成的標(biāo)題與描述進(jìn)行統(tǒng)計(jì)分析時(shí), 其評(píng)價(jià)指標(biāo)不僅需要對(duì)詞匯預(yù)測(cè)的精度、句子長(zhǎng)度、連貫性進(jìn)行評(píng)價(jià), 還需要對(duì)句子的語(yǔ)義豐富程度進(jìn)行衡量. 在驗(yàn)證數(shù)據(jù)集的構(gòu)建方面, 不僅需要考慮視頻的類型、復(fù)雜程度, 在標(biāo)注時(shí), 還需要兼顧用詞的準(zhǔn)確性、與視頻內(nèi)容的關(guān)聯(lián)度, 以及整條句子的連貫性與語(yǔ)義性, 構(gòu)建過(guò)程較為耗時(shí)、費(fèi)力. 而對(duì)于更高層次的視頻理解與描述任務(wù), 如融合情感、個(gè)性化及隱含語(yǔ)義挖掘的視頻描述, 其評(píng)價(jià)指標(biāo)的設(shè)計(jì)與數(shù)據(jù)集構(gòu)建更為困難. 目前, 針對(duì)視頻簡(jiǎn)單描述、密集描述與結(jié)構(gòu)化描述, 已出現(xiàn)多個(gè)公開(kāi)的數(shù)據(jù)集; 同時(shí), 人們也借鑒機(jī)器翻譯中的BLEU (Bilingual evaluation understudy)[106]、METEOR (Metric for evaluation of translation with explicit ordering)[107]、ROUGE-L (Recall-oriented understudy for gisting evaluation)[108]等評(píng)價(jià)方法, 并將其引入到視覺(jué)描述任務(wù)中, 對(duì)生成的描述進(jìn)行多方面的考量. 本節(jié)對(duì)目前常用的視頻描述數(shù)據(jù)集、相關(guān)評(píng)價(jià)方法, 以及部分模型性能進(jìn)行了梳理與總結(jié)。

4.?? 總結(jié)與展望

視頻描述任務(wù)與圖像描述類似, 都是將非結(jié)構(gòu)化的視覺(jué)數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化的自然語(yǔ)言, 其間使用中間語(yǔ)言(視覺(jué)特征)進(jìn)行橋接, 以機(jī)器學(xué)習(xí)技術(shù)(尤其是深度學(xué)習(xí)技術(shù))為支撐, 運(yùn)用多種計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理技術(shù), 為視頻生成準(zhǔn)確、連貫且語(yǔ)義豐富的描述句子. 目前, 針對(duì)圖像標(biāo)題生成與描述, 人們已開(kāi)發(fā)出多種效果顯著的模型與方法, 在圖像簡(jiǎn)單描述[18-19,?63-64,?121-124]、圖像密集描述[50,?125-127]、結(jié)構(gòu)化段落描述[128-129], 以及情感及個(gè)性化描述[69,?95-99]等方面均開(kāi)展了卓有成效的研究工作. 但由于視頻在靜態(tài)圖像的基礎(chǔ)上增加了時(shí)間維度, 其數(shù)據(jù)更為復(fù)雜, 信息更為豐富, 視覺(jué)語(yǔ)義提取與挖掘更加困難, 為其生成可靠且質(zhì)量較高的描述語(yǔ)句的挑戰(zhàn)性也更大. 目前人們已借鑒機(jī)器翻譯任務(wù)的流程與框架, 結(jié)合圖像標(biāo)題與生成中的多種技術(shù), 使用3D卷積網(wǎng)絡(luò)、RNN序列建模機(jī)制、注意力機(jī)制、視覺(jué)屬性、視覺(jué)概念、層次化序列記憶網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)技術(shù)等, 設(shè)計(jì)出一系列效果顯著的方法與模型, 已能為視頻生成簡(jiǎn)單描述語(yǔ)句, 或?yàn)椴糠忠曨l生成密集描述/結(jié)構(gòu)化描述語(yǔ)句, 推進(jìn)了視頻標(biāo)題生成與描述任務(wù)的進(jìn)展.

本文系統(tǒng)回顧了視頻標(biāo)題與描述生成的研究歷史, 分析了其研究現(xiàn)狀與前沿動(dòng)態(tài), 對(duì)當(dāng)前的主流模型進(jìn)行了梳理、歸納, 并指出了部分模型的優(yōu)越性及可能的局限性. 在未來(lái)的工作中, 以下幾個(gè)方面值得進(jìn)一步研究與探索:

1) 在含有多個(gè)場(chǎng)景、人物及事件的復(fù)雜視頻中, 對(duì)其邏輯語(yǔ)義的發(fā)現(xiàn)、表征及嵌入的研究尚存在大量空白.?在具體研究中, 不僅要分析視覺(jué)信息中各物體、人物、事件之間的關(guān)系, 還需要將其映射為自然語(yǔ)言的具體成分, 合理地嵌入到生成的句子中, 實(shí)現(xiàn)視頻的精細(xì)化、結(jié)構(gòu)化表達(dá)與描述. 為解決該問(wèn)題, 一方面可借助于視覺(jué)推理技術(shù), 以目標(biāo)識(shí)別與檢測(cè)等方法完成視覺(jué)對(duì)象的感知與發(fā)現(xiàn), 以關(guān)系檢測(cè)、圖網(wǎng)絡(luò)等方法發(fā)現(xiàn)并構(gòu)建相應(yīng)的視覺(jué)關(guān)系及其演化拓?fù)? 完成視覺(jué)關(guān)系的知識(shí)圖構(gòu)建與關(guān)聯(lián)推理; 另一方面, 研究視覺(jué)關(guān)系與語(yǔ)言邏輯之間的映射與轉(zhuǎn)換, 合理使用視覺(jué)屬性、視覺(jué)概念等先驗(yàn)知識(shí), 設(shè)計(jì)更為魯棒的層次化序列模型, 實(shí)現(xiàn)視覺(jué)關(guān)聯(lián)語(yǔ)義到語(yǔ)言邏輯語(yǔ)義的自然嵌入.

2) 視頻描述模型的學(xué)習(xí)代價(jià)比一般的分類、識(shí)別等任務(wù)更為高昂, 其訓(xùn)練數(shù)據(jù)的收集與標(biāo)注常耗費(fèi)大量的人力與物力, 且質(zhì)量也難以管控.?針對(duì)這一問(wèn)題, 可借鑒零樣本與小樣本學(xué)習(xí)技術(shù), 通過(guò)樣本中的概念與屬性推理, 以較少的訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)模型較為充分的優(yōu)化, 生成較為流暢、語(yǔ)義較為豐富、質(zhì)量較為可靠的描述句子. 同時(shí)也可結(jié)合遷移學(xué)習(xí)及強(qiáng)化學(xué)習(xí)策略, 引入域外知識(shí), 對(duì)模型參數(shù)進(jìn)行快速優(yōu)化, 或通過(guò)不斷試錯(cuò), 增強(qiáng)模型對(duì)于正確解的敏感程度, 實(shí)現(xiàn)模型在樣本受限情況下的自主學(xué)習(xí). 除研究模型的優(yōu)化策略外, 同樣也需要構(gòu)建更為完備的相關(guān)數(shù)據(jù)集, 對(duì)其構(gòu)建方法、標(biāo)注規(guī)則及其質(zhì)量管控等方面作出更為有益的嘗試, 以質(zhì)量更優(yōu)的訓(xùn)練數(shù)據(jù)推進(jìn)視頻描述任務(wù)走向?qū)嶋H應(yīng)用.

3) 在各種復(fù)雜視頻中, 尤其是包含人物的視頻, 其內(nèi)容常包含豐富的情感變化及隱含語(yǔ)義, 同時(shí)不同的視頻內(nèi)容對(duì)人們也會(huì)產(chǎn)生相應(yīng)的情感影響或個(gè)人理解.?而目前人們?cè)谘芯恳曨l描述時(shí), 往往只關(guān)注其中的事實(shí)表達(dá), 對(duì)情感、個(gè)性化及隱含信息關(guān)注較少, 造成生成的句子趣味性、可讀性不強(qiáng). 為此, 需要結(jié)合人類的情感心理及視覺(jué)情感發(fā)現(xiàn)技術(shù), 在表情、動(dòng)作及上下文語(yǔ)義環(huán)境上建立其與情感的映射關(guān)系, 并通過(guò)視覺(jué)屬性/概念、注意力機(jī)制等技術(shù)將情感及個(gè)性化信息有機(jī)嵌入到生成的句子中. 同時(shí)加強(qiáng)對(duì)視頻描述可解釋性的研究, 構(gòu)建相應(yīng)的知識(shí)圖譜, 并結(jié)合零樣本學(xué)習(xí)策略, 通過(guò)對(duì)現(xiàn)有知識(shí)的學(xué)習(xí), 對(duì)視覺(jué)信息之外的隱含語(yǔ)義進(jìn)行預(yù)測(cè)和推理, 進(jìn)一步增強(qiáng)生成句子的可用性.

4) 視覺(jué)描述任務(wù)的評(píng)價(jià)內(nèi)容及過(guò)程比其他視覺(jué)任務(wù)更加復(fù)雜, 不僅需要判斷生成句子對(duì)于視頻中物體、人物、動(dòng)作及關(guān)系描述的準(zhǔn)確性, 還需要對(duì)句子的連貫性、語(yǔ)義性及邏輯性進(jìn)行衡量.?目前的策略多是借鑒機(jī)器翻譯的評(píng)價(jià)指標(biāo), 評(píng)價(jià)內(nèi)容較為單一. 當(dāng)前雖然也有如CIDEr、SPICE等面向視覺(jué)描述任務(wù)的評(píng)價(jià)方法, 但在一些更具針對(duì)性的評(píng)價(jià)任務(wù)中, 如對(duì)于情感、個(gè)性化及邏輯語(yǔ)義的判斷與評(píng)價(jià), 這些方法都難以對(duì)其進(jìn)行有效的衡量. 因此, 需要結(jié)合現(xiàn)有的評(píng)價(jià)方法設(shè)計(jì)思路, 開(kāi)發(fā)更為合理的具有針對(duì)性及綜合性的指標(biāo)體系, 為模型及其描述提供更為客觀、公平的評(píng)價(jià)機(jī)制, 尤其是為強(qiáng)化學(xué)習(xí)的模型優(yōu)化方法, 提供更為貼近人們描述與評(píng)價(jià)習(xí)慣的學(xué)習(xí)與反饋策略.

從視頻到語(yǔ)言: 視頻標(biāo)題生成與描述研究綜述

1.??基于模板/規(guī)則的視頻描述

2.??基于神經(jīng)網(wǎng)絡(luò)的視頻描述

3.? 相關(guān)數(shù)據(jù)集與評(píng)價(jià)方法

4.?? 總結(jié)與展望