ICLR 2021 | 騰訊 AI Lab 入選論文解讀

ICLR（International Conference on Learning Representations），即國(guó)際學(xué)習(xí)表征會(huì)議，由深度學(xué)習(xí)三巨頭之二的 Yoshua Bengio 和 Yann LeCun 于2013年創(chuàng)立。盡管起步晚，但其影響力已不容小覷：它被譽(yù)為“深度學(xué)習(xí)的頂級(jí)會(huì)議”，受到學(xué)術(shù)研究者們的廣泛認(rèn)可，谷歌學(xué)術(shù) h5 指數(shù)已經(jīng)排到了全榜第 17 名，超過(guò)了 NeurIPS、ICCV、ICML。

日前它放出了今年的論文接收結(jié)果。ICLR 2021 共收到 2997 篇有效投稿，最終接收 860 篇，其中 53 篇為 Oral 論文，114 篇 Spotlight 論文，其余為 Poster 論文。接收率為 29%，相比去年的 26.5% 有所提升。

騰訊 AI Lab 共 7 篇論文被 ICLR 2021 收錄，其中包括一篇 Spotlight 展示論文，涵蓋騰訊 AI Lab 在機(jī)器學(xué)習(xí)和自然語(yǔ)言處理兩大重點(diǎn)方向的研究成果。以下為詳細(xì)解讀。

1.針對(duì)醫(yī)療圖像的一種穩(wěn)定性對(duì)抗攻擊方法

Stabilized Medical Image Attacks

本文由騰訊 AI Lab 和騰訊天衍實(shí)驗(yàn)室合作完成。深度神經(jīng)網(wǎng)絡(luò)使得醫(yī)療圖像的自動(dòng)診療的性能得到大幅提升。然而深度神經(jīng)網(wǎng)絡(luò)會(huì)帶來(lái)對(duì)抗攻擊的脆弱性等困難。因此針對(duì)普適醫(yī)療圖像的對(duì)抗攻擊具有明確的意義，可以有效進(jìn)行分析并避免自動(dòng)診療中帶來(lái)的誤判問(wèn)題。

本文在現(xiàn)有針對(duì)自然圖像的對(duì)抗攻擊基礎(chǔ)上，提出一個(gè)穩(wěn)定性約束項(xiàng)。在對(duì)抗擾動(dòng)迭代計(jì)算的過(guò)程中，該約束項(xiàng)衡量當(dāng)前擾動(dòng)和之前擾動(dòng)的相似性。從KL散度的角度來(lái)看，該約束項(xiàng)使得對(duì)抗攻擊將網(wǎng)絡(luò)的輸出引入一個(gè)錯(cuò)誤而固定的結(jié)果。該結(jié)果不受網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)類型的影響。

在若干醫(yī)療圖像分析的數(shù)據(jù)庫(kù)中（包括最近的新冠數(shù)據(jù)庫(kù)COVID-19），我們的方法能夠穩(wěn)定而有效的攻擊現(xiàn)有的自動(dòng)診療神經(jīng)網(wǎng)絡(luò)系統(tǒng)。本研究可用于分析自動(dòng)醫(yī)療圖像診療的潛在風(fēng)險(xiǎn)。例如由于醫(yī)療設(shè)備受污染帶來(lái)的診療誤判情況，以及人為的醫(yī)療保險(xiǎn)欺詐等問(wèn)題。

本方向3篇論文，分別探索對(duì)抗攻擊、圖深度學(xué)習(xí)、離線強(qiáng)化學(xué)習(xí)等主題。

1.基于圖信息瓶頸的子圖識(shí)別

Graph Information Bottleneck for Subgraph Recognition

本文由騰訊 AI Lab 和中國(guó)科學(xué)院自動(dòng)化研究所合作完成。圖分類、藥物分子官能團(tuán)發(fā)掘、圖數(shù)據(jù)去噪等任務(wù)都可以歸結(jié)為尋找一個(gè)與原圖標(biāo)簽最為相關(guān)且濾除噪聲結(jié)構(gòu)的子圖。然而監(jiān)督學(xué)習(xí)需要利用子圖層面的標(biāo)簽，且圖的不規(guī)則離散結(jié)構(gòu)對(duì)算法優(yōu)化帶來(lái)了挑戰(zhàn)。

本文基于信息瓶頸理論提出了信息瓶頸子圖的概念和圖信息瓶頸算法，并針對(duì)圖的不規(guī)則離散結(jié)構(gòu)提出了二層互信息優(yōu)化算法與連續(xù)化松弛方法?；谠撍惴ǎ恍枰@式的子圖標(biāo)簽即可有效識(shí)別這種子圖。

實(shí)驗(yàn)表明，該算法能有效提高多種圖分類算法的精度；在分子數(shù)據(jù)集上，該算法能夠準(zhǔn)確識(shí)別最能影響藥物分子屬性的子結(jié)構(gòu)；此外，該算法對(duì)于有噪聲的圖分類任務(wù)有較好的魯棒性。

本文在圖深度學(xué)習(xí)中開(kāi)拓出了一個(gè)子圖識(shí)別的新的研究領(lǐng)域，并在藥物發(fā)現(xiàn)中起到了一定的輔助分析的作用。其中結(jié)合信息瓶頸理論來(lái)解決圖問(wèn)題的思路也對(duì)今后的相關(guān)研究有借鑒意義。

想了解更多關(guān)于圖深度學(xué)習(xí)的信息，可閱讀文章：騰訊AI Lab聯(lián)合清華、港中文，萬(wàn)字解讀圖深度學(xué)習(xí)歷史、最新進(jìn)展與應(yīng)用

2.通過(guò)反轉(zhuǎn)有限權(quán)重比特實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的有目標(biāo)攻擊

Targeted Attack Against Deep Neural Networks via Flipping Limited Weight Bits

為了探索深度學(xué)習(xí)的脆弱性進(jìn)而獲取更加安全的深度模型，研究者們提出了許多的攻擊范式，例如在訓(xùn)練階段使用基于數(shù)據(jù)投毒的后門(mén)攻擊、在推斷階段使用的對(duì)抗攻擊。

本文研究了一種新的攻擊范式，即通過(guò)修改部署的模型參數(shù)來(lái)達(dá)到惡意目的。我們的攻擊目標(biāo)為：將一個(gè)指定樣本分類到目標(biāo)類別（不對(duì)此樣本進(jìn)行修改），同時(shí)不顯著降低模型在其他樣本上的性能。由于網(wǎng)絡(luò)參數(shù)在內(nèi)存中是以二進(jìn)制比特存儲(chǔ)的，因此我們將識(shí)別重要比特問(wèn)題形式化定義為二元整數(shù)規(guī)劃問(wèn)題，給出了帶有約束的目標(biāo)函數(shù)。

利用最新的整數(shù)規(guī)劃算法，我們進(jìn)一步給出了一種高效的優(yōu)化方法。實(shí)驗(yàn)表明，該方法在多個(gè)數(shù)據(jù)集上表現(xiàn)顯著優(yōu)于啟發(fā)式的方法。本研究可用于評(píng)估當(dāng)前深度模型參數(shù)的魯棒性，識(shí)別應(yīng)用中的潛在安全隱患，進(jìn)而促進(jìn)更加安全的模型開(kāi)發(fā)與部署。

3.一種基于距離度量學(xué)習(xí)及行為正則化的完全離線的元強(qiáng)化學(xué)習(xí)方法

Efficient Fully-Offiline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization

本文由騰訊 AI Lab 主導(dǎo)，與清華大學(xué)合作完成，主要研究離線元強(qiáng)化學(xué)習(xí)(OMRL)問(wèn)題。離線元強(qiáng)化學(xué)習(xí)作為一種新穎的范式，可以讓智能體以完全不與環(huán)境交互的方式快速適應(yīng)新的未知任務(wù)，極大地提升了強(qiáng)化學(xué)習(xí)算法在真實(shí)世界中的應(yīng)用范圍和價(jià)值。圍繞這一問(wèn)題目前的相關(guān)研究還較少，并且有兩個(gè)主要的技術(shù)難點(diǎn)。其一，離線強(qiáng)化學(xué)習(xí)中通常會(huì)因?yàn)橛?xùn)練數(shù)據(jù)與所學(xué)習(xí)策略的狀態(tài)-動(dòng)作對(duì)的分布偏移而產(chǎn)生較大誤差，甚至導(dǎo)致價(jià)值函數(shù)的發(fā)散。其二，元強(qiáng)化學(xué)習(xí)要求在學(xué)習(xí)控制策略的同時(shí)能高效且魯棒地進(jìn)行任務(wù)推斷(task inference)。

在本文中，我們將針對(duì)離線策略學(xué)習(xí)的行為正則化(behavior regularization)方法，與一個(gè)用于任務(wù)推斷的確定性的任務(wù)信息編碼器進(jìn)行結(jié)合來(lái)解決上述的兩大難點(diǎn)。我們?cè)谟薪绲娜蝿?wù)信息嵌入空間中引入了一個(gè)全新的負(fù)指數(shù)距離度量，并且將其與控制策略的貝爾曼方程的梯度解耦進(jìn)行學(xué)習(xí)。我們分析驗(yàn)證了在該設(shè)定下，采用一些簡(jiǎn)單的算法設(shè)計(jì)即可帶來(lái)相比經(jīng)典元強(qiáng)化學(xué)習(xí)及度量學(xué)習(xí)的效果的明顯提升。據(jù)我們所知，本方法是第一個(gè)端到端、無(wú)模型的離線元強(qiáng)化學(xué)習(xí)算法，計(jì)算效率高并且在多個(gè)元強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)環(huán)境上表現(xiàn)出優(yōu)于以往方法的性能。

本方法賦予強(qiáng)化學(xué)習(xí)算法進(jìn)行離線學(xué)習(xí)及高效遷移的能力，離線意味著不需要在真實(shí)環(huán)境中進(jìn)行探索、交互，高效遷移意味著算法的魯棒性及數(shù)據(jù)利用效率更高。我們的方法實(shí)現(xiàn)了同時(shí)具備上述兩種能力的端到端的算法訓(xùn)練框架，可以極大擴(kuò)展強(qiáng)化學(xué)習(xí)算法的實(shí)際應(yīng)用范圍：例如推動(dòng)其在諸如醫(yī)療、農(nóng)業(yè)、自動(dòng)駕駛等數(shù)據(jù)稀缺或極度重視安全性的相關(guān)領(lǐng)域的實(shí)際應(yīng)用，包括構(gòu)建定制化的患者治療方案、針對(duì)特定氣候/作物品種的溫室種植策略等。

本方向3篇論文，分別關(guān)注命名實(shí)體識(shí)別、非自回歸翻譯（NAT）、編碼器特征融合（EncoderFusion）等子領(lǐng)域。

1.命名實(shí)體識(shí)別中漏標(biāo)實(shí)體問(wèn)題的分析與解決

Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition

本文由騰訊 AI Lab 獨(dú)立完成。在許多場(chǎng)景（如弱監(jiān)督）中，命名實(shí)體識(shí)別（NER）模型嚴(yán)重地受到漏標(biāo)實(shí)體問(wèn)題的影響。漏標(biāo)實(shí)體是指在訓(xùn)練數(shù)據(jù)中真實(shí)存在但在標(biāo)注過(guò)程中遺漏的實(shí)體。通過(guò)在合成數(shù)據(jù)集上的大量實(shí)驗(yàn)，我們發(fā)現(xiàn)了模型效果變差的兩個(gè)原因。一個(gè)是標(biāo)注實(shí)體的減少，另一個(gè)是錯(cuò)誤地將漏標(biāo)實(shí)體當(dāng)成負(fù)例。前一個(gè)原因影響較小而且可以通過(guò)使用預(yù)訓(xùn)練語(yǔ)言模型改善。第二個(gè)原因則在訓(xùn)練時(shí)嚴(yán)重地誤導(dǎo)了模型并因此極大的影響了效果。

基于這些發(fā)現(xiàn)，我們提出了一種通用且可以消除漏標(biāo)實(shí)體誤導(dǎo)的方法。我們的核心思想就是基于負(fù)采樣使得訓(xùn)練時(shí)遇到漏標(biāo)實(shí)體的概率非常低。在合成數(shù)據(jù)和真實(shí)數(shù)據(jù)（如NEWS）上的實(shí)驗(yàn)表明我們的模型對(duì)漏標(biāo)實(shí)體問(wèn)題非常魯棒并且遠(yuǎn)遠(yuǎn)好于之前的方法。我們?cè)谡?shù)據(jù)（如CoNLL-2003）的表現(xiàn)也非常接近目前最好的效果，可分析并解決命名實(shí)體識(shí)別中的漏標(biāo)實(shí)體問(wèn)題。

2.從理解到改進(jìn)：非自回歸翻譯中的詞匯選擇

Understanding and Improving Lexical Choice in Non-Autoregressive Translation

本文由騰訊 AI Lab 主導(dǎo)，與悉尼大學(xué)、澳門(mén)大學(xué)合作完成。非自回歸翻譯（NAT）是目前最受關(guān)注的機(jī)器翻譯子領(lǐng)域之一。由于NAT模型擺脫了自回歸分解的條件，一方面解碼速度得到了很大提升，但另一方面翻譯性能弱于傳統(tǒng)的自回歸翻譯（AT）模型。目前NAT訓(xùn)練需要借助知識(shí)蒸餾（KD）技術(shù)來(lái)降低原始數(shù)據(jù)的復(fù)雜性，從而得到與AT可比的翻譯質(zhì)量。通過(guò)定性和定量的分析，我們揭示了KD的副作用：使原始數(shù)據(jù)的分布更加不平衡，從而帶來(lái)了嚴(yán)重的詞匯選擇錯(cuò)誤（特別是低頻詞）。

為了緩解該問(wèn)題，我們提出將原始數(shù)據(jù)暴露給NAT模型，以恢復(fù)蒸餾數(shù)據(jù)中被遺漏的低頻信息。為此，我們引入了一個(gè)額外的KL散度項(xiàng)來(lái)約束NAT模型和原始數(shù)據(jù)中的詞匯選擇。實(shí)驗(yàn)結(jié)果表明，該方法在多種語(yǔ)言對(duì)和模型結(jié)構(gòu)上能夠有效地、通用地提升翻譯質(zhì)量。大量分析證實(shí)該方法通過(guò)減少低頻詞的詞匯選擇錯(cuò)誤來(lái)提高整體性能。令人鼓舞的是，我們?cè)赪MT14英德和WMT16羅英數(shù)據(jù)集上將SOTA NAT效果分別提高到27.8和33.8 BLEU值。

非自回歸翻譯（NAT）是目前最受關(guān)注的機(jī)器翻譯子領(lǐng)域之一。NAT模型有快速解碼優(yōu)勢(shì)但其性能卻弱于傳統(tǒng)的自回歸翻譯方法。圍繞提升NAT的翻譯質(zhì)量，前人主要從模型結(jié)構(gòu)、訓(xùn)練目標(biāo)等方面進(jìn)行探索。而本工作另辟新徑，從數(shù)據(jù)角度發(fā)現(xiàn)了知識(shí)蒸餾的副作用，并定義了詞匯選擇問(wèn)題。這將改變傳統(tǒng)的KD訓(xùn)練，并引導(dǎo)后續(xù)工作提出更合理的訓(xùn)練策略。

3.從理解到改進(jìn)：序列到序列建模中的編碼器特征融合

Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning

本文由騰訊AI Lab主導(dǎo)，與澳門(mén)大學(xué)、悉尼大學(xué)合作完成。編碼器特征融合（EncoderFusion）是提升序列到序列建模中的經(jīng)典技術(shù)之一。盡管其有效性已在各種自然語(yǔ)言處理（NLP）任務(wù)上得到的驗(yàn)證，但其原理及規(guī)律并沒(méi)有被深入探究。

本文首先提出了細(xì)粒度層注意力模型來(lái)量化編碼器每一層特征的貢獻(xiàn)度，并在多個(gè)NLP任務(wù)（機(jī)器翻譯、語(yǔ)法糾錯(cuò)、文本摘要）上進(jìn)行分析，從而進(jìn)一步理解EncoderFusion的本質(zhì)。前人工作認(rèn)為EncoderFusion主要利用嵌在編碼器底層的詞法和語(yǔ)法信息，而我們發(fā)現(xiàn)編碼器詞嵌入層比其他中間層更重要，并且始終受到解碼器最上層的關(guān)注?；谠摪l(fā)現(xiàn)，我們提出了一種簡(jiǎn)單直接的融合方法，即只融合編碼器詞嵌入層到解碼器輸出層。

實(shí)驗(yàn)結(jié)果表明，該方法在多種序列建模任務(wù)上都優(yōu)于已有融合方法，并使翻譯任務(wù)在WMT16羅英和WMT14英法數(shù)據(jù)集上取得SOTA性能。分析進(jìn)一步表明，SurfaceFusion能幫助模型學(xué)到更具表現(xiàn)力的雙語(yǔ)詞嵌入。該工作對(duì)編碼器特征融合的改進(jìn)和使用有較強(qiáng)啟發(fā)和指導(dǎo)意義。

來(lái)源：騰訊AI Lab微信（tencent_ailab）