剛剛，NLP 領(lǐng)域國(guó)際頂會(huì) ACL2022 公布獲獎(jiǎng)?wù)撐男畔ⅲ渲屑又荽髮W(xué)伯克利分校的增量句法表示研究被評(píng)為最佳論文。此外，最佳主題論文、杰出論文也揭曉。
ACL 是計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域的頂級(jí)國(guó)際會(huì)議，由國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)組織，每年舉辦一次。一直以來(lái)，ACL 在 NLP 領(lǐng)域的學(xué)術(shù)影響力都位列第一，它也是 CCF-A 類推薦會(huì)議。今年的 ACL 大會(huì)已是第 60 屆，將于 5 月 22-5 月 27 在愛爾蘭都柏林舉辦。
2 月 24 日，ACL 2022 錄用結(jié)果公布。本屆大會(huì)主會(huì)議共接收了 604 篇長(zhǎng)論文和 97 篇短論文（以 ACL 2022 公布的論文列表查詢?yōu)闇?zhǔn)）。剛剛，大會(huì)官方公布了最佳論文、最佳主題論文、杰出論文以及最佳資源論文和最佳語(yǔ)言洞察力論文。其中，加州大學(xué)伯克利分校的獲得最佳論文獎(jiǎng)，加拿大國(guó)家研究委員會(huì)、愛丁堡大學(xué)等機(jī)構(gòu)的研究者獲得最佳主題論文獎(jiǎng)。此外，多位華人學(xué)者參與的研究被評(píng)為杰出論文，包括陳丹琦、楊笛一等的研究。ACL 2022 的最佳論文（Best Paper）來(lái)自加州大學(xué)伯克利分校研究團(tuán)隊(duì)，該研究提出了一種增量句法表示，與當(dāng)前的 SOTA 解析模型相當(dāng)。題目：Learned Incremental Representations for Parsing
作者：Nikita Kitaev, Thomas Lu 、Dan Klein
機(jī)構(gòu)：加州大學(xué)伯克利分校
鏈接：https://aclanthology.org/2022.acl-long.220.pdf
摘要：該研究提出了一種增量句法表示，該表示包括為句子中的每個(gè)單詞分配一個(gè)離散標(biāo)簽，其中標(biāo)簽是使用句子前綴的嚴(yán)格增量處理來(lái)預(yù)測(cè)的，并且句子標(biāo)簽序列完全確定了解析樹。該研究旨在誘導(dǎo)一種句法表示，它只在句法選擇由輸入逐漸顯示時(shí)才確定這些選擇，這與標(biāo)準(zhǔn)表示形成鮮明對(duì)比，標(biāo)準(zhǔn)表示必須進(jìn)行輸出選擇，例如推測(cè)性的附件，然后拋出相互沖突的分析。該研究學(xué)習(xí)的表示在 Penn Treebank 上達(dá)到了 93.72 F1，且每個(gè)單詞只有 5 bit；在每個(gè)單詞為 8 bit 時(shí)，該研究在 Penn Treebank 上達(dá)到了 94.97 F1，這和使用相同的預(yù)訓(xùn)練嵌入時(shí)的 SOTA 解析模型相當(dāng)。該研究還對(duì)系統(tǒng)學(xué)習(xí)到的表示進(jìn)行了分析，他們研究了系統(tǒng)捕獲的可解釋句法特征等屬性，以及句法歧義的延遲解決機(jī)制。
今年的最佳主題論文（Best Special Theme Paper ）研究來(lái)自加拿大國(guó)家研究委員會(huì)、愛丁堡大學(xué)、皇后大學(xué)等機(jī)構(gòu)研究者，他們主要研究為低資源語(yǔ)音合成相關(guān)技術(shù)。
標(biāo)題：Requirements and Motivations of Low-Resource Speech Synthesis for Language Revitalization
作者：Aidan Pine, Dan Wells, Nathan Brinklow, Patrick William Littell 、Korin Richmond
機(jī)構(gòu)：加拿大國(guó)家研究委員會(huì)、愛丁堡大學(xué)、皇后大學(xué)
鏈接：https://aclanthology.org/2022.acl-long.507.pdf
摘要：該研究闡述了語(yǔ)音合成系統(tǒng)的發(fā)展動(dòng)機(jī)和目的，以振興語(yǔ)言。通過(guò)為加拿大使用的三種土著語(yǔ)言 (Kanien 'kéha, Gitksan 和 SEN?O?EN) 構(gòu)建語(yǔ)音合成系統(tǒng)，該研究重新評(píng)估了需要多少數(shù)據(jù)才能構(gòu)建具有 SOTA 性能的低資源語(yǔ)音合成系統(tǒng)。例如，該研究在英語(yǔ)數(shù)據(jù)的初步結(jié)果表明，在訓(xùn)練數(shù)據(jù)上訓(xùn)練 1 小時(shí)的 FastSpeech2 模型可以產(chǎn)生與訓(xùn)練 10 小時(shí)的 Tacotron2 模型語(yǔ)音自然度相當(dāng)。最后，該研究們鼓勵(lì)在語(yǔ)音合成領(lǐng)域進(jìn)行評(píng)估和課堂整合來(lái)進(jìn)行未來(lái)研究，以實(shí)現(xiàn)語(yǔ)言復(fù)興。本屆會(huì)議還評(píng)出了八篇杰出論文（Outstanding Papers），佐治亞理工學(xué)院交互計(jì)算學(xué)院助理教授楊笛一（Diyi Yang）、普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系助理教授陳丹琦等人的研究在列。論文 1：Evaluating Factuality in Text Simplification
作者：Ashwin Devaraj、William Berkeley Sheffield、Byron C Wallace、Junyi Jessy Li
機(jī)構(gòu)：德克薩斯大學(xué)奧斯汀分校、東北大學(xué)
論文地址：https://arxiv.org/pdf/2204.07562.pdf
摘要：自動(dòng)簡(jiǎn)化模型旨在使輸入文本更具可讀性，但此類模型會(huì)在自動(dòng)簡(jiǎn)化的文本中引入錯(cuò)誤。因此，研究者提出了一種錯(cuò)誤分類法，用來(lái)分析從標(biāo)準(zhǔn)簡(jiǎn)化數(shù)據(jù)集和 SOTA 模型輸出中提出的參考資料。論文 2：Online Semantic Parsing for Latency Reduction in Task-Oriented Dialogue
摘要：標(biāo)準(zhǔn)對(duì)話語(yǔ)義解析將完整的用戶話語(yǔ)映射到可執(zhí)行程序中，然后執(zhí)行該程序以響應(yīng)用戶，速度可能很慢。研究者過(guò)在用戶仍在說(shuō)話時(shí)預(yù)測(cè)和執(zhí)行函數(shù)調(diào)用來(lái)減少延遲的機(jī)會(huì)，并引入了在線語(yǔ)義解析任務(wù)，采用受同步機(jī)器翻譯啟發(fā)的規(guī)范延遲減少指標(biāo)。此外，他們還提出了一個(gè)通用框架。論文 3：Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
作者：Xiangpeng Wei、Heng Yu、Yue Hu、Rongxiang Weng、Weihua Luo、Rong Jin
機(jī)構(gòu)：阿里達(dá)摩院、中科院信息工程研究所、中國(guó)科學(xué)院大學(xué)
論文地址：https://arxiv.org/pdf/2204.06812v1.pdf
摘要：監(jiān)督神經(jīng)機(jī)器翻譯（NMT）的主要任務(wù)是學(xué)習(xí)生成以來(lái)自一組并行句子對(duì)的源輸入為條件的目標(biāo)句子，從而得到一個(gè)能夠泛化到未見過(guò)實(shí)例的模型。然而，通常觀察到模型的泛化性能很大程度上受訓(xùn)練中使用的并行數(shù)據(jù)量的影響。研究者提出了一種新的數(shù)據(jù)增強(qiáng)范式，稱之為連續(xù)語(yǔ)義增強(qiáng)（Continuous Semantic Augmentation, CsaNMT），它為每個(gè)訓(xùn)練實(shí)例增加了一個(gè)鄰接語(yǔ)義區(qū)域。論文 4：Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity
作者：Yao Lu、Max Bartolo、Alastair Moore、Sebastian Riedel、Pontus Stenetorp
機(jī)構(gòu)：倫敦大學(xué)學(xué)院、Mishcon de Reya LLP
論文地址：https://arxiv.org/pdf/2104.08786v2.pdf
摘要：當(dāng)僅使用少量訓(xùn)練樣本啟動(dòng)時(shí)，與完全監(jiān)督、微調(diào)、大型、預(yù)訓(xùn)練的語(yǔ)言模型相比，GPT-3 等超大預(yù)訓(xùn)練語(yǔ)言模型展現(xiàn)出具有競(jìng)爭(zhēng)力的結(jié)果。研究者證明了提供樣本的順序可以在接近 SOTA 和隨機(jī)猜測(cè)性能之間產(chǎn)生差異：本質(zhì)上，一些排列很棒，而另一些則不是。他們分析了這一現(xiàn)象，分析它存在于模型大小方面，與特定的樣本子集無(wú)關(guān)，并且一個(gè)模型的給定良好排列不能轉(zhuǎn)移到另一個(gè)模型。因此，研究者利用語(yǔ)言模型的生成特性來(lái)構(gòu)建一個(gè)人工開發(fā)集，并基于該集上候選排列的熵統(tǒng)計(jì)確定性能提示。他們的方法在 11 個(gè)不同的已建立文本分類任務(wù)中為 GPT 系列模型產(chǎn)生了 13% 的相對(duì)改進(jìn)。論文 5：Inducing Positive Perspectives with Text Reframing
作者：Caleb Ziems、Minzhi Li、Anthony Zhang、Diyi Yang
機(jī)構(gòu)：佐治亞理工學(xué)院、新加坡國(guó)立大學(xué)
論文地址：https://arxiv.org/pdf/2204.02952v1.pdf
摘要：該研究引入了積極重構(gòu)任務(wù)，在該任務(wù)中，該研究消除消極觀點(diǎn)并為作者生成更積極的觀點(diǎn)，而不會(huì)與原始含義相矛盾。為了促進(jìn)快速進(jìn)展，該研究引入了一個(gè)大規(guī)模的基準(zhǔn)，積極心理學(xué)框架（POSITIVE PSYCHOLOGY FRAMES），其具有 8349 個(gè)句子對(duì)和 12755 個(gè)結(jié)構(gòu)化注釋，以根據(jù)六種理論動(dòng)機(jī)的重構(gòu)策略來(lái)解釋積極重構(gòu)。?在四位作者中，楊笛一（Diyi Yang）是佐治亞理工學(xué)院交互計(jì)算學(xué)院助理教授。論文 6：Ditch the Gold Standard: Re-evaluating Conversational Question Answering
摘要：在這項(xiàng)工作中，該研究對(duì) SOTA 對(duì)話式 QA 系統(tǒng)進(jìn)行了首次大規(guī)模的人類評(píng)估，其中人類評(píng)估員與模型進(jìn)行對(duì)話，并判斷其答案的正確性。該研究發(fā)現(xiàn)人機(jī)（humanmachine）對(duì)話的分布與人 - 人（human-human ）對(duì)話的分布有很大的不同，在模型排名方面，人類評(píng)估和黃金歷史（goldhistory）評(píng)估存在分歧。該研究進(jìn)一步研究了如何改進(jìn)自動(dòng)評(píng)估，并提出了一種基于預(yù)測(cè)歷史的問(wèn)題重寫機(jī)制，該機(jī)制可以與人類判斷更好地關(guān)聯(lián)。最后，該研究分析了各種建模策略的影響，并討論了構(gòu)建更好的對(duì)話式問(wèn)答系統(tǒng)的未來(lái)方向。論文作者之一為普林斯頓大學(xué)博士二年級(jí)學(xué)生高天宇，師從該校計(jì)算機(jī)科學(xué)系助理教授陳丹琦。論文 7：Active Evaluation: Efficient NLG Evaluation with Few Pairwise Comparisons
作者：Akash Kumar Mohankumar、Mitesh M Khapra
機(jī)構(gòu)：微軟、印度理工學(xué)院馬德拉斯分校
論文地址：https://arxiv.org/pdf/2203.06063v2.pdf
摘要：在這項(xiàng)工作中，該研究引入了主動(dòng)評(píng)估，在 13 個(gè) NLG 評(píng)估數(shù)據(jù)集上使用 13 個(gè) dueling bandits 算法進(jìn)行了廣泛的實(shí)驗(yàn)，涵蓋 5 個(gè)任務(wù)，實(shí)驗(yàn)表明人工注釋的數(shù)量可以減少 80%。為了進(jìn)一步減少人工注釋的數(shù)量，該研究提出了基于模型的 dueling bandit 算法，該算法將自動(dòng)評(píng)估指標(biāo)與人工評(píng)估相結(jié)合，這將所需的人工注釋數(shù)量進(jìn)一步減少了 89%。論文 8：Compression of Generative Pre-trained Language Models via Quantization
作者：Chaofan Tao、Lu Hou、Wei Zhang、Lifeng Shang、Xin Jiang、Qun Liu、Ping Luo、Ngai Wong
機(jī)構(gòu)：香港大學(xué)、華為諾亞實(shí)驗(yàn)室
論文地址：https://arxiv.org/pdf/2203.10705v1.pdf
摘要：本文采用量化方法對(duì)生成式 PLM（Pre-trained Language Models）進(jìn)行壓縮。他們提出了一種 token 級(jí)的對(duì)比蒸餾方法來(lái)學(xué)習(xí)可區(qū)分的詞嵌入，此外，該研究還提出了一種模塊級(jí)的動(dòng)態(tài)擴(kuò)展來(lái)使量化器適應(yīng)不同的模塊。在各種任務(wù)的經(jīng)驗(yàn)結(jié)果表明，該研究提出的方法在生成 PLM 上明顯優(yōu)于 SOTA 壓縮方法。在 GPT-2 和 BART 上分別實(shí)現(xiàn)了 14.4 倍和 13.4 倍的壓縮率。大會(huì)還公布了最佳資源論文（Best Resource Paper）和最佳語(yǔ)言洞察力論文（Best Linguistic Insight Paper），分別由羅馬大學(xué)以及馬薩諸塞大學(xué)阿默斯特分校等機(jī)構(gòu)的研究者獲得。最佳資源論文：DiBiMT: A Novel Benchmark for Measuring Word Sense Disambiguation Biases in Machine Translation
作者：Niccolò Campolungo、Federico Martelli、Francesco Saina、Roberto Navigli
機(jī)構(gòu)：羅馬大學(xué)、SSML Carlo Bo
論文地址：https://aclanthology.org/2022.acl-long.298.pdf
最佳語(yǔ)言洞察力論文：KinyaBERT: a Morphology-aware Kinyarwanda Language Model
作者：Antoine Nzeyimana、Andre Niyongabo Rubungo
機(jī)構(gòu)：馬薩諸塞大學(xué)阿默斯特分校、加泰羅尼亞理工大學(xué)
論文地址：https://arxiv.org/pdf/2203.08459v2.pdf
https://www.2022.aclweb.org/papershttps://www.2022.aclweb.org/best-paper-awards??THE END?
轉(zhuǎn)載請(qǐng)聯(lián)系原公眾號(hào)獲得授權(quán)
