數(shù)學算法俱樂部

日期?：?2022年05月17日?? ? ??

正文共?：4742字

來源?：新智元

【導讀】最近，一篇由智源研究院等組織百余名作者的綜述報告「大模型路線圖」被曝抄襲，震撼了整個AI界！

2022年4月初，一起AI界的學術(shù)不端事件可謂是「引爆」了整個學術(shù)圈。

?

涉及到的100位作者，無一不是業(yè)內(nèi)大佬。

?

知乎討論也從第一天最初的幾萬瀏覽量，飛漲到了現(xiàn)在的600多萬。

對此，我們可以引用知乎用戶、倫敦瑪麗皇后大學學子「謝圜不是真名」的一句話來進行總結(jié)：

?

「學術(shù)聲譽的建立是一輩子的事情，然而要推倒只需要一瞬間。」

?

智源官方宣布道歉

2022年4月13日晚，智源研究院作為這一綜述文章的組織者，在知乎的官方賬號上發(fā)表公開致歉信，稱「從互聯(lián)網(wǎng)上獲悉」此事，承認涉事論文有抄襲的部分，并向?qū)W界與公眾表示歉意。

?

?

公開致歉信中，智源研究院提到了論文的研究領(lǐng)域綜述性質(zhì)，由百余名作者分多組「并單獨署名」撰寫多篇文章綜合而成。智源未能做到「理應(yīng)對…所有內(nèi)容嚴格審核」。

?

在承認過失的部分，智源研究院的致歉信承認了爆料者Nicholas Carlini在其個人博客上曝出的部分指控抄襲部分確有其事，論文即將在預(yù)印本網(wǎng)站上更新的版本已刪除這些內(nèi)容，其他進展等待正式調(diào)查報告并已開展追責處理。

據(jù)悉，這是一篇報告而不是論文。也就相當于是16篇文章的合集，其中的內(nèi)容是由各個作者獨立完成和署名的。

?

?

致歉信中最后表示智源研究院將「根據(jù)正式調(diào)查結(jié)果對相關(guān)責任人作出問責處理」，不過尚未提及具體責任人。

?

4月13日上午，智源研究院的官方推特賬號也發(fā)布了簡短的致歉聲明，內(nèi)容與致歉信類似。

?

?

哈佛預(yù)備講師、創(chuàng)業(yè)公司Mosaic Machine Learning的總研究科學家Jonathan Frankle跟帖表示：我等著看后續(xù)。

?

?

一篇綜述引發(fā)的「血案」

整個事件，還是要從這篇在3月26日上傳至arXiv的「A Roadmap for Big Model」說起。

?

?

不得不說，如此大規(guī)模的「作者團」也就能在Nature、Science等頂刊中偶爾瞥見。

?

而近一半的共同一作，和四分一的共同通訊作者則實屬罕見。

?

隨后，作者又分別在3月30日和4月2日對版本進行了更新，這其中也涉及到了作者名單的變動。

?

?

這篇論文不僅談到了大模型技術(shù)本身，還有訓練大模型的前提條件。

?

研究分為四個部分：資源、模型、關(guān)鍵技術(shù)以及應(yīng)用。

?

并介紹了16個有關(guān)大模型，分別是：數(shù)據(jù)、知識、計算系統(tǒng)、平行訓練系統(tǒng)、語言模型、視覺模型、多模塊模型、理論&可解釋性、常識推理、可靠性&安全、治理、評估、機器翻譯、文本生成，以及對話和蛋白質(zhì)研究。

?

在論文的最后，研究人員從更加宏觀的角度總結(jié)了大模型未來的發(fā)展。

?

而這，只是一切的開始。

?

被抄的谷歌研究員親自爆料抄襲

?

2022年4月8日，來自谷歌大腦的研究員Nicholas Carlini在其個人博客上貼出文章「機器學習研究中的剽竊事例」（A Case of Plagiarism in Machine Learning Research）。

?

其中條分縷析、清楚克制地指明了「大模型路線圖」（A Roadmap for Big Model）的抄襲實跡：

?

「大模型路線圖」一文確實抄襲了他所在研究組2021年7月發(fā)表在預(yù)印本網(wǎng)站上的論文「復(fù)制訓練數(shù)據(jù)讓語言模型更優(yōu)」（Deduplicating Training Data Makes Language Models Better）。此外，「大模型」一文還涉嫌抄襲十余篇其他論文。

?

Nicholas Carlini含蓄地表示：「大模型」一文「復(fù)制粘貼」了一篇關(guān)于數(shù)據(jù)復(fù)制效果的論文，此舉實在諷刺到無法被忽視。

?

不過Nicholas Carlini也忠厚地體諒了有關(guān)涉事者：「從大局來看，這次復(fù)制粘貼并不是最惡劣的事。這又不是此論文直接抄襲了過往研究的方法與結(jié)論、然后自稱這是開創(chuàng)性新研究成果。

?

不過即便如此，領(lǐng)域總括性綜述的價值在于如何重新表述/定義研究領(lǐng)域。直接復(fù)制粘貼之前其他論文內(nèi)容的長篇總括性綜述，并不比簡短的引用列表的用處更大。」

?

4月13日，在事件被更多人了解并關(guān)注后，Nicholas Carlini在此文中補充了更新內(nèi)容：

?

本文受到了我預(yù)期外的太多關(guān)注。本文的每小時新增瀏覽量都多過我博客上周的一周全站瀏覽量。

?

所以在此懇求，不要讓此事發(fā)酵成一場獵巫迫害。我看到已有人稱應(yīng)該馬上把肇事論文相關(guān)人等全部開除、預(yù)印本網(wǎng)站應(yīng)對他們完全禁入等等。

?

我并不假裝了解肇事論文何以如此廣泛抄襲的幕后原因，因此我不多做論斷。

?

可能是一些初級作者并無惡意，以為有引用來源就可以復(fù)制粘貼。也可能是學生們受到來自導師的壓力，覺得要按時交稿就只好走捷徑。高級作者們可能只讀了遍文本，認為無大礙就小修小補后放行，不清楚文本的來源為何。

?

關(guān)鍵在于，此事幕后因由現(xiàn)在仍未公開。此論文有過百名作者，任何事都有可能發(fā)生。

?

我發(fā)布此貼文的愿望，是想給學界常見的積弊招來更多關(guān)注。學界有近1%的已發(fā)表和被接受的論文，其數(shù)據(jù)復(fù)制粘貼比率比「大模型」一文還要高。

?

我該在寫此貼的一開始就說清這個背景。所以再次請大家不用對肇事論文過苛。抄襲是學界常見之弊，我對此事更警醒，是因為被抄襲的是我的論文。希望大家可以將此作為提高學界整體質(zhì)量的嚴肅學習經(jīng)驗。

?

判定流程

?

Nicholas Carlini在其博客文章中稱，在發(fā)現(xiàn)「大模型」一文有抄襲后，他與研究組同事將幾乎所有機器學習領(lǐng)域的頂會、頂刊論文的PDF文件下載、然后提取所有其中的文本、再錄入單個txt文檔中，獲得對比用的數(shù)據(jù)集。

?

最后Nicholas Carlini與同事使用-自家被抄襲論文中的-數(shù)據(jù)集復(fù)制工具，將「大模型」一文與對比數(shù)據(jù)集一跑，發(fā)現(xiàn)了「大模型」一文的抄襲部分。

?

博客文章中列舉了十處抄襲最昭彰的部分，其中五處的主干部分已被智源研究院的致歉信承認。

?

以下是Nicholas Carlini博文中列舉的、智源研究院承認的抄襲處與原文對比的示例，左側(cè)標綠部分為抄襲后的文本，右側(cè)為原文對照文本。

?

?

?

?

?

?

為了避免假陽性，Nicholas Carlini列舉了自己認定抄襲的標準：

?

1、在文本空格規(guī)范化后，至少有十個字詞以上的抄襲雷同處；

2、在「大模型」一文中依順序出現(xiàn)；

3、在之前的其他論文中有出現(xiàn)；

4、但不在之前一篇以上的論文中出現(xiàn)。

?

如此可以避免軟件工具將論文的版權(quán)聲明部分、此前論文對更前論文的引用、此前各篇論文的作者這些理應(yīng)出現(xiàn)雷同處的部分認作抄襲。

?

Nicholas Carlini稱，他們的軟件工具還跑出來不少「大模型」一文作者們自我抄襲的部分。不過相較于對他人論文的肆意赤裸抄襲，「我抄我自己」簡直不算什么大事了。

?

Nicholas Carlini還表示，由于篩選工具的急就性質(zhì)、和對比數(shù)據(jù)集的不完備性（只包括已在學刊上發(fā)表的論文，不包括預(yù)印本網(wǎng)站論文），很可能還有更多的抄襲部分尚未被發(fā)現(xiàn)。無論如何，現(xiàn)有程度已經(jīng)很令人傷感了。

?

「大模型」一文隨后也被arXiv官方做了標注：與其他作者的文字「重合」。

?

?

此外，也有國內(nèi)的網(wǎng)友對文章進行了源頭對比，其中紫色的是無抄襲的，黃色的是涉嫌抄襲的。部分作者沒有出現(xiàn)在具體章節(jié)里但是在總作者名單里。

?

?

除了對自己文章進行了一波排查以外，Nicholas也與其他可能被抄襲的作者取得了聯(lián)系。

?

其中一個收到郵件的網(wǎng)友表示，現(xiàn)在很多人對于抄襲的重視和了解程度是不夠的。

?

copy-past是抄襲，copy-paste-edit是抄襲，截圖是抄襲，復(fù)制別人arxiv上的latex公式也是抄襲。

?

?

這次的事件影響之大，對整個華人學者的聲譽都帶來了沉重的打擊。

?

AI業(yè)界的研究者紛紛在社交網(wǎng)站上表示疑惑：即使有任務(wù)分工、或者掛名現(xiàn)象，百多號作者沒一個細讀過自己要掛名的東西么？

?

?

?

學術(shù)不端擦邊球，亟須重視！

?

科學道德與學術(shù)規(guī)范，這大概是國內(nèi)所有研究生都必須要上的課程。

?

在北京大學等高校，還有一年一度的科學道德與學術(shù)規(guī)范基本知識測試，同時還對不符合科學道德與學術(shù)規(guī)范的行為進行量化，制定了明確的、從處分到開除的，一系列懲罰措施。

?

看起來我們的體系已經(jīng)足夠完善了，可事實上抄襲、剽竊等情況還是時有發(fā)生。

?

給我翻譯翻譯，什么叫「抄襲」？

?

那么，什么程度才算抄襲？抄襲和引用的區(qū)別又是什么？

?

這些標準不能靠上下嘴唇一碰張口就來，而必須有明確的、可量化、可執(zhí)行的標準。

?

著名的中文查重平臺PaperPass就在其官網(wǎng)上給出了有關(guān)抄襲的認定標準。

?

?

可以看到其中對于抄襲判定的量化規(guī)定：連續(xù)引用200字且未注明出處、直接翻譯或復(fù)制、重排超過15%的內(nèi)容等等。以及，照搬他人論文或著作中的實驗結(jié)果、分析、系統(tǒng)設(shè)計以及問題解決辦法而未注明出處、未說明借鑒來源等等。

?

出于嚴謹起見，我們給出照搬的定義：照原樣不動地搬用（現(xiàn)成的方法、經(jīng)驗、教材等）。

?

與此同時，在認定為抄襲之后，對于抄襲程度的判定同樣有規(guī)可循。重復(fù)內(nèi)容占比的三條劃線分別為不到30%、30%~50%之間、50%以上，分別判定為輕度、中度、嚴重抄襲。

?

此外，IEEE對抄襲也有相關(guān)的規(guī)定。有非常明確的分級標準，共五級。

?

其中第一級是最嚴重的，定義為：未注明引用的、全文一字不差的照搬；未注明引用的、對主要部分超過50%的、一字不差的照搬；以及一名作者的多篇論文內(nèi)都有一字不差的照搬、且總量超過50%。

?

第二級：未注明引用的、一字不差的、對一篇文章20%到50%內(nèi)容的照搬。

?

第三級：未注明引用的、一字不差的、對一篇文章中段落、句子的照搬，總量20%以下，且使用在抄襲論文中的主要部分。

?

第四級：未注明引用的、對篇章段落不合適的轉(zhuǎn)述。

?

第五級是評判標準中最輕的：注明引用的、但界限不明的、一字不差的、對一篇文章中主要部分的照搬。

?

有國內(nèi)網(wǎng)友稱，本次智源抄襲事件是第五級，處置還算及時妥善。

?

可見，在這套清晰的框架下，任何不端行為皆無處遁形。

?

IEEE分級標準：https://www.ieee.org/content/dam/ieee-org/ieee/web/org/pubs/Level_description.pdf

?

掛名掛出一個「海」

?

此外，對于這次的「大抄襲」事件，有相當多的網(wǎng)友對論文的「署名」提出了質(zhì)疑。

?

在此前的學術(shù)不端事件中，知乎答主「Summer Clover」就曾指出，現(xiàn)在的paper不僅從灌水變成了抄襲和洗稿，而且還時常出現(xiàn)「掛名成風」的現(xiàn)象。

?

?

實際上，掛名問題由來已久。通常來說，分為利己型和利他型。

?

要么就是掛一些知名人士的名字上去，以增加文章發(fā)表在更高級期刊上的概率，而這些知名人士可能對論文撰寫并無任何貢獻。

?

要么就是出于情感因素，掛上不相干的人的名字。

?

你掛我名，我掛你名，互利互惠，互相貼金。

?

而文章的水分，可能比太平洋里的還多。

學術(shù)規(guī)范，就在地平線上

?

不得不說，在學術(shù)行為規(guī)范這塊，中國還有挺長的路要走。

?

小編在撰寫這篇文章大量查閱了近幾年的畢業(yè)論文抄襲的相關(guān)新聞事件。用一個詞來概括就是，「層出不窮」。

?

比如，湖南大學2016屆軟件工程碩士畢業(yè)生陳某，他的碩士學位論文「面向新媒體的新聞縮寫關(guān)鍵技術(shù)研究」就被舉報抄襲。

?

北京理工大學張華平博士發(fā)現(xiàn)，陳某原封不動抄襲了他帶的研究生趙連偉的「面向新媒體的新聞縮寫關(guān)鍵技術(shù)研究」，標題竟也一字未動。

?

?

湖南大學立即開展相關(guān)核查工作，于2021年11月3日在微博發(fā)布說明，撤銷了陳某的碩士學位。

?

?

同時，他的導師唐某某也被撤掉了研究生指導教師資格。

?

在湖南大學的說明發(fā)出后，張博士也發(fā)了一條微博，給整件事收了尾。

?

?

學生論文抄襲，往淺了說，導師根本沒有認真核查、指導，就給予了通過，未盡到責任。往深了說，可能涉及縱容抄襲的情況。無論導師未能及時發(fā)現(xiàn)抄襲情況的原因為何，確實是出現(xiàn)失職了。

?

其實，肅清學術(shù)風氣無外乎兩條路可走。一是加強科學道德與學術(shù)規(guī)范建設(shè)，另一個就是嚴懲出現(xiàn)學術(shù)不端行為的個人。

?

北京大學自2020年起，開通研究生科學道德與學術(shù)規(guī)范的網(wǎng)絡(luò)學習平臺。研究生入學后就要先自學相關(guān)建設(shè)宣講大綱和規(guī)范指南。自學完畢還要完成相關(guān)測試，合格率通過方可過關(guān)。

?

這和考駕照的科目一類似。如同一個人在熟諳交規(guī)之前不可以駕車上路一樣，研究生不充分了解科學道德與學術(shù)規(guī)范的相關(guān)要求，也沒道理能被允許開始研究。

?

?

當然，這些測試更多起到預(yù)警目的。真正重要的不是通過測試，而是在進行研究和論文撰寫時牢記這些要求，每時每刻踐行。

?

如果出現(xiàn)學術(shù)不端的行為，相關(guān)懲罰措施同樣不能缺席。

?

比如，清華大學在學生紀律處分管理規(guī)定實施細則就明確規(guī)定了一系列懲罰措施。

?

?

可以看到，出現(xiàn)任何學術(shù)不端行為，都會受到嚴厲的處罰。就像競技體育打假賽、踢假球一樣，學術(shù)造假、抄襲、剽竊、盜用，都是無法洗白的事，碰也不能碰。

?

借用知名電競教練阿布評價假賽選手的一句話，「碰了假賽就必死，無關(guān)輕重。」

?

我想學術(shù)不端也是一樣，這關(guān)乎一個人的品性問題，以及整個大環(huán)境的清朗。

?

從翟天臨事件就可以看出，學術(shù)不端是大忌。

沒有借口、不該姑息、必須重罰。

參考資料：

https://www.zhihu.com/question/527620020/answer/2436752217

https://zhuanlan.zhihu.com/p/498064778

https://nicholas.carlini.com/writing/2022/a-case-of-plagarism-in-machine-learning.html

—?THE END —

?所有數(shù)學算法愛好者恭喜了！剛剛正式公布！！免費培訓英文！！

?如何看待23歲就博士畢業(yè)的這類科研人，都爭著去當網(wǎng)紅了？

?馬斯克涉嫌惡意收購！收推特股票不入董事會，已被告上法院

?無人出租車被警察截停后逃逸！AI：我當時害怕極了

?性騷擾、有償補課、體罰學生……教育部曝光7起違反教師職業(yè)行為十項準則典型案例

?史寧中：從分數(shù)的本質(zhì)談起