把博客當(dāng)成論文投，是種什么體驗(yàn)？

?

ICLR 2022在去年征稿時(shí)就加了這樣一個(gè)實(shí)驗(yàn)性質(zhì)的新玩法：博客投稿（blog post track），相比論文來說，博客的寫作更加隨意，但也更容易發(fā)現(xiàn)新問題、激發(fā)新的思考。

?

?

接收博文的內(nèi)容主要是討論以前在ICLR發(fā)表過的論文，為了保持客觀中立，不能寫與自己利益沖突的工作，比如自己以前的文章或是源自相同機(jī)構(gòu)或公司的論文。

?

博客經(jīng)由雙盲評(píng)審以保證內(nèi)容的質(zhì)量、問題的新穎性，即論述的清晰度、新的理論或?qū)嶒?yàn)見解，可重復(fù)的擴(kuò)展實(shí)驗(yàn)等。

?

本次共接收了21篇博客文章，其中包括一篇特斯拉AI高級(jí)總監(jiān)Andrej Karpathy的受邀報(bào)告，回顧了33年前的神經(jīng)網(wǎng)絡(luò)與今天的區(qū)別。

?

網(wǎng)站地址：https://iclr-blog-track.github.io/

?

接收博客的研究?jī)?nèi)容五花八門，從各種神經(jīng)網(wǎng)絡(luò)trick的重新思考到特定領(lǐng)域的近期論文總結(jié)，看起來絕對(duì)比看論文要省腦力。

?

博客的寫法也是百無禁忌，使用表情包，以輕松、口語化的對(duì)話讓讀者更快理解內(nèi)容，確實(shí)能夠起到科學(xué)傳播和討論的作用。

?

文章鏈接：https://iclr-blog-track.github.io/2022/03/25/ppo-implementation-details/

?

并且文章里也是直接「貼代碼」，可復(fù)現(xiàn)的概率直接拉滿。

?

?

下面簡(jiǎn)要介紹幾篇接收的博客文章。

?

Adam的收斂性

博客鏈接：https://iclr-blog-track.github.io/2022/03/25/does-adam/

?

研究人員重新審視了Adam的（非）收斂行為，并簡(jiǎn)要回顧了Reddi等人的非收斂結(jié)果和Shi等人的收斂結(jié)果。這兩個(gè)結(jié)果是否相互矛盾？如果不是，Shi等人的收斂分析是否符合Adam的實(shí)際設(shè)置？理論和實(shí)踐之間的差距有多大？這篇博客從多個(gè)不同的角度討論這些問題。實(shí)驗(yàn)結(jié)果將表明，這個(gè)差距實(shí)際上是不可忽略的，關(guān)于Adam收斂性的討論還遠(yuǎn)遠(yuǎn)沒有結(jié)束。

?

文章的指導(dǎo)作者為羅智泉，于1984年在北京大學(xué)數(shù)學(xué)系獲學(xué)士學(xué)位，1989年獲得美國麻省理工學(xué)院博士學(xué)位，1998年成為加拿大麥克馬斯特大學(xué)終身教授。

?

?

2014年5月，羅智泉教授被聘為香港中文大學(xué)（深圳）副校長，主管學(xué)術(shù)和科研。自2016年3月起，羅智泉教授兼任深圳市大數(shù)據(jù)研究院院長。自 2018年 6月起，羅智泉教授兼任香港中文大學(xué)（深圳）-騰訊 AI LAB 機(jī)器智能聯(lián)合實(shí)驗(yàn)室主任。2020年9月，羅智泉教授兼任香港中文大學(xué)（深圳）—深圳市大數(shù)據(jù)研究院—華為未來網(wǎng)絡(luò)系統(tǒng)優(yōu)化創(chuàng)新實(shí)驗(yàn)室主任。

?

羅智泉教授的研究主要集中在優(yōu)化理論、算法設(shè)計(jì)以及其在信息科學(xué)中的應(yīng)用。

?

從幾何學(xué)看深度學(xué)習(xí)

?

圖神經(jīng)網(wǎng)絡(luò)（GNN）一直是機(jī)器學(xué)習(xí)研究的一個(gè)活躍領(lǐng)域，用于解決圖數(shù)據(jù)中的各種問題。圖是表示實(shí)體（作為節(jié)點(diǎn)）之間關(guān)系的一種有效的方式，有時(shí)節(jié)點(diǎn)和邊可以有空間特征，如節(jié)點(diǎn)的三維坐標(biāo)和邊的方向。如何在考慮這些幾何特征的同時(shí)對(duì)圖的拓?fù)浣Y(jié)構(gòu)進(jìn)行推理？這篇博客討論了發(fā)表在ICLR 2021上的論文Learning from Protein Structure with Geometric Vector Perceptrons。

?

博客鏈接：https://iclr-blog-track.github.io/2022/03/25/euclidean_geometric_graph/

?

文章的第一作者Zichen Wang是AWS下亞馬遜機(jī)器學(xué)習(xí)解決方案實(shí)驗(yàn)室的應(yīng)用科學(xué)家，2016年在西奈山伊坎醫(yī)學(xué)院獲得博士學(xué)位。研究興趣包括自然語言處理、生成模型、圖神經(jīng)網(wǎng)絡(luò)、對(duì)比學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的應(yīng)用。在生命科學(xué)和醫(yī)療保健領(lǐng)域有超過10年的經(jīng)驗(yàn)，致力于開發(fā)利用生物醫(yī)學(xué)數(shù)據(jù)的機(jī)器學(xué)習(xí)模型，用于藥物發(fā)現(xiàn)和人類疾病建模。

?

?

重新思考ValueDice

?

許多實(shí)際應(yīng)用涉及順序決策。對(duì)于這些應(yīng)用，代理人實(shí)施一個(gè)政策來選擇行動(dòng)并使長期回報(bào)最大化。模仿學(xué)習(xí)方法（Imitation learning）從專家的演示中獲得最優(yōu)策略，并成功應(yīng)用于游戲、推薦系統(tǒng)和機(jī)器人學(xué)等。模仿學(xué)習(xí)的里程碑之一是引入生成式對(duì)抗性模仿學(xué)習(xí)（GAIL），以對(duì)抗方式進(jìn)行狀態(tài)-動(dòng)作分布匹配。即使在專家演示稀缺的情況下，GAIL也被經(jīng)驗(yàn)證明可以匹配專家的表現(xiàn)。代價(jià)是GAIL需要大量的環(huán)境交互，也限制了GAIL在在線環(huán)境下的應(yīng)用。

?

其中一個(gè)改進(jìn)策略就是ValueDice，作為一種off-policy算法，ValueDice在交互效率方面優(yōu)于其他方法。現(xiàn)有的結(jié)果都表明ValueDice是完美的。這篇博客研究的核心問題為：這些改進(jìn)是否得益于更先進(jìn)的算法設(shè)計(jì)？并對(duì)算法內(nèi)的「矛盾」做出解釋。

?

博客鏈接：https://iclr-blog-track.github.io/2022/03/25/rethinking-valuedice/

?

文章的作者Ziniu Li是香港中文大學(xué)（深圳）的博士生，導(dǎo)師為羅智泉，研究興趣包括強(qiáng)化學(xué)習(xí)、優(yōu)化和學(xué)習(xí)理論。

?

?

33年前的卷積

?

博客鏈接：https://iclr-blog-track.github.io/2022/03/26/lecun1989/

?

1989年，圖靈獎(jiǎng)得主Yann LeCun首次在論述網(wǎng)絡(luò)結(jié)構(gòu)時(shí)使用「卷積」一詞，距今已有33年。通過跟現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)對(duì)比，我們可以站在上帝視角來看當(dāng)年到底哪些問題困擾著LeCun，影響了卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展；還可以了解到深度學(xué)習(xí)領(lǐng)域在這33年發(fā)展期間到底發(fā)生了哪些變化。

?

除了完整復(fù)現(xiàn)LeCun當(dāng)年的代碼外，還用上許多現(xiàn)代深度學(xué)習(xí)技巧，將圖像識(shí)別的錯(cuò)誤率從5%降低到1.25%，借助更強(qiáng)大的計(jì)算設(shè)備，訓(xùn)練時(shí)間也從三天降低到了幾十秒。

?

文章作者為特斯拉AI高級(jí)總監(jiān)Andrej Karpathy，博士畢業(yè)于斯坦福大學(xué)，師從李飛飛，主要研究研究卷積/循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)與計(jì)算機(jī)視覺應(yīng)用，以及它們?cè)谟?jì)算機(jī)視覺、自然語言處理以及二者交叉領(lǐng)域的應(yīng)用。

?

?

為啥開始接收博客？

組織者介紹，開設(shè)博客通道的另一個(gè)原因是機(jī)器學(xué)習(xí)領(lǐng)域的「浮夸風(fēng)」，幾乎所有的論文都面臨可重復(fù)性危機(jī)和評(píng)審危機(jī)。

?

每年頂會(huì)的投稿數(shù)量都在增加，為了在競(jìng)爭(zhēng)中收獲Accept，投稿人有動(dòng)機(jī)在論文中夸大實(shí)驗(yàn)結(jié)果，「虛假繁榮」一定程度上會(huì)削弱科學(xué)社區(qū)的權(quán)威性。

?

?

與之相對(duì)的，博客文章在學(xué)術(shù)圈的地位與日俱增，所有人都可以對(duì)論文發(fā)表自己的見解，并進(jìn)行公開、人性化且透明的討論，能夠?qū)茖W(xué)界有實(shí)質(zhì)性的提升。

?

博客更像是「成功者的游戲」，許多成熟的研究人員或者大公司才會(huì)有精力維持一個(gè)博客，并以此來提高自己的知名度，比如Google AI, Meta AI, DeepMInd, Nvidia都有博客網(wǎng)站，專門刊登一些團(tuán)隊(duì)的研究成果介紹，并有專門的作者對(duì)文章進(jìn)行潤色。

?

不過畢業(yè)找工作、評(píng)績(jī)效的時(shí)候，人家不會(huì)看你發(fā)表了多少篇博客，只會(huì)看論文的數(shù)量和質(zhì)量。

?

所以寫科學(xué)博客大多都是自我驅(qū)動(dòng)的，賠本賺呦喝，要求大部分機(jī)器學(xué)習(xí)從業(yè)者都來寫博客做貢獻(xiàn)是不合理的。

?

?

ICLR下場(chǎng)，就相當(dāng)于給博客蓋了個(gè)「官方認(rèn)證」的戳，以鼓勵(lì)研究人員回顧過去的工作、總結(jié)成果或強(qiáng)調(diào)一些現(xiàn)有的不足之處，提供一種新的方式來總結(jié)機(jī)器學(xué)習(xí)社區(qū)的科學(xué)知識(shí)。

?

不過頂會(huì)接收博客畢竟還屬于新鮮玩意，未來如何發(fā)展還未可知，改變或許就是好事。