【學(xué)術(shù)相關(guān)】連中兩篇WWW頂會(huì)經(jīng)驗(yàn)分享！

主要分成這幾點(diǎn)來介紹：

1. 科研前的選題
2. 科研中的耐心
3. 科研后的延續(xù)
4. 總結(jié)
5. 工作簡介

科研前

作為一個(gè)深度學(xué)習(xí)小白，我之前科研的主要方向是矩陣優(yōu)化和統(tǒng)計(jì)優(yōu)化（一個(gè)偏數(shù)學(xué)的方向），后面因?yàn)橐恍┰蜣D(zhuǎn)到圖神經(jīng)網(wǎng)絡(luò)的組里，主要做深度學(xué)習(xí)和數(shù)據(jù)挖掘。這時(shí)候我們需要思考自己的優(yōu)勢(shì)，我們不像計(jì)算機(jī)科班的同學(xué)那樣，各種代碼的框架信手拈來，代碼的實(shí)現(xiàn)輕而易舉，我們有的是一些虛無縹緲的數(shù)學(xué)功底。

在閱讀圖神經(jīng)網(wǎng)絡(luò)的各種相關(guān)文獻(xiàn)的時(shí)候，發(fā)現(xiàn)文章一般有兩種風(fēng)格，一個(gè)是解決問題的“技術(shù)報(bào)告”，另一種是理論豐富但是實(shí)現(xiàn)起來較為容易的。我作為數(shù)學(xué)系的學(xué)生自然就選擇了后者 （因?yàn)椴粫?huì)寫代碼5555）。確定了論文風(fēng)格之后，再加上同期還在參與一個(gè)圖譜理論的討論班，所以就開始著重閱讀一些偏理論的圖譜網(wǎng)絡(luò)的文章。

文獻(xiàn)的積累夠了之后，我們就需要思考整個(gè)領(lǐng)域的缺陷和可能可以發(fā)展的地方，也就是常說的idea。我認(rèn)為文章大概又能分成幾種，一種是占坑類型的（A+B），一種開創(chuàng)類型的，一種是深挖類型的。而我當(dāng)然就是選擇從A+B中進(jìn)行深挖，往往最好下手（要從科研質(zhì)疑的角度看待每一篇論文，而不是學(xué)習(xí)）。

科研中

確定了科研題目之后，就會(huì)遇到證明猜想和代碼實(shí)驗(yàn)的困難。對(duì)于我的選題，代碼的部分往往并不困難（難的我也不會(huì)寫呀5555），所以我只有一些對(duì)數(shù)學(xué)證明的感觸。每篇文章我往往都會(huì)寫一到兩個(gè)小定理或者性質(zhì)命題，我們需要對(duì)我們新的設(shè)定做一些簡單的假設(shè)，然后在一些特殊情況下，構(gòu)建起對(duì)于整個(gè)模型的認(rèn)識(shí)，然后根據(jù)一些參考文獻(xiàn)，給出我們的猜想的命題，比如收斂，收斂性，魯棒性...證明的方法雖然大相徑庭，但一般都是關(guān)于矩陣論和隨機(jī)過程的東西，強(qiáng)相關(guān)的參考文獻(xiàn)中的證明過程一定要仔細(xì)過一遍，因?yàn)橥軐W(xué)到這個(gè)領(lǐng)域的“套路”。

對(duì)于代碼實(shí)驗(yàn)，除了將自己的想法實(shí)現(xiàn)出來，我也有一些小小的心得，那就是一定要和合作者一起把代碼review一遍（因?yàn)槲覍懙亩际莃ug5555），遇到效果不佳或者提升并不明顯的時(shí)候，不要輕易放棄，不一定是你的idea不可行，可能是框架的一些別的模塊和我們的方法不適配，這就需要經(jīng)驗(yàn)的積累了，也是科研經(jīng)驗(yàn)很重要的一部分。

科研后

很多人會(huì)好奇科研后是什么意思，其實(shí)就是如果對(duì)這個(gè)領(lǐng)域進(jìn)行進(jìn)一步的深挖，甚至是在這個(gè)課題做完之后如何進(jìn)行更多的改進(jìn)。這個(gè)一般在論文收尾或者修改論文的時(shí)候思考。我往往會(huì)在大規(guī)模跑實(shí)驗(yàn)和寫論文的時(shí)候，閱讀一些其他小領(lǐng)域的文章，粗略的了解一些不曾觸及的知識(shí)，這對(duì)于idea的迸發(fā)和科研的推進(jìn)應(yīng)該是非常有用的。

總結(jié)

關(guān)于2022年整個(gè)科研過程，我覺得有幾點(diǎn)非常重要。

（1）打好數(shù)學(xué)基礎(chǔ)，不要貪圖看論文的數(shù)量，看一篇就要看懂一篇；（2）多和伙伴交流，這真的很重要很重要，多聽聽別人的建議和想法會(huì)讓你受益匪淺，也會(huì)腦洞大開hhh；（3）不要局限自己的領(lǐng)域，不要功利性的看一些論文，對(duì)于和自己科研方向看起來無關(guān)的知識(shí)也可以適當(dāng)?shù)牧私猓?/span>（4）除了論文的理論和結(jié)果，論文的寫作也是非常重要的，往往一篇文章修改的時(shí)間甚至比寫作還長，需要耐心理清楚邏輯讓審稿人和讀者明白你的意圖。

工作簡介

最后簡單的介紹一下我們?cè)赪WW23中稿的兩篇論文的主要內(nèi)容。（1）圖神經(jīng)網(wǎng)絡(luò)是處理圖數(shù)據(jù)的強(qiáng)大工具。然而，現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)面臨著over-smoothing和over-squashine的挑戰(zhàn)。我們提出了一種新的基于曲率的拓?fù)涓兄腄ropout采樣技術(shù)CurvDrop。在該技術(shù)中，我們將離散的Ricci曲率整合到圖神經(jīng)網(wǎng)絡(luò)中，以實(shí)現(xiàn)更具表現(xiàn)力的圖模型。同時(shí)，這項(xiàng)工作可以通過量化圖中的連接和使用圖中的社區(qū)結(jié)構(gòu)等結(jié)構(gòu)信息來改進(jìn)圖神經(jīng)網(wǎng)絡(luò)。因此，我們的方法可以統(tǒng)一解決over-smoothing和over-squashine的問題。在多個(gè)公共數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。

（2）馬爾科夫邏輯網(wǎng)絡(luò)（MLN）是一個(gè)強(qiáng)大的概率邏輯推理的統(tǒng)計(jì)建模框架。盡管MLN很有效，MLN的推理存在效率問題。即使是最先進(jìn)的MLN引擎也不能在開放世界的環(huán)境下擴(kuò)展到中等規(guī)模的現(xiàn)實(shí)世界知識(shí)庫。（開放世界指的是知識(shí)庫中所有未觀察到的事實(shí)都需要預(yù)測(cè)。）我們這篇文章中，通過關(guān)注某類具有足夠表現(xiàn)力的一階邏輯規(guī)則，我們開發(fā)了一個(gè)高效的MLN推理引擎，名為MLN4KB，可以利用知識(shí)庫的稀疏性。MLN4KB享有相當(dāng)強(qiáng)的理論特性；它的空間和時(shí)間復(fù)雜度可以比現(xiàn)有的MLN引擎小上指數(shù)倍。在合成和真實(shí)世界的知識(shí)庫上的實(shí)驗(yàn)證明了所提方法的有效性。在開放世界環(huán)境下，MLN4KB比現(xiàn)有的MLN引擎快幾個(gè)數(shù)量級(jí)（在某些數(shù)據(jù)集上快10^3$倍以上）。在沒有任何近似技巧的情況下，MLN4KB可以擴(kuò)展到包括WN-18和YAGO3-10在內(nèi)的真實(shí)世界的知識(shí)庫，并在沒有任何花哨的情況下達(dá)到相當(dāng)?shù)念A(yù)測(cè)精度。而且我們以一個(gè)名為MLN4KB.jl的Julia包的形式實(shí)現(xiàn)了MLN4KB。該包支持MLN引擎的所有基本功能，包括最大后驗(yàn)（MAP）推理和學(xué)習(xí)規(guī)則的權(quán)重。我們之后后開源MLN4KB.jl。