連中兩篇WWW頂會！

很幸運能在WWW23中稿兩篇論文，作為22年中旬才開始做深度學(xué)習(xí)方面的科研新手來說，給即將入門科研的人一些我總結(jié)的經(jīng)驗和技巧。

主要分成這幾點來介紹：

1. 科研前的選題
2. 科研中的耐心
3. 科研后的延續(xù)
4. 總結(jié)
5. 工作簡介

科研前

作為一個深度學(xué)習(xí)小白，我之前科研的主要方向是矩陣優(yōu)化和統(tǒng)計優(yōu)化（一個偏數(shù)學(xué)的方向），后面因為一些原因轉(zhuǎn)到圖神經(jīng)網(wǎng)絡(luò)的組里，主要做深度學(xué)習(xí)和數(shù)據(jù)挖掘。這時候我們需要思考自己的優(yōu)勢，我們不像計算機科班的同學(xué)那樣，各種代碼的框架信手拈來，代碼的實現(xiàn)輕而易舉，我們有的是一些虛無縹緲的數(shù)學(xué)功底。

在閱讀圖神經(jīng)網(wǎng)絡(luò)的各種相關(guān)文獻的時候，發(fā)現(xiàn)文章一般有兩種風(fēng)格，一個是解決問題的“技術(shù)報告”，另一種是理論豐富但是實現(xiàn)起來較為容易的。我作為數(shù)學(xué)系的學(xué)生自然就選擇了后者 （因為不會寫代碼5555）。確定了論文風(fēng)格之后，再加上同期還在參與一個圖譜理論的討論班，所以就開始著重閱讀一些偏理論的圖譜網(wǎng)絡(luò)的文章。

文獻的積累夠了之后，我們就需要思考整個領(lǐng)域的缺陷和可能可以發(fā)展的地方，也就是常說的idea。我認(rèn)為文章大概又能分成幾種，一種是占坑類型的（A+B），一種開創(chuàng)類型的，一種是深挖類型的。而我當(dāng)然就是選擇從A+B中進行深挖，往往最好下手（要從科研質(zhì)疑的角度看待每一篇論文，而不是學(xué)習(xí)）。

科研中

確定了科研題目之后，就會遇到證明猜想和代碼實驗的困難。對于我的選題，代碼的部分往往并不困難（難的我也不會寫呀5555），所以我只有一些對數(shù)學(xué)證明的感觸。每篇文章我往往都會寫一到兩個小定理或者性質(zhì)命題，我們需要對我們新的設(shè)定做一些簡單的假設(shè)，然后在一些特殊情況下，構(gòu)建起對于整個模型的認(rèn)識，然后根據(jù)一些參考文獻，給出我們的猜想的命題，比如收斂，收斂性，魯棒性...證明的方法雖然大相徑庭，但一般都是關(guān)于矩陣論和隨機過程的東西，強相關(guān)的參考文獻中的證明過程一定要仔細(xì)過一遍，因為往往能學(xué)到這個領(lǐng)域的“套路”。

對于代碼實驗，除了將自己的想法實現(xiàn)出來，我也有一些小小的心得，那就是一定要和合作者一起把代碼review一遍（因為我寫的都是bug5555），遇到效果不佳或者提升并不明顯的時候，不要輕易放棄，不一定是你的idea不可行，可能是框架的一些別的模塊和我們的方法不適配，這就需要經(jīng)驗的積累了，也是科研經(jīng)驗很重要的一部分。

科研后

很多人會好奇科研后是什么意思，其實就是如果對這個領(lǐng)域進行進一步的深挖，甚至是在這個課題做完之后如何進行更多的改進。這個一般在論文收尾或者修改論文的時候思考。我往往會在大規(guī)模跑實驗和寫論文的時候，閱讀一些其他小領(lǐng)域的文章，粗略的了解一些不曾觸及的知識，這對于idea的迸發(fā)和科研的推進應(yīng)該是非常有用的。

總結(jié)

關(guān)于2022年整個科研過程，我覺得有幾點非常重要。

（1）打好數(shù)學(xué)基礎(chǔ)，不要貪圖看論文的數(shù)量，看一篇就要看懂一篇；（2）多和伙伴交流，這真的很重要很重要，多聽聽別人的建議和想法會讓你受益匪淺，也會腦洞大開hhh；（3）不要局限自己的領(lǐng)域，不要功利性的看一些論文，對于和自己科研方向看起來無關(guān)的知識也可以適當(dāng)?shù)牧私猓?/span>（4）除了論文的理論和結(jié)果，論文的寫作也是非常重要的，往往一篇文章修改的時間甚至比寫作還長，需要耐心理清楚邏輯讓審稿人和讀者明白你的意圖。

工作簡介

最后簡單的介紹一下我們在WWW23中稿的兩篇論文的主要內(nèi)容。（1）圖神經(jīng)網(wǎng)絡(luò)是處理圖數(shù)據(jù)的強大工具。然而，現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)面臨著over-smoothing和over-squashine的挑戰(zhàn)。我們提出了一種新的基于曲率的拓?fù)涓兄腄ropout采樣技術(shù)CurvDrop。在該技術(shù)中，我們將離散的Ricci曲率整合到圖神經(jīng)網(wǎng)絡(luò)中，以實現(xiàn)更具表現(xiàn)力的圖模型。同時，這項工作可以通過量化圖中的連接和使用圖中的社區(qū)結(jié)構(gòu)等結(jié)構(gòu)信息來改進圖神經(jīng)網(wǎng)絡(luò)。因此，我們的方法可以統(tǒng)一解決over-smoothing和over-squashine的問題。在多個公共數(shù)據(jù)集上的實驗驗證了所提方法的有效性。

（2）馬爾科夫邏輯網(wǎng)絡(luò)（MLN）是一個強大的概率邏輯推理的統(tǒng)計建模框架。盡管MLN很有效，MLN的推理存在效率問題。即使是最先進的MLN引擎也不能在開放世界的環(huán)境下擴展到中等規(guī)模的現(xiàn)實世界知識庫。（開放世界指的是知識庫中所有未觀察到的事實都需要預(yù)測。）我們這篇文章中，通過關(guān)注某類具有足夠表現(xiàn)力的一階邏輯規(guī)則，我們開發(fā)了一個高效的MLN推理引擎，名為MLN4KB，可以利用知識庫的稀疏性。MLN4KB享有相當(dāng)強的理論特性；它的空間和時間復(fù)雜度可以比現(xiàn)有的MLN引擎小上指數(shù)倍。在合成和真實世界的知識庫上的實驗證明了所提方法的有效性。在開放世界環(huán)境下，MLN4KB比現(xiàn)有的MLN引擎快幾個數(shù)量級（在某些數(shù)據(jù)集上快10^3$倍以上）。在沒有任何近似技巧的情況下，MLN4KB可以擴展到包括WN-18和YAGO3-10在內(nèi)的真實世界的知識庫，并在沒有任何花哨的情況下達(dá)到相當(dāng)?shù)念A(yù)測精度。而且我們以一個名為MLN4KB.jl的Julia包的形式實現(xiàn)了MLN4KB。該包支持MLN引擎的所有基本功能，包括最大后驗（MAP）推理和學(xué)習(xí)規(guī)則的權(quán)重。我們之后后開源MLN4KB.jl。