機器學(xué)習博士自救指南

來自｜AI科技評論? ?編譯 | 青暮、陳大鑫

關(guān)于如何攻讀機器學(xué)習博士學(xué)位，這個嘛，主要是不要重蹈我的覆轍，哈哈。

你已經(jīng)開始了博士的學(xué)習課程，恭喜恭喜。在這篇文章里，我們將討論在攻讀博士學(xué)位期間要做的事情，包括如何成功發(fā)表論文、如何應(yīng)對評審、如何在會議上游刃有余等等。

首先，我要說一句，我不擅長攻讀博士，我不是這方面的專家。我就快要拿到博士學(xué)位了，但我曾經(jīng)做錯了很多事情，絕不是一個成功的學(xué)者。但是，如果你也像我一樣，在剛剛開始博士生涯時，并不知道該做什么，不知道如何選擇研究主題，不知道如何撰寫論文。那么，我或許可以給你提供點兒幫助。

我可以告訴你的是，我見過很多擅長此事（攻讀博士）的人。因此，我可以告訴你這些人做對了什么，而我自己又做錯了什么，以及我認為你應(yīng)該學(xué)習的方面。?

在確定研究主題時，確保你的導(dǎo)師或者周圍的師兄師姐們對這個主題有足夠的經(jīng)驗。

當然，你的個人興趣也很重要，畢竟你得待在自己挖的坑里好長一段時間。

最后，你得選擇自己擅長或擁有足夠?qū)I(yè)知識的領(lǐng)域。

如果能夠滿足這三個條件，你的博士生涯將非常香。

不過，選擇主題時，還需要考慮一些其它事項：

首先，擁有多少資源將決定你是否能夠跨過某些研究領(lǐng)域的門檻。這里，我假設(shè)你的研究團隊很普通，沒有龐大的計算集群或大量資金，是的，我的建議就是針對非大型科技公司的相當普通的博士生。但是，如果你的團隊很多金，坐擁成千上萬的TPU，當我沒說，當我不存在，訓(xùn)練你的大型語言模型去吧。

好了，回到正題，有兩種基本方法可以選擇研究主題。

第一個方法是選擇當前該領(lǐng)域最熱、最受關(guān)注的主題，沒錯，就是隨大流。目前而言的話，這不一定是一個壞主意，我覺得泡沫破裂的時候也還沒到，哈哈。

但是這種方式也有一些缺點。原因在于，在這樣的領(lǐng)域種，會充斥著大量論文，不管水不水，同時也存在著激烈的競爭，競爭的壓力不僅僅來自同行，還有來自大型公司的多金同行。但還有一個更重要的原因，就是這樣的領(lǐng)域遲早會衰落。

如果你今天選擇研究Transformer，那么很可能會在這個坑里掙扎三四年，而領(lǐng)域還在不斷向前發(fā)展。

那么，如果不研究熱門主題，該咋辦？這就來到了另一種選擇，即小眾主題（niche topics），這也是我向大多數(shù)人推薦的主題。?

這類研究主題的優(yōu)勢在于周圍沒有太多競爭，你實際上可以在這個領(lǐng)域可以成為專家，并且無論做什么都可以做到最好。目前有哪些小眾主題？比如bandits、優(yōu)化、生物學(xué)啟發(fā)神經(jīng)網(wǎng)絡(luò)、基于文本的博弈等等。

我是不說你就應(yīng)該選擇這些主題，而是說在這些小型社區(qū)，你可以進行持續(xù)地產(chǎn)出，不受炒作的影響。

?

現(xiàn)在，如果我不得不用一句話總結(jié)好論文的風格，那就是“寫不能被拒絕的論文”，這可不像聽起來那么簡單。機器學(xué)習中的評審過程極大地鼓勵了審稿人以盡可能快的速度，盡可能輕松的心情，來拒絕你的論文。

所以，我們要做的是，不要給審稿人任何拒絕你的論文的理由。

撰寫論文的最簡單方法是按字面意義閱讀論文。在你的小眾領(lǐng)域內(nèi)，收集文獻，閱讀，然后嘗試模仿他們的寫作風格，嘗試模仿他們做實驗的類型和方式，嘗試模仿他們?yōu)槠渌枷氲於ɡ碚摶A(chǔ)的方式。

你的目標是撰寫一篇審稿人不能輕易找茬的論文，審稿人是實現(xiàn)我們目標的最大障礙。

我就直說了，應(yīng)對論文評審是攻讀博士學(xué)位中最殘酷的經(jīng)歷之一。審稿人很討厭，他們總是沒有時間，他們總是沒有正確閱讀論文，他們總是誤解了，他們總是批評你沒有對一些小眾的數(shù)據(jù)集進行評估。我們總是被審稿人誤解。

我可以告訴你的是，不要因不好的評審而灰心，不要對個別評審太認真，只需將論文重新提交下一個會議即可。

因此，保持你的理智，不要太過個性化。有許多著名的論文在初次投稿時就被拒絕了，并不是因為論文不好，而是因為審稿人很爛。

當你不再是菜鳥，段位變得越來越高時，你可能會活成你自己討厭的人——審稿人。

?

當然，做一個好的審稿人真的非常非常困難。但是請努力，不僅是因為你不想同流合污，而且撰寫出色的評審也可以幫助你真正地深入研究論文，真正看到其他論文的弱點，并且使你成為更好的作者、研究員和社區(qū)成員。

因此，為了你自己和社區(qū)，即使沒有時間，即使其他人做的真的很爛，也請認真對待論文評審。

?

但是，我還是建議你認真對待教學(xué)，這不僅是因為這個世界依賴于下一代研究人員，還要考慮到你所教的人也許有一天會成為你的實驗室成員，你將從他們的優(yōu)秀能力中受益。因此，為了你自己和學(xué)生，請認真對待教學(xué)。

因此，除了需要做的事情（例如復(fù)習和教學(xué)）之外，你整天還要干什么？

我的答案是：

處理手頭工作——撒尿——然后繼續(xù)處理手頭工作。

博士學(xué)位是頭等重要的大事，是需要長期付出精力的一項工作。

在博士期間，你將被誘惑去做各種各樣的事情。這有一個閱讀小組、又有一個研討會、一會兒還有一個演講。

除非這些東西有特別的興趣或者他們對你有特定的幫助，否則這將會是消磨時間，并不是說你不應(yīng)該去參加它們，只是要考慮到它們對你的論文主題有沒有什么實質(zhì)性的幫助。

會議本身、會議網(wǎng)站以及Twitter上的每個人都可能給你一種印象——人們發(fā)表有關(guān)他們的研究供其他人聆聽和學(xué)習。

可是不容忽視的一點是，會議的演講部分已經(jīng)變得越來越無關(guān)緊要，尤其是現(xiàn)在這個時代，所有內(nèi)容都已記錄并可以流式傳輸，你只需在舒適的沙發(fā)上以2倍速看一下這些東西，就可以確保不會丟失任何東西。

這些講座通常很簡短，而且它們的討論可能涉及至少六個月的研究。

參加會議最有趣的部分是那里的人，而且有趣的談話往往發(fā)生在研討會、小組討論、tutorial中，試圖找到討論前沿研究的地方，而研討會正是這樣一個好地方，因為很多研究通常是最近才進行的、尚未完成，你在這里或許能收獲很多不錯的新idea，或者找到自己感興趣的人。

許多論文作者會面對面告訴你他們永遠不會在論文上寫下的東西，例如哪些實驗跑不通、研究中的問題、論文的缺點、以及很多的bug和踩坑經(jīng)驗，在會場和人們聊天你會獲得很多知識。

但是，做到這一點，你要保持開放大膽、張口說話、主動問好、走出第一步、積極地享受與人交流的過程。

我知道這對我們很多人來說都是很難的，但它確實有回報，它將使你的生活更加愉悅。

好吧，我接下來要談的是實習，如果你要去另一家大學(xué)的公司實習，那完全取決于你的偏好。

在不同的地方進行實習通常會給你帶來不同的見解。

如果你在一家大公司實習，那可能是學(xué)術(shù)和產(chǎn)業(yè)環(huán)境的轉(zhuǎn)變，你將可以使用更多的研究資源，并且可以進行一些不同類型的研究，最重要的是，你可以將會遇到不再是學(xué)者思維的一群人，那將是非常寶貴的體驗。

一旦你深陷學(xué)術(shù)界一段時間，結(jié)識一群只想打造出色產(chǎn)品的人群就會變得耳目一新，并讓你真正了解到產(chǎn)品思維和目標導(dǎo)向。

最后，我想談?wù)労献鞯脑掝}。如果你能找到一個對你有互補技能并且對同一領(lǐng)域感興趣的人，那么一起工作并共同進行研究肯定會有所回報。

但是，僅當這些技能確實在同一領(lǐng)域能發(fā)揮作用時，才做這種事。與他人合作非常誘人，如果你能解決的話，對你有好處。但同樣，一定要專注于你的特定領(lǐng)域，并真正將協(xié)作視為共同努力，以更快、更嚴格地完成研究，這是值得的。