建言 | 機(jī)器學(xué)習(xí)方向博士自救指南

 作者 | Yannic Kilcher  編譯 | 青暮、陳大鑫

轉(zhuǎn)自 | AI科技評(píng)論

關(guān)于如何攻讀機(jī)器學(xué)習(xí)博士學(xué)位，這個(gè)嘛，主要是不要重蹈我的覆轍，哈哈。

你已經(jīng)開始了博士的學(xué)習(xí)課程，恭喜恭喜。在這篇文章里，我們將討論在攻讀博士學(xué)位期間要做的事情，包括如何成功發(fā)表論文、如何應(yīng)對(duì)評(píng)審、如何在會(huì)議上游刃有余等等。

首先，我要說一句，我不擅長攻讀博士，我不是這方面的專家。我就快要拿到博士學(xué)位了，但我曾經(jīng)做錯(cuò)了很多事情，絕不是一個(gè)成功的學(xué)者。但是，如果你也像我一樣，在剛剛開始博士生涯時(shí)，并不知道該做什么，不知道如何選擇研究主題，不知道如何撰寫論文。那么，我或許可以給你提供點(diǎn)兒幫助。

我可以告訴你的是，我見過很多擅長此事（攻讀博士）的人。因此，我可以告訴你這些人做對(duì)了什么，而我自己又做錯(cuò)了什么，以及我認(rèn)為你應(yīng)該學(xué)習(xí)的方面。

 

1

選擇主題

在確定研究主題時(shí)，確保你的導(dǎo)師或者周圍的師兄師姐們對(duì)這個(gè)主題有足夠的經(jīng)驗(yàn)。

當(dāng)然，你的個(gè)人興趣也很重要，畢竟你得待在自己挖的坑里好長一段時(shí)間。

最后，你得選擇自己擅長或擁有足夠?qū)I(yè)知識(shí)的領(lǐng)域。

如果能夠滿足這三個(gè)條件，你的博士生涯將非常香。

不過，選擇主題時(shí)，還需要考慮一些其它事項(xiàng)：

首先，擁有多少資源將決定你是否能夠跨過某些研究領(lǐng)域的門檻。這里，我假設(shè)你的研究團(tuán)隊(duì)很普通，沒有龐大的計(jì)算集群或大量資金，是的，我的建議就是針對(duì)非大型科技公司的相當(dāng)普通的博士生。但是，如果你的團(tuán)隊(duì)很多金，坐擁成千上萬的TPU，當(dāng)我沒說，當(dāng)我不存在，訓(xùn)練你的大型語言模型去吧。

好了，回到正題，有兩種基本方法可以選擇研究主題。

第一個(gè)方法是選擇當(dāng)前該領(lǐng)域最熱、最受關(guān)注的主題，沒錯(cuò)，就是隨大流。目前而言的話，這不一定是一個(gè)壞主意，我覺得泡沫破裂的時(shí)候也還沒到，哈哈。

但是這種方式也有一些缺點(diǎn)。原因在于，在這樣的領(lǐng)域種，會(huì)充斥著大量論文，不管水不水，同時(shí)也存在著激烈的競爭，競爭的壓力不僅僅來自同行，還有來自大型公司的多金同行。但還有一個(gè)更重要的原因，就是這樣的領(lǐng)域遲早會(huì)衰落。

如果你今天選擇研究Transformer，那么很可能會(huì)在這個(gè)坑里掙扎三四年，而領(lǐng)域還在不斷向前發(fā)展。

那么，如果不研究熱門主題，該咋辦？這就來到了另一種選擇，即小眾主題（niche topics），這也是我向大多數(shù)人推薦的主題。 

這類研究主題的優(yōu)勢在于周圍沒有太多競爭，你實(shí)際上可以在這個(gè)領(lǐng)域可以成為專家，并且無論做什么都可以做到最好。目前有哪些小眾主題？比如bandits、優(yōu)化、生物學(xué)啟發(fā)神經(jīng)網(wǎng)絡(luò)、基于文本的博弈等等。

我是不說你就應(yīng)該選擇這些主題，而是說在這些小型社區(qū)，你可以進(jìn)行持續(xù)地產(chǎn)出，不受炒作的影響。

 

2

應(yīng)對(duì)審稿

好了，接下來是，如何發(fā)表論文？

現(xiàn)在，如果我不得不用一句話總結(jié)好論文的風(fēng)格，那就是“寫不能被拒絕的論文”，這可不像聽起來那么簡單。機(jī)器學(xué)習(xí)中的評(píng)審過程極大地鼓勵(lì)了審稿人以盡可能快的速度，盡可能輕松的心情，來拒絕你的論文。

所以，我們要做的是，不要給審稿人任何拒絕你的論文的理由。

撰寫論文的最簡單方法是按字面意義閱讀論文。在你的小眾領(lǐng)域內(nèi)，收集文獻(xiàn)，閱讀，然后嘗試模仿他們的寫作風(fēng)格，嘗試模仿他們做實(shí)驗(yàn)的類型和方式，嘗試模仿他們?yōu)槠渌枷氲於ɡ碚摶A(chǔ)的方式。

你的目標(biāo)是撰寫一篇審稿人不能輕易找茬的論文，審稿人是實(shí)現(xiàn)我們目標(biāo)的最大障礙。

我就直說了，應(yīng)對(duì)論文評(píng)審是攻讀博士學(xué)位中最殘酷的經(jīng)歷之一。審稿人很討厭，他們總是沒有時(shí)間，他們總是沒有正確閱讀論文，他們總是誤解了，他們總是批評(píng)你沒有對(duì)一些小眾的數(shù)據(jù)集進(jìn)行評(píng)估。我們總是被審稿人誤解。

我可以告訴你的是，不要因不好的評(píng)審而灰心，不要對(duì)個(gè)別評(píng)審太認(rèn)真，只需將論文重新提交下一個(gè)會(huì)議即可。

因此，保持你的理智，不要太過個(gè)性化。有許多著名的論文在初次投稿時(shí)就被拒絕了，并不是因?yàn)檎撐牟缓茫且驗(yàn)閷徃迦撕軤€。

當(dāng)你不再是菜鳥，段位變得越來越高時(shí)，你可能會(huì)活成你自己討厭的人——審稿人。

 

3

成為審稿人

在審別人論文的時(shí)候，你才會(huì)發(fā)現(xiàn)，所有其他審稿人都糟透了，寫的什么垃圾評(píng)審。好吧，你很可能禁不住誘惑也自甘墮落了。你在想，大家都審的那么爛，我那么努力干啥子，特別是當(dāng)你好好地審論文也不會(huì)獲得任何好處（除了一句謝謝）的時(shí)候。

當(dāng)然，做一個(gè)好的審稿人真的非常非常困難。但是請(qǐng)努力，不僅是因?yàn)槟悴幌胪骱衔?，而?/span>撰寫出色的評(píng)審也可以幫助你真正地深入研究論文，真正看到其他論文的弱點(diǎn)，并且使你成為更好的作者、研究員和社區(qū)成員。

因此，為了你自己和社區(qū)，即使沒有時(shí)間，即使其他人做的真的很爛，也請(qǐng)認(rèn)真對(duì)待論文評(píng)審。

 

4

“認(rèn)真”教學(xué)

讀博士的另一件煩人的事很可能是教學(xué)。而且，你很可能沒有什么動(dòng)力去做好教學(xué)。畢竟，學(xué)生是“煩人”的生物，你越快地?cái)[脫他們，你就越早可以開始寫論文。

但是，我還是建議你認(rèn)真對(duì)待教學(xué)，這不僅是因?yàn)檫@個(gè)世界依賴于下一代研究人員，還要考慮到你所教的人也許有一天會(huì)成為你的實(shí)驗(yàn)室成員，你將從他們的優(yōu)秀能力中受益。因此，為了你自己和學(xué)生，請(qǐng)認(rèn)真對(duì)待教學(xué)。

因此，除了需要做的事情（例如復(fù)習(xí)和教學(xué)）之外，你整天還要干什么？

我的答案是：

處理手頭工作——撒尿——然后繼續(xù)處理手頭工作。

博士學(xué)位是頭等重要的大事，是需要長期付出精力的一項(xiàng)工作。

在博士期間，你將被誘惑去做各種各樣的事情。這有一個(gè)閱讀小組、又有一個(gè)研討會(huì)、一會(huì)兒還有一個(gè)演講。

除非這些東西有特別的興趣或者他們對(duì)你有特定的幫助，否則這將會(huì)是消磨時(shí)間，并不是說你不應(yīng)該去參加它們，只是要考慮到它們對(duì)你的論文主題有沒有什么實(shí)質(zhì)性的幫助。

5

參加會(huì)議

現(xiàn)在你已經(jīng)撰寫了論文，并將其提交給同行評(píng)審。很幸運(yùn)，你中稿了，并且可以參加會(huì)議了。

會(huì)議本身、會(huì)議網(wǎng)站以及Twitter上的每個(gè)人都可能給你一種印象——人們發(fā)表有關(guān)他們的研究供其他人聆聽和學(xué)習(xí)。

可是不容忽視的一點(diǎn)是，會(huì)議的演講部分已經(jīng)變得越來越無關(guān)緊要，尤其是現(xiàn)在這個(gè)時(shí)代，所有內(nèi)容都已記錄并可以流式傳輸，你只需在舒適的沙發(fā)上以2倍速看一下這些東西，就可以確保不會(huì)丟失任何東西。

這些講座通常很簡短，而且它們的討論可能涉及至少六個(gè)月的研究。

參加會(huì)議最有趣的部分是那里的人，而且有趣的談話往往發(fā)生在研討會(huì)、小組討論、tutorial中，試圖找到討論前沿研究的地方，而研討會(huì)正是這樣一個(gè)好地方，因?yàn)楹芏嘌芯客ǔＪ亲罱胚M(jìn)行的、尚未完成，你在這里或許能收獲很多不錯(cuò)的新idea，或者找到自己感興趣的人。

許多論文作者會(huì)面對(duì)面告訴你他們永遠(yuǎn)不會(huì)在論文上寫下的東西，例如哪些實(shí)驗(yàn)跑不通、研究中的問題、論文的缺點(diǎn)、以及很多的bug和踩坑經(jīng)驗(yàn)，在會(huì)場和人們聊天你會(huì)獲得很多知識(shí)。

但是，做到這一點(diǎn)，你要保持開放大膽、張口說話、主動(dòng)問好、走出第一步、積極地享受與人交流的過程。

我知道這對(duì)我們很多人來說都是很難的，但它確實(shí)有回報(bào)，它將使你的生活更加愉悅。

好吧，我接下來要談的是實(shí)習(xí)，如果你要去另一家大學(xué)的公司實(shí)習(xí)，那完全取決于你的偏好。

6

實(shí)習(xí)

在不同的地方進(jìn)行實(shí)習(xí)通常會(huì)給你帶來不同的見解。

如果你在一家大公司實(shí)習(xí)，那可能是學(xué)術(shù)和產(chǎn)業(yè)環(huán)境的轉(zhuǎn)變，你將可以使用更多的研究資源，并且可以進(jìn)行一些不同類型的研究，最重要的是，你可以將會(huì)遇到不再是學(xué)者思維的一群人，那將是非常寶貴的體驗(yàn)。

一旦你深陷學(xué)術(shù)界一段時(shí)間，結(jié)識(shí)一群只想打造出色產(chǎn)品的人群就會(huì)變得耳目一新，并讓你真正了解到產(chǎn)品思維和目標(biāo)導(dǎo)向。

7

合作

最后，我想談?wù)労献鞯脑掝}。如果你能找到一個(gè)對(duì)你有互補(bǔ)技能并且對(duì)同一領(lǐng)域感興趣的人，那么一起工作并共同進(jìn)行研究肯定會(huì)有所回報(bào)。

但是，僅當(dāng)這些技能確實(shí)在同一領(lǐng)域能發(fā)揮作用時(shí)，才做這種事。與他人合作非常誘人，如果你能解決的話，對(duì)你有好處。但同樣，一定要專注于你的特定領(lǐng)域，并真正將協(xié)作視為共同努力，以更快、更嚴(yán)格地完成研究，這是值得的。

8

后記

好的，所以我現(xiàn)在討論的方式，看起來像是博士學(xué)位令人厭煩且需要大量工作，而且你永遠(yuǎn)都做不到任何有趣的事情。盡管這是一個(gè)方面，并且這肯定會(huì)發(fā)生在人們身上，尤其是如果他們想快速完成工作，那么我敦促你也花一些時(shí)間來享受這段時(shí)間。

博士階段是一段美好的時(shí)光，你將結(jié)識(shí)很多有趣的人，學(xué)習(xí)很多有趣的主題和思想，能夠去很多有趣的地方。這些都是寶貴的體驗(yàn)。

因此，我的建議是，如果可以的話，不要一直忙綠工作，花半年或更長時(shí)間放輕松一點(diǎn)，enjoy your time，做好本職研究工作的你隨時(shí)都可以找到工作的。

最后，我希望你從本文中至少學(xué)到了一些東西，祝福你在通往機(jī)器學(xué)習(xí)博士學(xué)位的道路上獲得成功。

Cheers !

視頻鏈接：

https://www.youtube.com/watch?v=rHQPBqMULXo&t=699s

往期精彩：
【原創(chuàng)首發(fā)】機(jī)器學(xué)習(xí)公式推導(dǎo)與代碼實(shí)現(xiàn)30講.pdf
【原創(chuàng)首發(fā)】深度學(xué)習(xí)語義分割理論與實(shí)戰(zhàn)指南.pdf
 談中小企業(yè)算法崗面試
 算法工程師研發(fā)技能表
 真正想做算法的，不要害怕內(nèi)卷
 算法工程師的日常，一定不能脫離產(chǎn)業(yè)實(shí)踐
 技術(shù)學(xué)習(xí)不能眼高手低
 技術(shù)人要學(xué)會(huì)自我營銷
 做人不能過擬合
點(diǎn)個(gè)在看唄