芝加哥大學(xué)AI博士：我從導(dǎo)師身上學(xué)到的幾件事

在芝加哥大學(xué)讀博士的5年中（其實(shí)只有4年在做NLP），我從導(dǎo)師Kevin Gimpel身上學(xué)到了不少東西，有關(guān)于學(xué)術(shù)研究的，也有關(guān)于工作方式的，這里寫下來(lái)和大家做個(gè)分享。

Kevin自己寫過(guò)一篇給PhD學(xué)生的建議：

https://ttic.uchicago.edu/~kgimpel/etc/phd-advice.pdfttic.uchicago.edu

里面不少建議的工作方式也是他自己一直在踐行的。

工作時(shí)長(zhǎng)

Kevin提倡保持“可持續(xù)發(fā)展”的工作時(shí)長(zhǎng)，既不能太短，也不能太長(zhǎng)。他個(gè)人的建議是每天工作8小時(shí)，每周工作5天。這一點(diǎn)我做的并不好，我總是在deadline前高強(qiáng)度工作，平時(shí)則過(guò)得過(guò)于悠閑。

從我和他的日常合作中我能很明顯地感覺(jué)到他對(duì)于時(shí)間的掌控做得很好。每次開會(huì)到了55分鐘的時(shí)候，他就會(huì)說(shuō)“會(huì)議的時(shí)間就要結(jié)束了，我們可以來(lái)總結(jié)一下”。

到了deadline前修改paper的時(shí)候，他會(huì)說(shuō)“明天早上我有1個(gè)小時(shí)可以修改一下你的論文，能不能告訴我你希望我關(guān)注哪一個(gè)section？”到了晚上，他又會(huì)說(shuō)“我差不多要下線了，如果你遇到了任何困難我們可以郵件溝通”。事實(shí)上當(dāng)他發(fā)完這封郵件之后我基本上就不會(huì)再去麻煩他了，因?yàn)槲抑肋@已經(jīng)到了他的休息時(shí)間。

導(dǎo)師和學(xué)生的關(guān)系

在Kevin的眼中，他是我的導(dǎo)師（advisor）。advisor顧名思義就是給出建議的人。所以他和我的關(guān)系幾乎就一直僅限于“提供建議”。在四年的工作中，他從來(lái)沒(méi)有給我布置過(guò)一次工作任務(wù)。我們之間的關(guān)系僅限于每周一次1小時(shí)的會(huì)議。在這個(gè)會(huì)議中，我們會(huì)討論我最近的工作情況，研究進(jìn)展。他會(huì)基于我的工作給出一些工作的“建議”。至于這個(gè)建議是否采納，完全是我的事情。當(dāng)然經(jīng)過(guò)我自己走的多次彎路，我才意識(shí)到大部分時(shí)候他給的“建議”、尤其是“研究建議”，多半是非常優(yōu)化的解決方案，我自己的探索大部分時(shí)候是徒勞。

這種“建議”的關(guān)系也體現(xiàn)在寫論文上。對(duì)于是否要投遞論文，投遞哪個(gè)會(huì)議，Kevin一向只是提出“建議”，從不會(huì)“要求”我去提交任何一篇論文。他的口頭禪是“This is your work, so I will let you decide whether you want to make a submission this time.” 每次到了deadline前要提交論文的時(shí)候，Kevin一般會(huì)幫我修改一次論文。除了一些顯然的語(yǔ)法錯(cuò)誤之外，Kevin一般盡可能避免幫我直接修改論文。他的做法一般是在我們的文檔上留下很長(zhǎng)的comments，并且建議我可以修改如下，緊接著長(zhǎng)篇大論的修改。但是最終是否采納他的版本，則依然是我自己的選擇。

不過(guò)組內(nèi)有同學(xué)告訴我，一般來(lái)說(shuō)Kevin給我提的“建議”，建議我還是直接當(dāng)做“要求”來(lái)做即可。事實(shí)上如果從工作效率角度來(lái)說(shuō)，直接聽導(dǎo)師的命令或許更高一些。但是我認(rèn)為導(dǎo)師給學(xué)生提供足夠的自由度對(duì)于學(xué)生的能力培養(yǎng)和未來(lái)的工作發(fā)展是大有裨益的。

另一方面是，Kevin似乎總是在工作中保持著高度的professional。任何時(shí)候他幾乎從來(lái)不聊一些與工作無(wú)關(guān)的問(wèn)題，有時(shí)候會(huì)顯得非常nerd。

關(guān)于研究課題

Kevin從來(lái)不會(huì)要求我們做任何特別方向的research。不過(guò)并不是因?yàn)樗麤](méi)有想做的idea，其實(shí)他自己經(jīng)常會(huì)在不經(jīng)意間（也許是故意的）向我們推銷他的research idea。例如2017年他給我推銷text style transfer，平時(shí)幾乎不間斷推銷commense knowledge之類的work，不過(guò)我最終并沒(méi)有過(guò)多涉獵。我認(rèn)為他之所以盡可能避免給我們灌輸具體做研究的想法，一方面是他認(rèn)為讀博士做研究是學(xué)生的事情，他不應(yīng)該越俎代庖，另一方面也是他希望盡快讓我們培養(yǎng)自己選擇課題做研究的能力。所以更多的時(shí)候我們都是學(xué)生之間互相討論想做的項(xiàng)目，而不是找Kevin去要一個(gè)項(xiàng)目過(guò)來(lái)。

不過(guò)Kevin對(duì)于很多我們討論過(guò)的idea會(huì)非常執(zhí)著。例如某天討論了一個(gè)問(wèn)題，然后我決定去做一做。做完后發(fā)現(xiàn)不太行，Kevin總會(huì)不停地再次提起，問(wèn)這個(gè)能不能再試一試，有沒(méi)有可能把它做work？或者非常假裝不經(jīng)意間地再提起這件事情，說(shuō)是不是可以稍微改一改再看看能不能做出來(lái)？由于Kevin講話總是過(guò)于禮貌或者顯得有些隨意，以前我會(huì)忽視這些他似乎漫不經(jīng)心的提議。不過(guò)慢慢地我就發(fā)現(xiàn)一件事情如果他提了兩次，大概率就是他認(rèn)為我的實(shí)驗(yàn)做的有問(wèn)題，他認(rèn)為應(yīng)該是可以做成功的。

工作方式

Kevin的整體風(fēng)格非常一絲不茍。可能這與工作的性質(zhì)有關(guān)，很多時(shí)候?qū)懻撐木褪且磸?fù)推敲遣詞造句。

我在寫論文的時(shí)候，有時(shí)會(huì)有一些比較隨意的地方，例如說(shuō)這里我用了cross entropy loss來(lái)訓(xùn)練，那里用了hinge loss來(lái)訓(xùn)練。他就會(huì)留下comments，為什么這里要用cross entropy, 那里要用hinge loss？然后我告訴他其實(shí)沒(méi)有什么特別的原因，他就讓我在這里加上一些解釋，告訴作者“這里其實(shí)可以采用不同的loss function，但是我們這里實(shí)驗(yàn)了這兩種做法。”他說(shuō)他不希望讀者以為我們?cè)诟嬖V他們這兩個(gè)loss在這里表現(xiàn)最好。

我相信很多PhD學(xué)生可能會(huì)了解一些所謂的“論文presentation技巧”。事實(shí)上這種技巧在某種程度上是一個(gè)grey area，比方說(shuō)一個(gè)模型在A數(shù)據(jù)集上表現(xiàn)好，在B上表現(xiàn)不好，這個(gè)時(shí)候我們可以把B扔了，只present A的結(jié)果。這樣論文被接收的幾率就提升了。Kevin似乎從來(lái)不會(huì)給我這樣的presentation建議，他總是會(huì)問(wèn)，為什么B上面表現(xiàn)會(huì)不好，我們要研究一下。如果實(shí)在說(shuō)不清為什么，他也會(huì)讓我把B的結(jié)果放到paper上，至少也得在appendix里面。原因是不能誤導(dǎo)讀者。但是這樣也直接導(dǎo)致了paper比較容易被reject。很多時(shí)候把不好的結(jié)果扔掉，paper看起來(lái)就會(huì)光鮮亮麗很多。

Kevin的professionalism還體現(xiàn)在他對(duì)流程和制度的尊重上。有一些教授是默認(rèn)他的博士生暑假會(huì)在自己的實(shí)驗(yàn)室工作，但是Kevin卻一直是按照學(xué)校的規(guī)章制度辦事。學(xué)校的規(guī)章制度如果是讓學(xué)生工作9個(gè)月，那么他會(huì)默認(rèn)暑假學(xué)生就不會(huì)在學(xué)校里了。當(dāng)我碩士和博士答辯的時(shí)候，Kevin也會(huì)詢問(wèn)我，學(xué)校對(duì)于碩士和博士的畢業(yè)要求是什么？我心中的想法是，“我畢不畢業(yè)還不是看你答不答應(yīng)嗎”，不過(guò)我發(fā)現(xiàn)他的想法是，我是否畢業(yè)是我和學(xué)校的事情，他的工作是按照學(xué)校的規(guī)章制度考察我有沒(méi)有符合學(xué)校的畢業(yè)標(biāo)準(zhǔn)。

工作量

前面也提到了我導(dǎo)師8x5=40小時(shí)的每周工作量。Kevin對(duì)于每周的工作量是有比較嚴(yán)格的控制的。又由于他對(duì)待工作非常認(rèn)真，所以他幾乎不會(huì)在主要的學(xué)術(shù)工作之外給自己增加工作量。例如審稿之類的工作，他就會(huì)根據(jù)自己的時(shí)間來(lái)具體安排，教學(xué)任務(wù)忙的時(shí)候，他就會(huì)少開一些research meeting。如果正好某天要去度假，他就會(huì)提前發(fā)郵件給大家，自己某段時(shí)間要去度假了，這期間的會(huì)議就只能挪時(shí)間或者取消了，加班是不可能加班的。不過(guò)Kevin出去度假的一周一般來(lái)說(shuō)就是我在家度假的一周。暑假期間，Kevin偶爾也會(huì)接一些公司的consulting工作，但是據(jù)我觀察他的工作時(shí)間依然非常固定，幾乎不可能出現(xiàn)加班的情況。

Kevin一直嚴(yán)格控制自己的學(xué)生數(shù)量。一方面，他的funding有限，沒(méi)有辦法大量招博士生。但是，即便有一些本科生、碩士生自愿“免費(fèi)工作”（這些年AI/NLP非常火爆，所以想要來(lái)參與研究工作的，有才華的本科生和碩士生非常之多），大部分情況他也不會(huì)輔導(dǎo)額外的學(xué)生。一般來(lái)說(shuō)除了博士生之外，他會(huì)有1-2個(gè)本科生或者碩士生額外輔導(dǎo)，這幾乎已經(jīng)是他的學(xué)生數(shù)量上限。這一點(diǎn)與一些研究組動(dòng)輒二三十人的規(guī)模非常不同。Kevin會(huì)盡可能把自己的時(shí)間花在自己的學(xué)生上，一旦學(xué)生的meetings填滿了他的工作時(shí)間表，他就不再招收新的學(xué)生了。

教學(xué)

Kevin對(duì)于教學(xué)的認(rèn)真也令我非常吃驚。我在上他的NLP課程的時(shí)候，他會(huì)自己設(shè)計(jì)所有的作業(yè)，并且自己寫代碼把自己的作業(yè)寫一遍，才會(huì)發(fā)出來(lái)讓學(xué)生做。某一次作業(yè)他晚了將近一周才布置，然后他本人給出的解釋是，他還沒(méi)有寫完自己創(chuàng)建的作業(yè)。他覺(jué)得如果自己沒(méi)寫完的話不想布置給學(xué)生做。

由于他自己對(duì)待教學(xué)工作如此認(rèn)真，這直接導(dǎo)致了他的助教的工作量非常小。例如我曾經(jīng)做過(guò)他“機(jī)器學(xué)習(xí)”課程的助教，基本上他會(huì)提供一切作業(yè)的答案，我們只要照著答案回答學(xué)生的問(wèn)題即可（作業(yè)有g(shù)rader來(lái)批改）。

presentation和提問(wèn)

一般在我們?nèi)onference上給talk之前，Kevin會(huì)建議大家在組內(nèi)做個(gè)practice talk。Kevin一般會(huì)在下面計(jì)時(shí)，讓我們?cè)谝?guī)定時(shí)間內(nèi)完成talk。在talk之后，他會(huì)讓大家提問(wèn)，如果沒(méi)有人提問(wèn)的話，他總是能夠自己提出幾個(gè)問(wèn)題來(lái)。很多時(shí)候因?yàn)樗约和耆珔⑴c了整個(gè)項(xiàng)目，我會(huì)默認(rèn)他應(yīng)該沒(méi)什么問(wèn)題可以提的，但是他卻總是能夠找出幾個(gè)細(xì)節(jié)來(lái)提出一些有價(jià)值的問(wèn)題。在talk之后，他一定會(huì)發(fā)送一大段長(zhǎng)篇大論的email給主講者，里面是他自己針對(duì)每個(gè)slide給出的建議。

喝茶聽talk

TTIC（Kevin所在的研究所）經(jīng)常有各種日常research talk。主要是邀請(qǐng)各個(gè)領(lǐng)域的人來(lái)給講座，談一談最近的新工作。放眼望去，大家會(huì)發(fā)現(xiàn)不少聽talk的人開著一臺(tái)電腦，手頭干這事情，順便聽一聽主講者的演講。但是Kevin似乎永遠(yuǎn)都是泡好一杯茶，拿著茶杯進(jìn)來(lái)聽講座，一邊品茶一邊聽講。這讓我想到了“關(guān)注當(dāng)下”似乎是禪修的一個(gè)高級(jí)境界，Kevin毫無(wú)疑問(wèn)已經(jīng)達(dá)到了極高的境界。

社交

總的來(lái)說(shuō)Kevin是個(gè)非常nerdy的人，但是他卻非常熱衷于讓我們參加他的“學(xué)術(shù)圈子”的社交活動(dòng)。例如每次去開會(huì)，如果他的導(dǎo)師Noah Smith也來(lái)參會(huì)，他們就會(huì)找個(gè)酒吧組織一個(gè)大型的Noah’s Ark party。在里面和大家談笑風(fēng)生還是很愉快的。

疫情期間，Kevin特別熱衷于組織Zoom social，一直組織和各個(gè)學(xué)校的NLP組社交+討論，豐富了宅家的生活。

“佛系青年”

我認(rèn)為Kevin在某種程度上是個(gè)“佛系青年”。他似乎也不著急著發(fā)paper，也不催他的學(xué)生干活，一切都是順其自然地發(fā)展著。

“白左”

Kevin的身上有很多“白左”的特征。事實(shí)上“白左”可能不是一個(gè)正確的標(biāo)簽，我這里主要是想要強(qiáng)調(diào)他是一個(gè)非常注重禮貌的人。

每當(dāng)有人向他提出一個(gè)問(wèn)題，無(wú)論這個(gè)問(wèn)題的本身有多么無(wú)聊，他都會(huì)給出非常詳細(xì)的解釋。我聽一個(gè)同學(xué)說(shuō)他當(dāng)年在Kevin的考試中某個(gè)問(wèn)題上隨便寫了個(gè)答案，結(jié)果Kevin非常認(rèn)真地研讀了他的答案，給了很長(zhǎng)的評(píng)論，最終表示自己沒(méi)有看懂這位同學(xué)的解法，給了個(gè)1分（應(yīng)該是個(gè)很大的簡(jiǎn)答題吧）。認(rèn)真程度可見(jiàn)一斑。

每周的開會(huì)結(jié)束之后，即便我這一周工作量很小，只是與Kevin隨意扯research，他也必定會(huì)說(shuō)“Thanks Zewei for the updates. There are so many interesting things going on with your research. I think it's promising. I am optimistic.” 各種溢美之詞讓我聽了都不好意思。每當(dāng)提交一篇論文，Kevin又必定會(huì)說(shuō)，”Congratulations for this great submission! Thanks Zewei for the work.” 仿佛論文中不中都不重要，我們自己開心就好 ：）

口頭禪

“This is interesting. ” 據(jù)說(shuō)interesting翻譯成中文是“呵呵”。不過(guò)Kevin總是能把他的“interesting”說(shuō)出更高的境界。例如，他總是在interesting過(guò)后加上一段很長(zhǎng)的評(píng)論，表示為什么這件事情很”interesting”。

總結(jié)

Kevin寫任何文章總是有一個(gè)“conclusion”，所以我這里也繼承一下他的衣缽。我覺(jué)得Kevin其實(shí)代表了一大類美國(guó)研究者的風(fēng)格。整個(gè)人非常一絲不茍，工作方式非常professional，對(duì)于學(xué)生“似乎毫無(wú)要求”、學(xué)術(shù)放養(yǎng)。從某種程度上來(lái)說(shuō)這是北美比較寬松的學(xué)術(shù)氛圍導(dǎo)致的，大部分教授和學(xué)生并沒(méi)有特別巨大的發(fā)論文壓力，所以他們更有興趣研究一些他們認(rèn)為有意義的問(wèn)題，而不是湊夠文章好升遷。我在和國(guó)內(nèi)同行交流的時(shí)候，發(fā)現(xiàn)很多人會(huì)問(wèn)芝加哥大學(xué)有什么畢業(yè)要求，需要發(fā)幾篇論文。事實(shí)上很多美國(guó)的學(xué)校根本就是沒(méi)有論文要求的，甚至有不少人發(fā)了0篇論文直接畢業(yè)。這種寬松的制度對(duì)于科研的長(zhǎng)期發(fā)展孰優(yōu)孰劣，我就不好評(píng)判了。

褚則偉

9/14/2020