有沒有人可以一個人在家發(fā)表 AI 頂會論文？

波爾德回答：

當(dāng)然可以。其實吧，很多苦逼碩士/博士/博后都是在獨自憋論文。

你以為的AI科研：巨佬導(dǎo)師每周親自輔導(dǎo)，傳授獨門知識經(jīng)驗；導(dǎo)師給你的題目眼光毒辣，是一座金礦，隨便一劃拉就能出文章；同門之間緊密合作，每周都有頭腦風(fēng)暴和paper reading，碰撞出思維的火花；滿世界開會，和同行談笑風(fēng)生；課題組人均八張A100，沒見過小于4096的batch size；你的導(dǎo)師能搞定審稿人甚至chair；你的課題組就是你領(lǐng)域的最前沿，你在推特上每推一篇新的arxiv就會有同行跟進(jìn)。

實際上大部分人的科研：你導(dǎo)師拿到終身教職之后就懶得卷了，放羊，你干的事他不清楚，也懶得問；導(dǎo)師給你的課題里有巨坑，你毫不意外掉了進(jìn)去，費勁吧啦爬了上來，并且思索怎么把這鬼東西填上；組里每個人都在干完全不搭嘎的題目，只能在吐槽審稿人和討論附近哪家土耳其烤肉好吃的時候說到一起去；因為corona，你已經(jīng)好幾年沒出差開過會了；你的臺式機只有一張10GB左右的顯卡，在公共cluster排隊的時間遠(yuǎn)超過使用時間本身，你甚至自費買卡；你被審稿人傷害并且無能狂怒；你啥也不是，沒有人認(rèn)識你，你精心打造的research gate訪問量為零。

你看，跟在家自己憋其實區(qū)別不大。

艸，我為什么會這么熟練。

kai.han回答：

有啊，比如計算機視覺timm庫作者Ross Wightman，長達(dá)9年多的自由職業(yè)，在此期間他不僅構(gòu)建了timm庫，還參與了How to train your ViT、ResNet Strikes Back等著名論文。看他簡歷，還是個天使投資人，應(yīng)該有億點點錢吧。

Yan回答：

想到了我一位學(xué)長業(yè)余時間弄的一篇，發(fā)在了CVPR22。

丁霄漢（清華博士 騰訊AILab高級研究員）回答：

可以的。如果假設(shè)題主能想出idea的話，那么只要一臺機器四張卡（四張2080Ti/3080帶平臺，整臺機器也就五到十萬吧），一年幾萬塊錢的電費就可以。

最大的問題是在沒有人帶路的情況下，idea立意、實驗技能和寫作技巧的提升都需要時間。被拒兩三次，總共花費一到兩年以后，自己的綜合水平達(dá)到頂會的門檻上下時，再投幾次應(yīng)該就有機會了。

RunningVegeDog回答：

之前在字節(jié)的時候，業(yè)余時間水了一篇cvpr2020。卡是用的公司的，合作者是讀研時期的師兄，指導(dǎo)我的是style2paints的lvmin zhang，算是網(wǎng)友吧，至今還沒有線下見過面。

最近從騰訊離職以后，借著做副業(yè)的公司的卡又做了一些工作，準(zhǔn)備把論文寫出來，投到大家都知道是哪個但是出于雙盲原則我不能說的會議。有興趣可以去github關(guān)注一下，如果中了有可能開源代碼或者模型(或者搞個網(wǎng)頁api)：

CPAPCF回答：

我跟人合作的，自己solo author的，多線并行什么都不耽誤。有點cs基礎(chǔ)的人都該知道pipelining和多線并行才是掩蓋延遲和機會成本的黃金手段。

我chair還每天都在對著我嘆氣，就不能多掰點給咱本系的人合作synergetic collab嘛。我說咱招學(xué)生都知道的鐵律：disappointments are always disappointments爛泥扶不上墻，PI照樣同理，打游戲菜是原罪，學(xué)術(shù)界蠢是原罪。跟絕大部分沒那腦子的人合作還不如自己做完早發(fā)了，哪怕想帶資進(jìn)組co-PI的人干不了活也是累贅。我說作為從俺們以前那組出來的人，we can never make sense of or sympathize with poverty-stricken PIs.

Jin.Carlo回答：

在家9個月的博士生來回答，當(dāng)然是可以了。可以遠(yuǎn)程操控學(xué)校的工作站啊。平常大概用2-4塊GPU就夠了(目標(biāo)檢測方向）。

在學(xué)校和在家都差不多，工作日除了吃喝拉撒就是科研，周末多了個打球外也是科研。在家伙食更好，奶茶，披薩，火鍋想吃就吃。有什么討論線上進(jìn)行。

休閑與忙碌看心情，想閑的話就一天只干一小時以內(nèi)，想忙碌的話一天15個小時。不強迫自己趕工，有時一整天下來除了測結(jié)果與開新實驗就沒有別的。不過我認(rèn)為思考也是要占時間的，而且思考可以占科研的大部分時間。有的新思想火花是有效的，也有的是不切實際的臆想。

很難定義什么是工作效率。效率并不是看一天改了多少代碼，寫了多少論文。有時一整天的思考即便沒有產(chǎn)生任何現(xiàn)實收益，但積累下來也可能將研究工作推向一個新的高度。

有人可能比較好奇，2-4塊GPU (RTX 3090)能做目標(biāo)檢測？我認(rèn)為這個設(shè)備配置是剛剛好的。

首先，目標(biāo)檢測的兩大通用benchmark是PASCAL VOC和MS COCO。前者使用VOC 07+12訓(xùn)練協(xié)議含訓(xùn)練集16551張圖像，測試集4952張圖像。后者一般使用coco 2017 train的118K訓(xùn)練集，以及5K張圖像的2017 val來驗證。

主干網(wǎng)絡(luò)使用ResNet-50-FPN，使用FCOS，雙3090訓(xùn)練voc，只需一小時出頭的時間，訓(xùn)練ms coco需要8~9小時。而且還有minicoco可以使用，時間可以縮短至2小時以內(nèi)。并且，得益于3090的顯存，訓(xùn)練所用batchsize也可以調(diào)至默認(rèn)設(shè)置16。因此，這樣的時長，足以快速驗證idea，并進(jìn)行大量的ablation。

雙卡的話，2小時一個結(jié)果，4卡的話2小時兩個結(jié)果。這空出來的2小時有利于我們分析實驗結(jié)果，思考下一步探索方向，完善背后理論，進(jìn)行多線操作。我試過使用12塊GPU，但也僅僅是在已經(jīng)探索出確定可行的方法后，進(jìn)行掃尾ablation時有效率，若是在前中期探索階段，效率反而有所下降。

第一，頻繁地開啟實驗，記錄實驗，不可避免就容易開啟大量的無效實驗。因為在設(shè)備過多時，人從心理上就會產(chǎn)生不要浪費的念頭，進(jìn)而在還沒有產(chǎn)生有希望的idea時就被迫開啟了實驗。這樣匆忙開啟實驗也容易開啟參數(shù)設(shè)置不對，代碼有bug的實驗。最終導(dǎo)致我們在錯誤的實驗上還要投入大量的腦力去分析，去思考，造成機器與人力雙浪費。

第二，使用較少的GPU，不僅可以增大有效實驗進(jìn)行的幾率，還可以有適度的時間思考，勞逸結(jié)合。

第三，小模型能成功的算法，多半在大模型上也能成功。算法的改進(jìn)，一般與網(wǎng)絡(luò)結(jié)構(gòu)大小無明顯關(guān)聯(lián)，只是有漲幅的高低區(qū)別。因此，在前中期探索階段，也無需在大模型，大規(guī)模數(shù)據(jù)集上懟算力。

文章轉(zhuǎn)載自知乎，著作權(quán)歸屬原作者。