實驗室一塊GPU都沒有！怎么做深度學習？

正好刷到知乎上有個相對極端情況的問題，這里分享一下幾位大佬的回答，希望對需要的人有所幫助！

PS：實驗室之間"貧富差距"過大，有的是給學生配中高端游戲本+多卡服務器；有的啥都沒有，還讓學生搞深度學習...在此呼吁一些導師：GPU可以不管飽，但起碼得有吧。

實驗室一塊GPU都沒有怎么做深度學習

試沒錯，一塊GPU都沒有，今年突然新研一的學生都要搞深度學習了，老師還催著有想法實現(xiàn)一下，硬件都沒有如何實現(xiàn)呢

作者：目楽
https://www.zhihu.com/question/299434830/answer/1329278982

Google colab應該是非常不錯的選擇，長期免費，褥資本主義羊毛，我們絕不手軟2333，下面是一個非常簡單的三步上手使用教程

首先是介紹（甚至可以跳過）：

它的配置大概是15g硬盤（Google drive的云空間）當然各種庫文件是不算在內(nèi)的，你可以把它理解成一個數(shù)據(jù)存儲空間，內(nèi)存大概是12gb左右，gpu目前有4種，p100，T4，P4，K80，內(nèi)置tensorflow以及pytorch的完整庫文件，如果想用其他深度學習庫，一個pip就可以搞定，基本可以滿足大部分項目或者比賽的使用體驗。

比如之前參加的，情緒識別比賽，數(shù)據(jù)集大概是10w條文本，使用bert之類的超大預訓練模型，也能保證正常運算，不至于內(nèi)存外存溢出，顯存也是8gb-16gb不等

對于colab使用其實只需三個步驟就可以輕松上手：

使用前的必備條件：

一個可以上Google的工具，這里的工具一般有按時間計費還有按流量計費（當然也有各種免費的）我推薦用流量計費的工具比較劃算。

Google賬號，這個有手機有上一個工具就行。

1. 創(chuàng)建一個colab文件

https://drive.google.com/drive/my-drive

進入Google云盤后

如上圖所示，紅框是新建文件（比如colab文件）綠框是對已有文件，共享文件之類的查看，黃框是儲存空間顯示，藍框是存儲空間文件可視化。

在使用上，點擊之前圖里的新建，然后點擊更多，再點擊colab就可以新建文件了，當然如果是第一次使用，可能存在colab選項不顯示的情況，點擊關聯(lián)更多應用即可。

點擊colab選項后會跳轉到該頁面，它與jupyter基本一模一樣，黃框是輸入代碼段，綠框是連接服務器，白框是文件目錄，紅框是colab文件名，藍框是使用選項。

2. 配置colab環(huán)境（無需任何代碼）

使用第一步，選擇gpu，點擊前一張圖藍框里的修改，再點擊筆記本設置就可以配置gpu了。

藍框點擊選擇gpu即可

然后點之前綠框的連接即配置好環(huán)境

點擊圖中紅框，再點擊藍框即可將Google drive的云空間連接起來

這時就有了drive文件夾

現(xiàn)在配置已經(jīng)全部完成

3. 簡單的上手與配置

既然已經(jīng)配置完了，那么就上手使用一下吧，看看我們配置的gpu會是哪一個

很幸運是P100，擁有16g顯存，這塊卡京東大概3w RMB。

這句其實就是把根目錄定位到drive下，這樣你的文件和你在Google drive頁顯示的是相同目錄

4. 后記

一些要點：

1. 如果不知道該寫一個什么樣的項目，下面這篇文章是一篇關于nlp當中情緒識別分類項目的實戰(zhàn)，代碼已放到github上，包括lstm，bert，xlnet等多種分類模型的使用。（路過別忘了點個贊，github加個star吧）

https://github.com/SuperpeakZhou/emotion_reg

2. 對于colab使用的一些竅門：

• 如果gpu不是p100而是k80，兩者計算速度還是有明顯差距的，可以選擇再新建一個colab文件，一般兩三次就可以開到p100了。

• 如果Google drive的云空間不夠了，建議不要買，因為真的很貴，你可以選擇更明智的方式，再弄一個Google賬號2333，因為drive互相分享文件是非常便捷的，且分享文件是不占據(jù)當前用戶存儲空間。

• 如果gpu資源用盡，基本上如果你天天使用10小時以上colab，可能就會面臨只能用cpu，gpu用完的場景，需要1天時間恢復，解決方案和上面一樣，再弄一個谷歌賬號。

具體想到就這些，之后再補充。

作者：snowhou
https://www.zhihu.com/question/299434830/answer/1231487151

你這一塊卡沒有做深度學習不太現(xiàn)實，最好說服你老師最好買幾張卡(1080ti)以上，畢竟也不是你一個人在用。這是其實是最劃算的方式，在網(wǎng)上無論是免費還是付費的資源，終究不是長遠之計，而且有一定的使用限制。爭取不到卡的話還是乘早棄坑吧，深度學習不用大量的卡"喂"，很難研究出什么東西。

分享下我自己的"卡"路，你可以參考下我的"貧民"歷程。

一開始有4塊1080，和師兄們一起用，當時剛開始入門，也就跑下 cs231n 和當時還是caffe 版本的 R-CNN，電腦系統(tǒng)太老了caffe總是出問題，也在網(wǎng)上用過服務器(國內(nèi)付費的，谷歌云的300美金，Colab 等)，也就隨便跑了跑。后來隨著 detectron 等的開源，發(fā)現(xiàn) 1080 顯存太小了，而且速度太慢，只能跑 VOC，跑 COCO 不太現(xiàn)實，一度很奔潰，想著是不是要換個方向。

以后對老師軟磨硬泡，加了臺 雙2080ti  的機器，終于可以跑 COCO 了，雖然訓練時間還是略長，不過已經(jīng)在接受范圍內(nèi)了。

后來機緣巧合下發(fā)現(xiàn)了些免費的平臺(百度 AIStudio等)，第一次用到 V100 ，爽過吸大麻。多注冊了幾個賬戶，終于不在擔心算力的問題，就這樣開始了升級打怪之路，跑跑論文代碼，打打比賽，好多任務都可以并行展開了，這時候就相當舒服了，沒有了算力的約束，成長起來也是很快的。假如沒有了這些免費平臺，怕不是要在入門的地方原地踏步了。

其實缺少算力還可以去企業(yè)實習，不過如果基本的 1080ti 都用不上，大概門都入不了，公司估計也進不去。所以還是最開始的話，盡早聯(lián)合你同屆同學說服老師買卡，不然還是乘早棄坑。自己學(無人指導) + 沒卡 = 天坑 ?，切記！

作者：Albertforgcn
https://www.zhihu.com/question/299434830/answer/1042475523

不知題主是碩士還是博士，作為一名末流雙一流B類高校土博，我來交流交流我的經(jīng)驗吧。先介紹背景，導師是軟件工程專業(yè)出身，主要在外面開公司做生意。所以實驗室別說是GPU，連一臺電腦都沒有。所有碩士博士自帶筆記本，只有去他公司實習的學生才能在公司用電腦。一開始導師叫我去給他做一個縱向項目，經(jīng)過我的分析，此項目工程性太強，用的都是成熟的技術，不太好寫SCI論文，況且甲方還要求幫他們寫SCI，此坑很深，我果斷通過我的人脈關系給導師介紹了個經(jīng)費為此項目兩倍的另外一個項目，但條件是放過我，我自己搞，導師同意了，但是也不會給我經(jīng)費支持，他就把此項目交給新來的一個博士學弟做。于是沒有其他雜事的干擾，我就自己研究深度學習。選這個方向是因為好發(fā)論文，我們的畢業(yè)要求是四篇SCI，其中有一篇必須中科院二區(qū)。沒有資源怎么辦，找資源唄。我同期一個博士，是其他研究所過來的，已經(jīng)有副高級職稱，比我年長很多，可稱之為老大哥。老大哥原來學的微電子，由于跨專業(yè)考的計算機，編程不是很熟練，沒關系啊，我熟練啊，他的實驗我就幫他寫代碼，他在他原單位就有一臺擁有著四塊RTX2080ti的計算機，我就借用著他的機器做實驗，當然他家人病了我也介紹了一些醫(yī)療上的人脈給他免費看病。另外，給我導師項目的那個人脈關系也是我的好兄弟，我?guī)退?lián)系了另一個學校讀博士，也幫他解決了一些家人工作安排的問題。他在另外一個研究所工作，有一臺2張rtx titan的機器可以給隨時用。有了這兩臺機器，我現(xiàn)在已經(jīng)中了一篇二區(qū)，還有兩篇一區(qū)在投，第四篇實驗也做完了，著手準備寫。總之，期間也通過人介紹認識了一些會寫文章的大牛，給予了充分的指導，寫論文的水平在穩(wěn)步提高。非常感謝在我科研道路上幫助過我的人，老大哥，好兄弟，還有幾位大牛都是我的人生導師，當然也包括我導師在內(nèi)，至少他沒有過多干涉我的研究方向和內(nèi)容，這點我也很感激他。

所以總結一下：

1、平時多積累人脈，力所能及的事能幫忙就幫忙，而且?guī)兔σ欢ㄒ獛脱┲兴吞康拿Γ皇清\上添花的忙。當然選擇幫忙的對象也很重要，這個就是另外一個話題了。

2、有啥樣的材料就做啥樣的菜。比如我借用的兩臺機器比不上有些大組幾十塊GV100的顯卡，我去參觀過，真的是一層樓都是顯卡。于是我選擇做的方向之一是如何在有限的計算資源下提高模型的準確率，也就是說要在保證準確率的條件下輕量化模型，這樣就不會用到太多的計算資源，雖然是有些被逼無奈。

3、跟導師談判一定要把對方當成商人，尤其是計算機專業(yè)，基本上都在外面有產(chǎn)業(yè)，你要是把他當老師來溝通，跟他講師德師風什么的，他會覺得你就是個SB。你要是跟他進行利益交換，只要不是個特別軸的導師，他基本上都會同意。所以切記不要用學生思維去想這件事，我們需要的是解決眼前的問題，盡快畢業(yè)，而不是在實驗室跟他撕逼。

4、大牛的指導很重要！很重要！很重要！很多東西你自己搞沒什么進展，但是經(jīng)過大牛給你點一下，一點就通。我最近正在拉關系套近乎，看能不能讓大牛給指點指點投頂會。怎么認識大牛且他愿意幫助你又是另外一個話題了。

5、最后的一點，搞科研智商情商都很重要，尤其是讀博士，就像是人的兩條腿，斷一條就一瘸一拐的走不順，斷兩條腿你就只能爬著走了。智商能夠幫助你抓住idea，做實驗，推公式；情商能夠幫助你獲得很多外圍資源和支持。

總之，現(xiàn)在讀了快三年了，一路下來很辛苦，還有家里的事情要處理權衡，尤其是第一篇論文投出去沒消息，第二篇論文被大牛批評的體無完膚不斷修改沒有盡頭的時候，當時感覺真的是鄰近崩潰了，還好努力沒有白費，至少第一篇錄用了，后面不斷努力我相信也會水到渠成的。這是我的經(jīng)驗，和你分享分享。

作者：葉小飛
https://www.zhihu.com/question/299434830/answer/1709239142

看了很多大佬提出了如何白嫖云端GPU等巧妙的技巧，但我的建議是勒緊褲腰帶，給自己攢一個帶GPU的筆記本電腦。理由如下：

1. 科研雖然有老師帶領，但終究是給自己做的。你買了這筆記本電腦后可以隨時隨地寫深度學習代碼，訓練自己的模型（根據(jù)你的描述，我不認為你們實驗室的項目需要很強的算力，單塊性能不錯的GPU估計基本滿足），基本不受網(wǎng)絡、地理限制，能更快地推進自己科研進度，盡早出論文。

2. 鑒于你正處于深度學習入門階段，有一臺帶GPU的私人筆記本可以大大加速你的學習進度。一般入門者都會上一些深度學習的課程，許多課程設置的作業(yè)往往需要你至少有一塊GPU來完成。同時，由于這筆記本是你私人產(chǎn)物，你可以用來開發(fā)一些業(yè)余有趣的項目，參加Kaggle比賽等等，從長遠來看，它絕對會為你創(chuàng)造額外的價值。

3. 云端服務器一般用來做大規(guī)模的訓練，prototyping最好用的永遠是本地的機器。假設你發(fā)現(xiàn)代碼有問題，要一步步debug你的代碼，查看每個變量的內(nèi)存，結果你發(fā)現(xiàn)只能面對冰冷的沒有UI的console,或者卡的要死的云端VM，亦或者還要排隊等GPU資源，你會不會感到很抓狂？這就是為什么在知名的實驗室或者大廠里，標配是人手一個帶著Gpu的workstation做算法原型 + 大型的gpu cluster做大規(guī)模訓練。

4. 之所以建議買筆記本而不是workstation, 主要是因為workstation體積太大，要么放到實驗室里用，要么放在家里用，使用場所受到很大的限制。而且目前來看筆記本的性能應該足以滿足你的需求。

寫在最后，當年我暑假在美國西北大學mHealth實驗室做科研的時候，實驗室里一塊GPU都沒有，我就是咬緊牙買了一臺MSI筆記本（自帶一塊1060），后來這筆記本立下了汗馬功勞，我有兩篇論文的實驗都是在上面跑出來的。

作者：張航
https://www.zhihu.com/question/299434830/answer/1693216384

這個問題，5年前我也想問。

還記得 CVPR 2015 開完會回來，感覺大家都在討論 deep learning，convolutional neural network，當時覺得應該試試。我就用網(wǎng)上開源的 LetNet 在筆記本上訓練了一下我們當時自己采集的數(shù)據(jù)集，結果完爆我們費盡心思手動設計的傳統(tǒng)方法。我當時就鼓動我老板，讓她給實驗室買個帶 GPU 的機器。結果她語重心長地說: "你看實驗室這些舊電腦，我之前給每一個 PhD 學生都配一臺電腦，結果沒過多長時間，大家都不用了，只用自己的筆記本，所以不要把錢花在硬件上"。我竟無言以對。。。

但是 Research 還是要做，我就一狠心買了個 Titan-Z GPU，大概花了博士一個月的工資，然后就有了下面這張圖：

那時候還沒有 eGPU，我就自己搞了個解決方案，用一個外置臺式機電源帶動 thunderbolt to PCIe 的轉接器。有了這些“裝備”之后，我就開始了調(diào)參的不歸路。

比較早入坑，16 年用 MatConvNet 復現(xiàn)了一下 ResNet ，然后用 ResNet 提了下 feature，比較容易水 paper。在 NVIDIA 實習的時候，聽說可以自己寫 proposal 向 NVIDIA 申請免費的 GPU，之后就每年都申請一塊，直到畢業(yè)。在發(fā)了幾篇 deep learning 的 paper 之后，我老板也開始換方向了，而且給組里的學弟們買了8卡的GPU Server（當時是我畢業(yè)前幫老板挑的機器，可惜自己沒有用到）。

很難想象，當初如果自己沒有自費買 GPU，現(xiàn)在我會在哪里，在做什么。如果客觀條件不好，盡量想辦法克服一下，機會要好好把握。

整理不易，點贊三連↓