【深度學(xué)習(xí)】實(shí)驗(yàn)室一塊GPU都沒有怎么做深度學(xué)習(xí)？
沒錯(cuò)，一塊GPU都沒有，今年突然新研一的學(xué)生都要搞深度學(xué)習(xí)了，老師還催著有想法實(shí)現(xiàn)一下，硬件都沒有如何實(shí)現(xiàn)呢？
比較早入坑，16 年用 MatConvNet 復(fù)現(xiàn)了一下 ResNet zhanghang1989/ResNet-Matconvnet，然后用 ResNet 提了下 feature，比較容易水 paper。在 NVIDIA 實(shí)習(xí)的時(shí)候，聽說可以自己寫 proposal 向 NVIDIA 申請免費(fèi)的 GPU，之后就每年都申請一塊，直到畢業(yè) (鏈接：GPU Grant Application)。在發(fā)了幾篇 deep learning 的 paper 之后，我老板也開始換方向了，而且給組里的學(xué)弟們買了8卡的GPU Server（當(dāng)時(shí)是我畢業(yè)前幫老板挑的機(jī)器，可惜自己沒有用到）。
很難想象，當(dāng)初如果自己沒有自費(fèi)買 GPU，現(xiàn)在我會在哪里，在做什么。如果客觀條件不好，盡量想辦法克服一下，機(jī)會要好好把握
https://www.zhihu.com/question/299434830/answer/1138597471
我自己實(shí)驗(yàn)室是一點(diǎn)點(diǎn)積累買GPU的，拿不到國家課題就做企業(yè)課題，然后用來給學(xué)生買GPU，電腦，內(nèi)存，磁盤，保證本科+研究生20多人的計(jì)算能力。AI計(jì)算的話：一臺雙卡2080ti主力計(jì)算工作站，4臺2080或者2070S的GPU，研究生人均一臺，本科一個(gè)團(tuán)隊(duì)一臺。平常跑不滿，如果有外面合作的學(xué)生也會借給他們用，如果有交集，可以科研論文合作。
下一步打算：對合作型聯(lián)合的熱愛科研的學(xué)生，如果自己導(dǎo)師沒有出論文經(jīng)費(fèi)的我會幫他們出。當(dāng)然條件也是要求：他除了要完成自己的論文也要多做些工作，如果愿意的話，支持下學(xué)生也沒問題。如果有這方面需求愿意合作，可以私信我。
https://www.zhihu.com/question/299434830/answer/1138460434
建議研究一些可解釋性的相關(guān)問題。
大家都是從濾波器的角度解釋卷積核，那么怎么能知道是否說的是對的呢？是不是可以取100張貓和100張狗，模型設(shè)置為一層feature map為10的3*3卷積+全局pool，訓(xùn)練到過擬合。看看哪幾個(gè)維度會預(yù)測到貓，哪幾個(gè)維度會預(yù)測到狗，再看看這10個(gè)卷積核長什么樣，分析一下原圖過了這些卷積核到底獲得了什么特征。
再比如，CNN在經(jīng)過圖像旋轉(zhuǎn)、平移、放縮等增強(qiáng)方法之后是可以具有相應(yīng)的不變性的。那么它到底是怎么獲得這種不變性的呢？是利用不同的feature map映射到最后輸出向量中不同的維度，還是最后會映射到相同維度呢？
再進(jìn)一步，行人重識別任務(wù)中有很多用度量學(xué)習(xí)的方法，兩張差異很大的圖片過同一個(gè)模型可以得到比較近似的向量，那么這些模型是怎么獲取特征并怎么映射的呢？
這些問題其實(shí)是我一直思考沒想出答案，但也沒去做實(shí)驗(yàn)的。因?yàn)槲矣蠫PU，平時(shí)搭模型、調(diào)參的工作做多了，就沒有太大動(dòng)力去研究這些有意思的問題了。
https://www.zhihu.com/question/299434830/answer/1231487151
一開始有4塊1080，和師兄們一起用，當(dāng)時(shí)剛開始入門，也就跑下 cs231n 和當(dāng)時(shí)還是caffe 版本的 R-CNN，電腦系統(tǒng)太老了caffe總是出問題，也在網(wǎng)上用過服務(wù)器(國內(nèi)付費(fèi)的，谷歌云的300美金，Colab 等)，也就隨便跑了跑。后來隨著 detectron 等的開源，發(fā)現(xiàn) 1080 顯存太小了，而且速度太慢，只能跑 VOC，跑 COCO 不太現(xiàn)實(shí)，一度很奔潰，想著是不是要換個(gè)方向。
以后對老師軟磨硬泡，加了臺 雙2080ti ?的機(jī)器，終于可以跑 COCO 了，雖然訓(xùn)練時(shí)間還是略長，不過已經(jīng)在接受范圍內(nèi)了。
后來機(jī)緣巧合下發(fā)現(xiàn)了些免費(fèi)的平臺(百度 AIStudio等)，第一次用到 V100 ，爽過吸大麻。多注冊了幾個(gè)賬戶，終于不在擔(dān)心算力的問題，就這樣開始了升級打怪之路，跑跑論文代碼，打打比賽，好多任務(wù)都可以并行展開了，這時(shí)候就相當(dāng)舒服了，沒有了算力的約束，成長起來也是很快的。假如沒有了這些免費(fèi)平臺，怕不是要在入門的地方原地踏步了。
其實(shí)缺少算力還可以去企業(yè)實(shí)習(xí)，不過如果基本的 1080ti 都用不上，大概門都入不了，公司估計(jì)也進(jìn)不去。所以還是最開始的話，盡早聯(lián)合你同屆同學(xué)說服老師買卡，不然還是乘早棄坑。自己學(xué)(無人指導(dǎo)) + 沒卡 = 天坑 ?，切記！
https://www.zhihu.com/question/299434830/answer/1016932439
然后心一橫 我就用我的四核8GBMacBook慢慢跑吧 train一次一天 validate 6個(gè)小時(shí)，我就這樣堅(jiān)持了一個(gè)月把作業(yè)寫完了。
https://www.zhihu.com/question/299434830/answer/1071679101
2、然后利用好你自己的時(shí)間: 貌似現(xiàn)在道聽途說一般的結(jié)論是GPU比CPU提速10倍左右。大家想想，訓(xùn)練一個(gè)模型，本來要CPU跑10個(gè)小時(shí)，結(jié)果買了GPU只用1一個(gè)小時(shí)，但是節(jié)約來的9個(gè)小時(shí)里面一半浪費(fèi)在了看知乎上（說你呢！），另一半浪費(fèi)在了刷微信上。本屌最近跑些NLP方面的東西，東西不是特別大，Ubuntu筆記本裝了OpenMPI可以四個(gè)線程一起跑，也比單核CPU快一倍左右，基本上白天先把模型設(shè)置好，跑上3~4個(gè)Epoch看看效果，然后在晚上睡覺之前開始跑個(gè)20-30個(gè)循環(huán)，第二天早上怎么也都好了。
3、最后設(shè)計(jì)好數(shù)據(jù)結(jié)構(gòu): 另外其實(shí)數(shù)據(jù)預(yù)處理的好，用簡便的方法存在內(nèi)存里面，也是可以提升不少效率的。
作者：runner time
https://www.zhihu.com/question/299434830/answer/1099500820
不如買塊游戲顯卡打游戲去。
哦，其實(shí)游戲顯卡也是可以搞深度學(xué)習(xí)的，圖靈架構(gòu)顯卡的CUDA計(jì)算力高達(dá)7.0，只要1500元一塊，你值得擁有！
往期精彩回顧
適合初學(xué)者入門人工智能的路線及資料下載 (圖文+視頻)機(jī)器學(xué)習(xí)入門系列下載 機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印 《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯
機(jī)器學(xué)習(xí)交流qq群955171419，加入微信群請掃碼