深度學(xué)習(xí)的四個(gè)學(xué)習(xí)階段！
階段1：入門級(jí)
入門級(jí)能夠掌握以下技能：
能夠處理小型數(shù)據(jù)集 理解經(jīng)典機(jī)器學(xué)習(xí)技術(shù)的關(guān)鍵概念 理解經(jīng)典網(wǎng)絡(luò)DNN、CNN和RNN
數(shù)據(jù)處理
在入門級(jí)使用的數(shù)據(jù)集很小，可以放入主內(nèi)存中。只需幾行代碼即可應(yīng)用此類操作。在此階段數(shù)據(jù)包括Audio、Image、Time-series和Text等類型。
經(jīng)典機(jī)器學(xué)習(xí)
在深入研究深度學(xué)習(xí)之前，學(xué)習(xí)基本機(jī)器學(xué)習(xí)技術(shù)是一個(gè)不錯(cuò)的選擇，其包括回歸、聚類、SVM和樹(shù)模型。
網(wǎng)絡(luò)
掌握常見(jiàn)的網(wǎng)絡(luò)層，以及相應(yīng)的神經(jīng)網(wǎng)絡(luò)；GAN、AE、VAE、DNN、CNN、RNN 等等。在入門階段，可以優(yōu)先掌握DNN、CNN和RNN。
理論
沒(méi)有神經(jīng)網(wǎng)絡(luò)就沒(méi)有深度學(xué)習(xí)，沒(méi)有（數(shù)學(xué)）理論就沒(méi)有神經(jīng)網(wǎng)絡(luò)。可以通過(guò)了解數(shù)學(xué)符號(hào)來(lái)開(kāi)始學(xué)習(xí)，可以從矩陣、線性代數(shù)和概率論開(kāi)始你的學(xué)習(xí)。
階段2：進(jìn)階水平
進(jìn)階和入門級(jí)之間沒(méi)有真正的分界，進(jìn)階水平能夠處理更大的數(shù)據(jù)集，能夠使用高級(jí)網(wǎng)絡(luò)處理自定義項(xiàng)模型：
處理更大的數(shù)據(jù)集 能夠自定義模型完成任務(wù) 網(wǎng)絡(luò)模型精度變得更好
數(shù)據(jù)處理
能夠處理幾GB的數(shù)據(jù)集，需要自定義數(shù)據(jù)擴(kuò)增方法和數(shù)據(jù)處理函數(shù)。
自己完成任務(wù)
能夠根據(jù)具體任務(wù)完成代碼的開(kāi)發(fā)，而不是參考MNIST的教程完成編碼。
自定義網(wǎng)絡(luò)
處理自定義項(xiàng)目時(shí)，如何處理數(shù)據(jù)數(shù)據(jù)？如何定義自己的網(wǎng)絡(luò)層？
模型訓(xùn)練
掌握遷移學(xué)習(xí)的思路，學(xué)會(huì)使用預(yù)訓(xùn)練權(quán)重完成新任務(wù)。并掌握凍結(jié)部分網(wǎng)絡(luò)層的方法。
深度學(xué)習(xí)理論
掌握深度學(xué)習(xí)模型的正向傳播和反向傳播，特別是鏈?zhǔn)角髮?dǎo)法則。掌握激活函數(shù)和目標(biāo)函數(shù)的作用，能夠選擇合適的激活函數(shù)和目標(biāo)函數(shù)。
階段3：熟練水平
與進(jìn)階相比你需要掌握更加的數(shù)據(jù)集處理方法，并掌握加速模型訓(xùn)練的方法：
大規(guī)模數(shù)據(jù)的處理和存儲(chǔ) 網(wǎng)絡(luò)模型的調(diào)參 無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)
數(shù)據(jù)處理
需要掌握幾百GB數(shù)據(jù)集的處理，學(xué)會(huì)Linux的操作。此階段可能接觸到多模態(tài)任務(wù)。
無(wú)監(jiān)督項(xiàng)目
開(kāi)始嘗試無(wú)監(jiān)督網(wǎng)絡(luò)模型的搭建，如自編碼器和GAN模型，能夠掌握模型原理。
模型訓(xùn)練
掌握模型調(diào)參的方法和常見(jiàn)的日志和可視化工具，如TensorBoard的使用。掌握學(xué)習(xí)率的調(diào)節(jié)方法，如余弦退火。掌握多機(jī)和混合精度訓(xùn)練。
階段4：專家級(jí)
掌握前沿的學(xué)術(shù)模型的發(fā)展，知道自己的興趣是什么，并能提出新的模型：
學(xué)會(huì)使用JAX或DALI處理數(shù)據(jù) 熟悉圖神經(jīng)網(wǎng)絡(luò)和Transformer模型
本文在原文基礎(chǔ)上進(jìn)行了精簡(jiǎn)，原文鏈接：https://towardsdatascience.com/a-guide-to-the-field-of-deep-learning-9bb9b21dae2
End
聲明：部分內(nèi)容來(lái)源于網(wǎng)絡(luò)，僅供讀者學(xué)術(shù)交流之目的。文章版權(quán)歸原作者所有。如有不妥，請(qǐng)聯(lián)系刪除。