Yann LeCun深度學(xué)習(xí)公開(kāi)課4萬(wàn)字筆記,125頁(yè)干貨都在這了

轉(zhuǎn)自：新智元

喜歡深度學(xué)習(xí)？最好的方法就是在線課程。 ? 這里推薦圖靈獎(jiǎng)得主、紐約大學(xué)教授Yann LeCun主講的在線課程。 ? 該課程最重要的優(yōu)點(diǎn)是，它集成了LeCun對(duì)深度學(xué)習(xí)的思考。通過(guò)這門(mén)課，學(xué)習(xí)者可以了解深度學(xué)習(xí)的現(xiàn)狀，特別是關(guān)于自監(jiān)督學(xué)習(xí)、挑戰(zhàn)、提議的解決方案和未來(lái)計(jì)劃。 ? 課程地址： https://www.youtube.com/playlist?list=PLLHTzKZzVU9e6xUfG10TkTWApKSZCzuBI ? 課程筆記下載（4W字word文檔）：

后臺(tái)回復(fù)：深度學(xué)習(xí)

要說(shuō)這門(mén)課主要的「缺點(diǎn)」？ ? 可能就是LeCun的教學(xué)風(fēng)格不像吳恩達(dá)那樣對(duì)學(xué)生友好，但過(guò)了一段時(shí)間，你就會(huì)漸漸習(xí)慣，而且回報(bào)遠(yuǎn)遠(yuǎn)大于成本。 ?

三選一，為什么選NYU的？

? 前一段時(shí)間開(kāi)始，我一直在尋找一個(gè)好的在線深度學(xué)習(xí)課程，最終選出的三門(mén)課包括： ? 紐約大學(xué)深度學(xué)習(xí)課程 SP21（Yann LeCun主講） 斯坦福大學(xué)深度學(xué)習(xí)課程 CS231N（李飛飛主講） Coursera 深度學(xué)習(xí)課程 （吳恩達(dá)主講） ? 當(dāng)然，這三門(mén)課都是無(wú)需多言的DL精品課程，主講人都是AI業(yè)界鼎鼎大名的計(jì)算機(jī)科學(xué)家，如果你有時(shí)間可以都學(xué)，但如果時(shí)間有限，就需要做出選擇。 ?

三大名家課程中，為什么選NYU的？

一個(gè)非常重要的原因就是，NYU的課程講了自監(jiān)督學(xué)習(xí)。 ? 上面這三門(mén)課，以及你在網(wǎng)上能找到的其他大部分課程，都包含了很多共同的內(nèi)容，比如反向傳播、CNN、RNN、GAN、Transformer、分類實(shí)例和一些實(shí)用技巧等。 ? 無(wú)論什么課程，你都會(huì)聽(tīng)到這些東西，只是可能教學(xué)風(fēng)格偏好不同。 ? 不過(guò)在大多數(shù)課程中，一般主要是講是監(jiān)督學(xué)習(xí)。 ? 而紐約大學(xué)的課程更專注于自監(jiān)督學(xué)習(xí)，Yann LeCun認(rèn)為，自監(jiān)督學(xué)習(xí)是AI未來(lái)的一個(gè)基本支柱。 ? ? 本課程有兩位導(dǎo)師，Yann LeCun本人和Alfredo Canziani分別專注于理論和實(shí)踐。Yann LeCun無(wú)需介紹，Alfredo是紐約大學(xué)的計(jì)算機(jī)科學(xué)的助理教授。 ? 該課程內(nèi)容非常廣泛，涵蓋了很多東西，大部分時(shí)間的深度也足夠。課程時(shí)長(zhǎng)大約50個(gè)小時(shí)，信息點(diǎn)密集。 ? 這是一場(chǎng)馬拉松，而不是一場(chǎng)短跑。 ? ? Alfredo為這門(mén)課開(kāi)了個(gè)Github頁(yè)面，里面有很多資源，包括一些超級(jí)有用的jupyter notebook和可運(yùn)行的代碼，并列出了為期15周的學(xué)習(xí)計(jì)劃。 ? ? 他甚至還對(duì)youtube視頻下的評(píng)論做了回應(yīng)。還有來(lái)自FAIR實(shí)驗(yàn)室（Facebook人工智能研究實(shí)驗(yàn)室）的客座講師，介紹他們?cè)贑V和NLP方面的最新工作。 ?

課程主題

課程的主題之一是處理不確定性的方法。 LeCun的觀點(diǎn)是，智能體的一個(gè)基本組成部分，是其做出良好預(yù)測(cè)的能力。 這需要一個(gè)世界模型，一個(gè)能夠接收世界狀態(tài)和行動(dòng)的模塊，并能預(yù)測(cè)世界的一些未來(lái)狀態(tài)。 ? 不過(guò)，建立這些模型的一個(gè)主要挑戰(zhàn)是，世界是隨機(jī)的，包含很多不確定性。一個(gè)典型的例子是墜落的鉛筆。如果把一支鉛筆直立在桌子上，讓它掉下來(lái)，無(wú)法預(yù)測(cè)它到底會(huì)落在哪里。 ? 現(xiàn)在我們對(duì)世界的狀態(tài)沒(méi)有完整的了解，所以無(wú)法做一個(gè)確定性的決定。在這些情況下，一個(gè)輸入有許多貌似合理的輸出。在世界的某個(gè)狀態(tài)之下，下一步可能跟著幾個(gè)可信的未來(lái)狀態(tài)之一。
? 那么，我們?cè)鯓硬拍茉谏疃葘W(xué)習(xí)中處理這個(gè)問(wèn)題 呢？這就是基于能量的模型所要解決的問(wèn)題。處理不確定性。更確切地說(shuō)，學(xué)習(xí)在不確定性下做良好的預(yù)測(cè)。 ? 而同樣重要的是，智能體應(yīng)該能夠主要通過(guò)觀察來(lái)學(xué)習(xí)這個(gè)世界模型，就像動(dòng)物所做的那樣，使用無(wú)標(biāo)簽的數(shù)據(jù)。這就是為什么自監(jiān)督學(xué)習(xí)如此重要的原因。 ? ? 標(biāo)簽來(lái)自于觀察。你預(yù)測(cè)下一個(gè)狀態(tài)，等待，下一個(gè)狀態(tài)出現(xiàn)，你就有了你的標(biāo)簽?；蛘吣汶[藏了一個(gè)句子的部分內(nèi)容，然后試圖預(yù)測(cè)作為標(biāo)簽的缺失單詞。 ? 根據(jù)LeCun的說(shuō)法，要處理不確定性，預(yù)測(cè)世界模型的最佳途徑，是用非反常的正則化方法訓(xùn)練的聯(lián)合嵌入架構(gòu)。如果你上了LeCun的這門(mén)課，就會(huì)理解為什么、怎么訓(xùn)練。 ? ? 這是2018年的一個(gè)項(xiàng)目。在這個(gè)項(xiàng)目中，智能體在像素空間中進(jìn)行預(yù)測(cè)，這要求對(duì)世界的學(xué)習(xí)表征必須包含很多細(xì)節(jié)，以便能夠預(yù)測(cè)一個(gè)完整的視頻幀。
相反，使用一個(gè)在表征空間中預(yù)測(cè)的世界模型會(huì)更好，因?yàn)楸碚骺臻g的維度更低，所以不必學(xué)習(xí)預(yù)測(cè)所有不相關(guān)的細(xì)節(jié)。 ? 另一個(gè)在課程中沒(méi)有提到的，是分層的JEPA模型（聯(lián)合嵌入預(yù)測(cè)架構(gòu)），這是LeCun提出的用于創(chuàng)建自主智能體的新建議。
新的智能體在表示空間中進(jìn)行預(yù)測(cè)，可以制定分層的行動(dòng)計(jì)劃，面向未來(lái)有更長(zhǎng)的計(jì)劃。但截至目前，這個(gè)方法（截至2022年），有很多挑戰(zhàn)。 ?

課程挑戰(zhàn)

LeCun試圖通過(guò)他的基于能量的框架來(lái)解釋事情，這可能有點(diǎn)令人困惑，至少在一開(kāi)始。 也有一些部分，他非常抽象地解釋事物，在一個(gè)正式的框架內(nèi)進(jìn)行定義，你必須耐心地跟上他的思路。 ? 在有一些講里，他為深度學(xué)習(xí)中的一些基本概念提供了數(shù)學(xué)證明。你可能喜歡，也可能不喜歡，取決于你對(duì)數(shù)學(xué)的興趣和能力。 ? 50個(gè)小時(shí)很長(zhǎng)，很難一口氣看完。有時(shí)不得不暫停，思考，做筆記，很多地方需要再重新看，才覺(jué)得足夠舒服。 ?

先修知識(shí)：需要懂點(diǎn)ML基礎(chǔ)和線代

本課程至少要了解機(jī)器學(xué)習(xí)和線性代數(shù)的基礎(chǔ)知識(shí)。 這方面的優(yōu)秀課程也不少，如吳恩達(dá)的機(jī)器學(xué)習(xí)課程和3Blue1Brown的線性代數(shù)課程。 麻省理工學(xué)院的Gilbert Strang的簡(jiǎn)明課程也是對(duì)線性代數(shù)的一個(gè)很好的高水平概述。 ? 另外，如果對(duì)反向傳播的工作原理有一些基本的了解，對(duì)于也是很有幫助的。3Blue1Brown也有一個(gè)關(guān)于反向傳播的簡(jiǎn)短說(shuō)明，他以非常直觀的方式解釋了整個(gè)過(guò)程。 ? 最后放上學(xué)習(xí)筆記。(包含大量的圖片，所以docx文件相當(dāng)大...)，筆記比較長(zhǎng)，無(wú)法在線查看。
筆記里邊有聽(tīng)課時(shí)對(duì)授課內(nèi)容的一些理解和推導(dǎo)。比如：

反向傳播算法的推導(dǎo)：


梯度的計(jì)算：


什么是殘差網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)為什么這么好用：


甚至，為了便于大家理解，還加入了動(dòng)圖：

課程筆記下載（4W字word文檔）：

后臺(tái)回復(fù)：深度學(xué)習(xí)