男女成人免费视频在线播放,亚洲v欧洲v,北条麻妃黄色视频,亚洲大香香蕉网,伊人在线视频,大香蕉大香蕉视频影院,国产日产精品一区二区三区 ,美女操国产

Datawhale干貨

主講：Yann LeCun，整理：新智元

【新智元導(dǎo)讀】Yann LeCun大師課程，搭配120頁筆記食用效果更佳。

喜歡深度學(xué)習(xí)？最好的方法就是在線課程。

這里推薦圖靈獎(jiǎng)得主、紐約大學(xué)教授Yann LeCun主講的在線課程。

該課程最重要的優(yōu)點(diǎn)是，它集成了LeCun對深度學(xué)習(xí)的思考。通過這門課，學(xué)習(xí)者可以了解深度學(xué)習(xí)的現(xiàn)狀，特別是關(guān)于自監(jiān)督學(xué)習(xí)、挑戰(zhàn)、提議的解決方案和未來計(jì)劃。

課程地址：https://www.youtube.com/playlist?list=PLLHTzKZzVU9e6xUfG10TkTWApKSZCzuBI

要說這門課主要的「缺點(diǎn)」？

可能就是LeCun的教學(xué)風(fēng)格不像吳恩達(dá)那樣對學(xué)生友好，但過了一段時(shí)間，你就會漸漸習(xí)慣，而且回報(bào)遠(yuǎn)遠(yuǎn)大于成本。

三選一，為什么選NYU的？

前一段時(shí)間開始，我一直在尋找一個(gè)好的在線深度學(xué)習(xí)課程，最終選出的三門課包括：

紐約大學(xué)深度學(xué)習(xí)課程 SP21（Yann主講）

斯坦福大學(xué)深度學(xué)習(xí)課程 CS231N（李飛飛主講）

Coursera 深度學(xué)習(xí)課程（吳恩達(dá)主講）

當(dāng)然，這三門課都是無需多言的DL精品課程，主講人都是AI業(yè)界鼎鼎大名的計(jì)算機(jī)科學(xué)家，如果你有時(shí)間可以都學(xué)，但如果時(shí)間有限，就需要做出選擇。

三大名家課程中，為什么選NYU的？

一個(gè)非常重要的原因就是，NYU的課程講了自監(jiān)督學(xué)習(xí)。

上面這三門課，以及你在網(wǎng)上能找到的其他大部分課程，都包含了很多共同的內(nèi)容，比如反向傳播、CNN、RNN、GAN、Transformer、分類實(shí)例和一些實(shí)用技巧等。

無論什么課程，你都會聽到這些東西，只是可能教學(xué)風(fēng)格偏好不同。

不過在大多數(shù)課程中，一般主要是講是監(jiān)督學(xué)習(xí)。

而紐約大學(xué)的課程更專注于自監(jiān)督學(xué)習(xí)，Yann LeCun認(rèn)為，自監(jiān)督學(xué)習(xí)是AI未來的一個(gè)基本支柱。

本課程有兩位導(dǎo)師，Yann LeCun本人和Alfredo Canziani分別專注于理論和實(shí)踐。Yann LeCun無需介紹，Alfredo是紐約大學(xué)的計(jì)算機(jī)科學(xué)的助理教授。

該課程內(nèi)容非常廣泛，涵蓋了很多東西，大部分時(shí)間的深度也足夠。課程時(shí)長大約50個(gè)小時(shí)，信息點(diǎn)密集。

這是一場馬拉松，而不是一場短跑。

Alfredo為這門課開了個(gè)Github頁面，里面有很多資源，包括一些超級有用的jupyter notebook和可運(yùn)行的代碼，并列出了為期15周的學(xué)習(xí)計(jì)劃。

他甚至還對youtube視頻下的評論做了回應(yīng)。還有來自FAIR實(shí)驗(yàn)室（Facebook人工智能研究實(shí)驗(yàn)室）的客座講師，介紹他們在CV和NLP方面的最新工作。

課程主題

課程的主題之一是處理不確定性的方法。LeCun的觀點(diǎn)是，智能體的一個(gè)基本組成部分，是其做出良好預(yù)測的能力。這需要一個(gè)世界模型，一個(gè)能夠接收世界狀態(tài)和行動(dòng)的模塊，并能預(yù)測世界的一些未來狀態(tài)。

不過，建立這些模型的一個(gè)主要挑戰(zhàn)是，世界是隨機(jī)的，包含很多不確定性。一個(gè)典型的例子是墜落的鉛筆。如果把一支鉛筆直立在桌子上，讓它掉下來，無法預(yù)測它到底會落在哪里。

現(xiàn)在我們對世界的狀態(tài)沒有完整的了解，所以無法做一個(gè)確定性的決定。在這些情況下，一個(gè)輸入有許多貌似合理的輸出。在世界的某個(gè)狀態(tài)之下，下一步可能跟著幾個(gè)可信的未來狀態(tài)之一。

那么，我們怎樣才能在深度學(xué)習(xí)中處理這個(gè)問題呢？這就是基于能量的模型所要解決的問題。處理不確定性。更確切地說，學(xué)習(xí)在不確定性下做良好的預(yù)測。

而同樣重要的是，智能體應(yīng)該能夠主要通過觀察來學(xué)習(xí)這個(gè)世界模型，就像動(dòng)物所做的那樣，使用無標(biāo)簽的數(shù)據(jù)。這就是為什么自監(jiān)督學(xué)習(xí)如此重要的原因。

標(biāo)簽來自于觀察。你預(yù)測下一個(gè)狀態(tài)，等待，下一個(gè)狀態(tài)出現(xiàn)，你就有了你的標(biāo)簽?；蛘吣汶[藏了一個(gè)句子的部分內(nèi)容，然后試圖預(yù)測作為標(biāo)簽的缺失單詞。

根據(jù)LeCun的說法，要處理不確定性，預(yù)測世界模型的最佳途徑，是用非反常的正則化方法訓(xùn)練的聯(lián)合嵌入架構(gòu)。如果你上了LeCun的這門課，就會理解為什么、怎么訓(xùn)練。

這是2018年的一個(gè)項(xiàng)目。在這個(gè)項(xiàng)目中，智能體在像素空間中進(jìn)行預(yù)測，這要求對世界的學(xué)習(xí)表征必須包含很多細(xì)節(jié)，以便能夠預(yù)測一個(gè)完整的視頻幀。

相反，使用一個(gè)在表征空間中預(yù)測的世界模型會更好，因?yàn)楸碚骺臻g的維度更低，所以不必學(xué)習(xí)預(yù)測所有不相關(guān)的細(xì)節(jié)。

另一個(gè)在課程中沒有提到的，是分層的JEPA模型（聯(lián)合嵌入預(yù)測架構(gòu)），這是LeCun提出的用于創(chuàng)建自主智能體的新建議。

新的智能體在表示空間中進(jìn)行預(yù)測，可以制定分層的行動(dòng)計(jì)劃，面向未來有更長的計(jì)劃。但截至目前，這個(gè)方法（截至2022年），有很多挑戰(zhàn)。

課程挑戰(zhàn)

LeCun試圖通過他的基于能量的框架來解釋事情，這可能有點(diǎn)令人困惑，至少在一開始。也有一些部分，他非常抽象地解釋事物，在一個(gè)正式的框架內(nèi)進(jìn)行定義，你必須耐心地跟上他的思路。

在有一些講里，他為深度學(xué)習(xí)中的一些基本概念提供了數(shù)學(xué)證明。你可能喜歡，也可能不喜歡，取決于你對數(shù)學(xué)的興趣和能力。

50個(gè)小時(shí)很長，很難一口氣看完。有時(shí)不得不暫停，思考，做筆記，很多地方需要再重新看，才覺得足夠舒服。

先修知識：需要懂點(diǎn)ML基礎(chǔ)和線代

本課程至少要了解機(jī)器學(xué)習(xí)和線性代數(shù)的基礎(chǔ)知識。這方面的優(yōu)秀課程也不少，如吳恩達(dá)的機(jī)器學(xué)習(xí)課程和3Blue1Brown的線性代數(shù)課程。麻省理工學(xué)院的Gilbert Strang的簡明課程也是對線性代數(shù)的一個(gè)很好的高水平概述。

另外，如果對反向傳播的工作原理有一些基本的了解，對于也是很有幫助的。3Blue1Brown也有一個(gè)關(guān)于反向傳播的簡短說明，他以非常直觀的方式解釋了整個(gè)過程。

最后放上學(xué)習(xí)筆記。(包含大量的圖片，所以docx文件相當(dāng)大...)，筆記比較長，無法在線查看。

筆記里邊有聽課時(shí)對授課內(nèi)容的一些理解和推導(dǎo)。比如：

反向傳播算法的推導(dǎo)：