久久精品久久ai,成人内射生活片,中国学生妹做爱视频,一级A婬片试看2O分钟,夜夜干视频,一区二区三区四区精品久久,欧美日韩在线视频免费观看 ,操逼网站视频

CS230

轉(zhuǎn)自：機(jī)器之心

由吳恩達(dá)與 Kian Katanforoosh 指導(dǎo)的 CS230（深度學(xué)習(xí)）課程已經(jīng)結(jié)束并放出了課程資料。這一門(mén)課程結(jié)合 Coursera 課外教學(xué)與課內(nèi)教學(xué)展示了深度學(xué)習(xí)的基本概念與完整結(jié)構(gòu)，本文簡(jiǎn)要介紹了該課程及基本內(nèi)容。

課程地址：https://web.stanford.edu/class/cs230/

課程簡(jiǎn)介：深度學(xué)習(xí)是 AI 領(lǐng)域中最受歡迎的技能之一。這門(mén)課程將幫助你學(xué)好深度學(xué)習(xí)。你將學(xué)到深度學(xué)習(xí)的基礎(chǔ)，理解如何構(gòu)建神經(jīng)網(wǎng)絡(luò)，并學(xué)習(xí)如何帶領(lǐng)成功的機(jī)器學(xué)習(xí)項(xiàng)目。你將學(xué)到卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）、Adam 優(yōu)化器、Dropout 方法、BatchNorm 方法、Xavier/He 初始化方法等。你將在醫(yī)療、自動(dòng)駕駛、手語(yǔ)識(shí)別、音樂(lè)生成和自然語(yǔ)言處理等領(lǐng)域中進(jìn)行案例研究。你不僅能掌握理論，還能看到深度學(xué)習(xí)如何應(yīng)用到產(chǎn)業(yè)中。我們將需要使用 Python 和 TensorFlow 來(lái)實(shí)現(xiàn)所有的項(xiàng)目，課程中也會(huì)教這一部分。完成這門(mén)課程后，你將能以創(chuàng)新的方式將深度學(xué)習(xí)應(yīng)用到你的工作中。該課程是以翻轉(zhuǎn)課堂的形式教學(xué)的。你將先在家里觀看 Coursera 視頻、完成編程任務(wù)以及在線測(cè)驗(yàn)，然后來(lái)到課堂上做進(jìn)一步討論和完成項(xiàng)目。該課程將以開(kāi)放式的最終項(xiàng)目結(jié)束，教學(xué)團(tuán)隊(duì)會(huì)在過(guò)程中提供幫助。

CS230 采取課內(nèi)和 Coursera 在線課程相結(jié)合的形式，其中每一個(gè)課程的模塊都需要在 Coursera 上觀看視頻、做測(cè)試并完成編程作業(yè)。一周的課程約需要在 Cousera 上在線學(xué)習(xí)兩個(gè)模塊再加上 80 分鐘的課內(nèi)時(shí)間。

這門(mén)課程要求學(xué)生有一些背景知識(shí)，首先學(xué)生需要了解計(jì)算機(jī)科學(xué)基本原理與技能，并且能寫(xiě)合理、簡(jiǎn)潔的計(jì)算機(jī)程序。其次學(xué)生需要熟悉概率論與線性代數(shù)等基本的數(shù)學(xué)知識(shí)。

目前 CS230 的結(jié)課項(xiàng)目報(bào)告與 Poster 展示都已經(jīng)發(fā)布，包含多種主題，如音樂(lè)生成、情緒檢測(cè)、電影情感分類(lèi)、癌癥檢測(cè)等。課程報(bào)告和 Poster 前三名已經(jīng)公布：

報(bào)告第一名：Image-to-Image Translation with Conditional-GAN (Weini Yu, Jason Hu, Yujo Zhouchangwan Yu)

該報(bào)告使用條件生成對(duì)抗網(wǎng)絡(luò)（C-GAN）研究航空?qǐng)D圖像翻譯。參與者首先復(fù)現(xiàn)了 Isola 等人提出的 C-GAN 模型，然后探索了不同的網(wǎng)絡(luò)架構(gòu)、損失函數(shù)和訓(xùn)練策略。對(duì)不同模型進(jìn)行了定性和定量評(píng)估，得出結(jié)論：基于殘差的模型在僅使用 1000 個(gè)訓(xùn)練樣本的情況下得到了非常高質(zhì)量的圖像。

C-GAN 網(wǎng)絡(luò)架構(gòu)

生成器網(wǎng)絡(luò)架構(gòu)

報(bào)告第二名：Deep Knowledge tracing and Engagement with MOOCs (Klint Kanopka, Kritphong Mongkhonvanit, David Lang)

該報(bào)告利用深度知識(shí)追蹤網(wǎng)絡(luò)以及 MOOC 課程互動(dòng)協(xié)變量，計(jì)算學(xué)生的課程參與度，發(fā)現(xiàn)該方法能夠以超過(guò) 88% 的準(zhǔn)確率預(yù)測(cè)學(xué)生的下一個(gè)項(xiàng)目反應(yīng)。利用這些預(yù)測(cè)可以向?qū)W生提供針對(duì)性的干預(yù)，也可以對(duì)課程進(jìn)行針對(duì)性的改進(jìn)。

模型結(jié)構(gòu)

報(bào)告第三名：Deep Learning for Improving Power-Accuracy of Heart Rate Monitors (Albert Gural)

該報(bào)告利用深度學(xué)習(xí)方法解決從低采樣率 PPG 中確定心率以及如何確定運(yùn)動(dòng)偽影中的加速度計(jì)信號(hào)的問(wèn)題。

Poster 第一名：Painting Outside the Box: Image Outpainting with GANs (Mark Sabini, Gili Rusak)

Poster 第二名：LeafNet: A Deep Learning Solution to Tree Species Identification (Krishna Rao, Elena Herrero, Gabrielle Pacalin)

該 Poster 使用殘差網(wǎng)絡(luò)基于圖像對(duì)北美 185 個(gè)樹(shù)種進(jìn)行分類(lèi)。

Poster 第三名：Earthquake warning system: Detecting earthquake precursor signals using deep neural networks (Mustafa Al Ibrahim, Jihoon Park, Noah Athens)

該 Poster 對(duì) 1D CNN、2D CNN、RNN 的地震預(yù)測(cè)性能進(jìn)行了評(píng)估。

課程主要內(nèi)容

CS230 與吳恩達(dá)在 Coursera 上的深度學(xué)習(xí)專(zhuān)項(xiàng)課程一樣分 5 部分，即神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)、提升深度神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)項(xiàng)目的策略、卷積神經(jīng)網(wǎng)絡(luò)及序列模型。

在第一課中介紹了神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的基礎(chǔ)。主要在課堂內(nèi)介紹了深度學(xué)習(xí)的直觀概念，并借助兩個(gè)模塊從頭開(kāi)始學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)到底是什么。

其中第一課的第一個(gè)模塊 C1M1 主要從線性回歸與房?jī)r(jià)預(yù)測(cè)引出神經(jīng)網(wǎng)絡(luò)，并著重介紹了監(jiān)督式深度學(xué)習(xí)的基本概念。如下 C1M1 展示了基本神經(jīng)網(wǎng)絡(luò)的類(lèi)別：

其中標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)即我們常見(jiàn)的全連接網(wǎng)絡(luò)，它是最基礎(chǔ)也是最本質(zhì)的「神經(jīng)網(wǎng)絡(luò)式」層級(jí)表征方法。標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)單而言即后一層的單個(gè)神經(jīng)元接收前一層所有神經(jīng)元激活值的加權(quán)和，并判斷本神經(jīng)元是不是需要激活。而卷積網(wǎng)絡(luò)與全連接網(wǎng)絡(luò)最大的區(qū)別是后一層的神經(jīng)元只與前一層神經(jīng)元部分連接，且神經(jīng)元之間存在權(quán)重共享，這樣的神經(jīng)網(wǎng)絡(luò)減少了冗余參數(shù)，并有利于建模如圖像那樣有局部結(jié)構(gòu)的數(shù)據(jù)。最后的循環(huán)網(wǎng)絡(luò)又與前兩個(gè)前饋網(wǎng)絡(luò)不同，它在不同時(shí)間步上使用相同的神經(jīng)網(wǎng)絡(luò)函數(shù)，并每一個(gè)時(shí)間步都利用前面時(shí)間步的必要信息，這樣的網(wǎng)絡(luò)能有效處理自然語(yǔ)言等序列問(wèn)題。

隨后在 C1M2 中，該課程開(kāi)始具體介紹神經(jīng)網(wǎng)絡(luò)。當(dāng)然理解神經(jīng)網(wǎng)絡(luò)還是需要從 Logistic 回歸與感知機(jī)算法開(kāi)始，而最基礎(chǔ)的梯度下降與如何計(jì)算導(dǎo)數(shù)也是必須的。

如上所示為 Logistic 回歸的主要過(guò)程，我們先根據(jù)初始化的參數(shù)計(jì)算激活值 a，再根據(jù)預(yù)測(cè)值與標(biāo)注值之間的差距計(jì)算損失函數(shù)，最后推導(dǎo)損失函數(shù)對(duì)各參數(shù)的梯度就能使用梯度下降更新參數(shù)。

第二課介紹深度學(xué)習(xí)模型的內(nèi)部數(shù)學(xué)結(jié)構(gòu)，從淺層網(wǎng)絡(luò)逐步過(guò)渡到深度網(wǎng)絡(luò)，理解「深度」的重要意義。掌握了這些概念之后，對(duì)于如何從零開(kāi)始構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)，能有一個(gè)基本的思路。

然后是深度模型的優(yōu)化或調(diào)參技巧，例如初始化、正則化、數(shù)據(jù)集劃分、Dropout、歸一化、梯度檢查等，和各種經(jīng)典的學(xué)習(xí)率衰減方法，如動(dòng)量算法、Adam 等。

在 C1M3 中，吳恩達(dá)主要描述了感知機(jī)與神經(jīng)網(wǎng)絡(luò)的表征方法，這里仍需要推導(dǎo)大量的表達(dá)式。但只要理解了多層感知機(jī)的表達(dá)方法，那么深度全連接網(wǎng)絡(luò)與其它深度神經(jīng)網(wǎng)絡(luò)的理解就會(huì)變得容易得多。如下所示為感知機(jī)向量化的表達(dá)式，其中主要是將前一層激活值的加權(quán)和 z 表示為矩陣運(yùn)算。

若理解的感知機(jī)或淺層網(wǎng)絡(luò)的計(jì)算過(guò)程與表達(dá)式，那么深度前饋網(wǎng)絡(luò)的推斷過(guò)程就能輕松掌握。不過(guò)對(duì)于深度前饋網(wǎng)絡(luò)，另一個(gè)非常重要的過(guò)程是反向傳播。因?yàn)槟Ｐ蛥?shù)需要梯度才能更新，因此將根據(jù)損失函數(shù)計(jì)算出來(lái)的梯度反向傳遞到各個(gè)層級(jí)就非常有必要了。如下，C1M4 主要就介紹了這種反向傳播：

如上所示，當(dāng)我們根據(jù)損失函數(shù) L(y hat, y) 計(jì)算出最后一層的梯度，我們需要根據(jù)求導(dǎo)的鏈?zhǔn)椒▌t將梯度反向傳遞到前層。

此外，這一部分 C2M1 和 C2M2 分別介紹了深度學(xué)習(xí)的技巧與基本的最優(yōu)化方法。其中雖優(yōu)化方法從批量梯度下降和小批量梯度下降開(kāi)始到 Adam 最優(yōu)化方法介紹了基本的學(xué)習(xí)過(guò)程。如下是手推的小批量梯度下降，但我們更常見(jiàn)的稱(chēng)呼是隨機(jī)梯度下降。

小批量與批量的不同在于計(jì)算梯度的樣本比較少，一般是 32、64 等。這樣每一次迭代所需要的計(jì)算量就大大減少，且還能通過(guò)引入噪聲增加收斂結(jié)果的魯棒性。

第三課介紹結(jié)構(gòu)化機(jī)器學(xué)習(xí)項(xiàng)目?；A(chǔ)部分涉及超參數(shù)調(diào)整、批規(guī)一化方法等，以及深度學(xué)習(xí)框架（如 TensorFlow、PyTorch）的應(yīng)用。然后是機(jī)器學(xué)習(xí)策略，包括垂直化調(diào)參、評(píng)估指標(biāo)設(shè)置、數(shù)據(jù)集劃分等。

這一課會(huì)介紹如何在實(shí)際案例中應(yīng)用深度學(xué)習(xí)，Pranav Rajpurkar 將教你構(gòu)建醫(yī)療領(lǐng)域的深度學(xué)習(xí)應(yīng)用，即吳恩達(dá)團(tuán)隊(duì)開(kāi)發(fā)的 Chest X-Rays 項(xiàng)目。

在這個(gè)項(xiàng)目中，你將以 DenseNet 為骨干網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)對(duì)肺部 X 射線圖像的分類(lèi)（是否有肺炎）。其中涉及了數(shù)據(jù)集構(gòu)建、模型訓(xùn)練和模型評(píng)估等，可以體驗(yàn)深度學(xué)習(xí)產(chǎn)業(yè)化的完整過(guò)程。

在這一課的幾個(gè)模塊中，C3M1 和 C3M2 都介紹了機(jī)器學(xué)習(xí)中的策略。機(jī)器學(xué)習(xí)中的策略主要關(guān)注于如何訓(xùn)練模型，例如什么時(shí)候需要調(diào)整樣本數(shù)、怎么樣算過(guò)擬合以及度量方法等。這里最經(jīng)典的就是偏差與方差問(wèn)題，我們常常需要根據(jù)偏差與方差確定我們的模型到底出現(xiàn)了什么狀況，例如過(guò)擬合與欠擬合等。

其中高偏差代表擬合數(shù)據(jù)集的函數(shù)集合并不包含真正的那個(gè)，即偏離正確答案有點(diǎn)遠(yuǎn)。而高方差表示擬合數(shù)據(jù)集的函數(shù)集合確實(shí)包含了真正的那個(gè)，但這個(gè)函數(shù)集合太大了，以至于每次搜索的都不準(zhǔn)。

第四課介紹卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)主要用于處理空間型數(shù)據(jù)，如圖像、視頻等，因此在計(jì)算機(jī)視覺(jué)中應(yīng)用甚廣。在這一部分課程期間有一個(gè)期中測(cè)驗(yàn)，可以幫助你重溫之前學(xué)習(xí)過(guò)的內(nèi)容。

CNN 的基礎(chǔ)部分涉及卷積運(yùn)算、步幅、池化等，然后進(jìn)一步介紹了幾個(gè)經(jīng)典的 CNN 架構(gòu)，如 LeNet-5、AlexNet、VGG、ResNet、Inception 等。之后給出了幾個(gè) CNN 開(kāi)發(fā)過(guò)程中的建議，涉及遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)等。最后介紹了 CNN 領(lǐng)域的當(dāng)前研究現(xiàn)狀。

這一部分以目標(biāo)檢測(cè)應(yīng)用為主，詳細(xì)介紹了目標(biāo)檢測(cè)的整個(gè)工作流，并在最后以 YOLO 算法為例進(jìn)行整合。之后還介紹了一些特殊的應(yīng)用，例如人臉識(shí)別、神經(jīng)風(fēng)格遷移（畫(huà)風(fēng)遷移）等，其中神經(jīng)風(fēng)格遷移有更為詳細(xì)的工作流介紹。

在 C4M1 中，吳恩達(dá)重點(diǎn)介紹了 CNN 及各個(gè)模塊，包括卷積層、池化層、卷積步幅和 Padding 等。其中卷積層試圖將神經(jīng)網(wǎng)絡(luò)中的每一小塊進(jìn)行更加深入的分析，從而得出抽象程度更高的特征。一般來(lái)說(shuō)通過(guò)卷積層處理的神經(jīng)元結(jié)點(diǎn)矩陣會(huì)變得更深，即神經(jīng)元的組織在第三個(gè)維度上會(huì)增加。

以上展示了經(jīng)典的 LeNet-5 架構(gòu)，正如 LeCun 在 LeNet-5 原論文中所說(shuō)，卷積網(wǎng)絡(luò)結(jié)合了三種關(guān)鍵性思想來(lái)確保模型對(duì)圖像的平移、縮放和扭曲具有一定程度的不變性，這三種關(guān)鍵思想即局部感受野、權(quán)重共享和空間/時(shí)間子采樣。其中局部感受野表示卷積核只關(guān)注圖像的局部特征，而權(quán)重共享表示一個(gè)卷積核在整張圖像上都使用相同的權(quán)值，最后的子采樣即我們常用的池化操作，它可以精煉抽取的特征。

第五課介紹序列模型。序列模型主要用于處理序列型數(shù)據(jù)，如音樂(lè)、語(yǔ)音、文本等。序列模型主要以循環(huán)神經(jīng)網(wǎng)絡(luò)為代表，本課將介紹 RNN 的基礎(chǔ)結(jié)構(gòu)、類(lèi)型、計(jì)算過(guò)程等，并以語(yǔ)言建模作為典型案例進(jìn)行分析。之后是一些著名的 RNN 變體，例如 GRU、LSTM、雙向 RNN、深度 RNN 等。

這一部分先簡(jiǎn)單概述深度強(qiáng)化學(xué)習(xí)，然后開(kāi)始以自然語(yǔ)言處理和詞嵌入為主題，進(jìn)一步講解 RNN 的進(jìn)階應(yīng)用。詞嵌入是很多自然語(yǔ)言處理模型的基礎(chǔ)，這一部分以詞嵌入為主，強(qiáng)調(diào)了詞嵌入技術(shù)的遷移學(xué)習(xí)作用，然后介紹幾個(gè)經(jīng)典的詞嵌入模型，例如 Word2Vec、GloVe word vectors 等，最后以情感分類(lèi)作為應(yīng)用案例。

在 C5M1 中，吳恩達(dá)重點(diǎn)解釋了循環(huán)神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)是一類(lèi)用于處理序列問(wèn)題的神經(jīng)網(wǎng)絡(luò)，它可以擴(kuò)展到更長(zhǎng)的序列。循環(huán)網(wǎng)絡(luò)相比經(jīng)典的全連接網(wǎng)絡(luò)有非常大的提升，例如參數(shù)共享和構(gòu)建長(zhǎng)期依賴(lài)關(guān)系等。對(duì)于語(yǔ)句的序列建模，全連接網(wǎng)絡(luò)會(huì)給每個(gè)輸入特征分配一個(gè)單獨(dú)的參數(shù)，所以它需要分別學(xué)習(xí)句子每個(gè)位置的所有語(yǔ)言規(guī)則。而循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)在多個(gè)時(shí)間步內(nèi)共享相同的參數(shù)，因此不必學(xué)習(xí)句子每個(gè)位置的所有語(yǔ)言規(guī)則。此外，循環(huán)網(wǎng)絡(luò)會(huì)有一個(gè)記憶機(jī)制為當(dāng)前時(shí)間步的預(yù)測(cè)提供前面時(shí)間步的信息。