點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

編者薦語

上周五陽了，停更了幾天，之后會(huì)恢復(fù)每日更新，感謝大家的支持！

摘要

深度學(xué)習(xí)在科學(xué)計(jì)算領(lǐng)域得到了廣泛的應(yīng)用，其算法被解決復(fù)雜問題的行業(yè)廣泛使用。所有的深度學(xué)習(xí)算法都使用不同類型的神經(jīng)網(wǎng)絡(luò)來執(zhí)行特定的任務(wù)。本文為大家?guī)砘镜娜斯ど窠?jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)算法，并簡單講解它們?nèi)绾文M人腦工作。

什么是深度學(xué)習(xí)

深度學(xué)習(xí)是使用人工神經(jīng)網(wǎng)絡(luò)對大量數(shù)據(jù)進(jìn)行復(fù)雜的計(jì)算。

它是一種基于人腦結(jié)構(gòu)和功能的機(jī)器學(xué)習(xí)。

深度學(xué)習(xí)算法是通過從實(shí)例中學(xué)習(xí)來訓(xùn)練機(jī)器。

醫(yī)療保健、電子商務(wù)、娛樂和廣告等行業(yè)通常使用深度學(xué)習(xí)。

定義神經(jīng)網(wǎng)絡(luò)

Neural Networks，簡稱NN。針對機(jī)器學(xué)習(xí)算法需要領(lǐng)域?qū)＜疫M(jìn)行特征工程，模型泛化性能差的問題，提出了NN可以從數(shù)據(jù)的原始特征學(xué)習(xí)特征表示，無需進(jìn)行復(fù)雜的特征處理。

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)類似于人腦，由人工神經(jīng)元組成，也稱為節(jié)點(diǎn)。這些節(jié)點(diǎn)分為三層并排堆放：

1.輸入層

2.隱藏層

3.輸出層

數(shù)據(jù)以輸入的形式為每個(gè)節(jié)點(diǎn)提供信息。該節(jié)點(diǎn)將輸入與隨機(jī)權(quán)重相乘，計(jì)算它們，并添加一個(gè)偏差。最后，非線性函數(shù)，也稱為激活函數(shù)，被用來確定哪個(gè)神經(jīng)元激活。

其原理可以使用線性回歸理解：y=Wx+by=Wx+by=Wx+b

深度學(xué)習(xí)算法如何工作?

雖然深度學(xué)習(xí)算法的特點(diǎn)是自學(xué)習(xí)表示，但它們依賴于反映大腦計(jì)算信息方式的神經(jīng)網(wǎng)絡(luò)。在訓(xùn)練過程中，算法使用輸入分布中的未知元素來提取特征、分組對象并發(fā)現(xiàn)有用的數(shù)據(jù)模式。就像自學(xué)習(xí)的訓(xùn)練機(jī)器一樣，這在多個(gè)層次上發(fā)生，使用算法來建立模型。

深度學(xué)習(xí)模型使用了多種算法。雖然沒有一個(gè)網(wǎng)絡(luò)被認(rèn)為是完美的，但是一些算法適合執(zhí)行特定的任務(wù)。為了選擇正確的算法，最好對所有的主要算法有一個(gè)扎實(shí)的了解。

十大最受歡迎的深度學(xué)習(xí)的算法

Convolutional Neural Networks (卷積神經(jīng)網(wǎng)絡(luò)CNNs)

Long Short Term Memory Networks (長短期記憶網(wǎng)絡(luò)LSTMs)

Recurrent Neural Networks (遞歸神經(jīng)網(wǎng)絡(luò)RNNs)

Generative Adversarial Networks (生成對抗網(wǎng)絡(luò)GANs)

Radial Basis Function Networks (徑向基函數(shù)網(wǎng)絡(luò)RBFNs)

Multilayer Perceptrons (多層感知機(jī)MLPs)

Self Organizing Maps (自組織映射神經(jīng)網(wǎng)絡(luò)SOMs)

Deep Belief Networks (深度信念網(wǎng)絡(luò)DBNs)

Restricted Boltzmann Machines (受限玻爾茲曼機(jī)RBMs)

Autoencoders（自動(dòng)編碼器）

深度學(xué)習(xí)算法可以處理幾乎任何類型的數(shù)據(jù)，并且需要大量的計(jì)算能力和信息來解決復(fù)雜的問題。現(xiàn)在，讓我們深入研究一下排名前十的深度學(xué)習(xí)算法。

一、卷積神經(jīng)網(wǎng)絡(luò)CNN

卷積神經(jīng)網(wǎng)絡(luò)Convolutional Neural Networks, 簡稱CNN。

CNN也被稱為康維網(wǎng)，由多層組成，主要用于圖像處理和目標(biāo)檢測。楊 · 樂村在1988年發(fā)明了第一臺(tái) CNN，當(dāng)時(shí)它被稱為樂網(wǎng)。它被用來識(shí)別像郵政編碼和數(shù)字這樣的字符。

CNN 廣泛應(yīng)用于識(shí)別衛(wèi)星圖像、處理醫(yī)學(xué)圖像、預(yù)測時(shí)間序列和檢測異常。

CNN 是如何工作的？

CNN 有多個(gè)層次，從數(shù)據(jù)中處理和提取特征:

卷積層

有線電視新聞網(wǎng)有一個(gè)卷積層，有幾個(gè)過濾器執(zhí)行卷積操作。

整流線性單元

CNN 有一個(gè) ReLU 層來執(zhí)行對元素的操作。輸出是一個(gè)校正的特征映射。

共用層

經(jīng)過修正的特性映射接下來被提供到一個(gè)池層。池是一種減少特征映射維度的下采樣操作。

然后，匯聚層通過平坦化將匯聚的特征映射得到的二維數(shù)組轉(zhuǎn)換為單個(gè)、長的、連續(xù)的線性向量。

完全連接層

當(dāng)來自池層的平坦矩陣作為輸入時(shí)，形成一個(gè)完全連通的層，它對圖像進(jìn)行分類和識(shí)別。

下面是一個(gè)通過 CNN 處理的圖像的例子。

二、長短期存儲(chǔ)器網(wǎng)絡(luò)(LSTMs)

LSTM 是一種遞歸神經(jīng)網(wǎng)絡(luò)(RNN) ，可以學(xué)習(xí)和記憶長期的依賴關(guān)系。長時(shí)間回憶過去的信息是默認(rèn)行為。

LSTM 隨著時(shí)間的推移保留信息。它們在時(shí)間序列預(yù)測中很有用，因?yàn)樗鼈冇浀靡郧暗妮斎搿STM 具有鏈狀結(jié)構(gòu)，其中四個(gè)相互作用的層以獨(dú)特的方式進(jìn)行通信。除了時(shí)間序列預(yù)測，LSTM 通常用于語音識(shí)別、音樂創(chuàng)作和藥物開發(fā)。

LSTM 是如何工作的？

首先，他們忘記了先前狀態(tài)中不相關(guān)的部分
接下來，它們有選擇地更新單元格狀態(tài)值
最后，輸出單元格狀態(tài)的某些部分

下面是 LSTM 如何運(yùn)作的示意圖：

三、遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)

RNN 具有形成定向循環(huán)的連接，這允許將 LSTM 的輸出作為輸入饋入到當(dāng)前階段。

LSTM 的輸出成為當(dāng)前階段的輸入，并且由于其內(nèi)部存儲(chǔ)器，可以記憶以前的輸入。RNN 通常用于圖像字幕、時(shí)間序列分析、自然語言處理、手寫識(shí)別和機(jī)器翻譯。

展開的 RNN 看起來像這樣:

RNN 是如何工作的？

時(shí)間 t-1的輸出在時(shí)間 t 輸入。
類似地，時(shí)間 t 的輸出在時(shí)間 t + 1輸入。
RNN 可以處理任意長度的輸入。
計(jì)算考慮了歷史信息，模型大小不會(huì)隨著輸入大小的增加而增加。

下面是谷歌自動(dòng)完成功能的一個(gè)例子:

四、生成性對抗網(wǎng)絡(luò)(GAN)

GAN 是生成式深度學(xué)習(xí)算法，它創(chuàng)建類似于訓(xùn)練數(shù)據(jù)的新數(shù)據(jù)實(shí)例。GAN 有兩個(gè)組成部分: 一個(gè)生成器，學(xué)習(xí)生成虛假數(shù)據(jù)，一個(gè)鑒別器，學(xué)習(xí)從虛假信息。

GAN 的使用在一段時(shí)間內(nèi)有所增加。它們可以用來改善天文圖像和模擬暗物質(zhì)研究的引力透鏡效應(yīng)。視頻游戲開發(fā)者通過圖像訓(xùn)練，以4K 或更高的分辨率重新創(chuàng)建低分辨率、2D 紋理的舊視頻游戲，使用 GAN 來提升它們的分辨率。

GAN 有助于生成逼真的圖像和卡通人物，創(chuàng)建人臉照片，并渲染3D 物體。

GAN 是如何工作的？

鑒別器學(xué)習(xí)區(qū)分生成器的虛假數(shù)據(jù)和真實(shí)樣本數(shù)據(jù)。
在最初的訓(xùn)練過程中，生成器產(chǎn)生假數(shù)據(jù)，鑒別器很快學(xué)會(huì)辨別這些假數(shù)據(jù)。
GAN 將結(jié)果發(fā)送給生成器和鑒別器以更新模型。

下面是 GAN 如何運(yùn)作的示意圖:

五、徑向基函數(shù)網(wǎng)絡(luò)(RBFNs)

RBFN 是一種特殊類型的前饋神經(jīng)網(wǎng)絡(luò)，它使用徑向基函數(shù)作為激活函數(shù)。它們有一個(gè)輸入層、一個(gè)隱藏層和一個(gè)輸出層，主要用于分類、回歸和時(shí)間序列預(yù)測。

RBFN 是如何工作的？

RBFN 通過測量輸入與訓(xùn)練集中的例子的相似性來進(jìn)行分類。
RBF 神經(jīng)元有一個(gè)輸入向量供給輸入層，它們有一層 RBF 神經(jīng)元。
函數(shù)找到輸入的加權(quán)和，輸出層為每個(gè)類別或類別的數(shù)據(jù)有一個(gè)節(jié)點(diǎn)。
隱層中的神經(jīng)元包含高斯傳遞函數(shù)，其輸出與到神經(jīng)元中心的距離成反比。
網(wǎng)絡(luò)的輸出是輸入的徑向基函數(shù)和神經(jīng)元參數(shù)的線性組合。

看看這個(gè) RBFN 的例子:

六、多層感知器(mlp)

MLP 是開始學(xué)習(xí)深度學(xué)習(xí)技術(shù)的絕佳場所。

MLP 屬于具有多層感知器的前饋神經(jīng)網(wǎng)絡(luò)，具有激活功能。MLP 由完全連接的輸入層和輸出層組成。它們具有相同數(shù)量的輸入和輸出層，但可能有多個(gè)隱藏層，可用于構(gòu)建語音識(shí)別、圖像識(shí)別和機(jī)器翻譯軟件。

MLP 是如何工作的？

MLP 將數(shù)據(jù)提供給網(wǎng)絡(luò)的輸入層。神經(jīng)元層連接成一個(gè)圖形，以便信號(hào)沿一個(gè)方向傳遞。
MLP 使用存在于輸入層和隱藏層之間的權(quán)重來計(jì)算輸入。
MLP 使用激活函數(shù)來決定激活哪些節(jié)點(diǎn)。激活函數(shù)包括 ReLU、 sigmoid 函數(shù)和 tanh。
MLP 訓(xùn)練模型以理解相關(guān)性，并從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)獨(dú)立變量和目標(biāo)變量之間的依賴關(guān)系。

下面是 MLP 的一個(gè)例子。該圖計(jì)算權(quán)重和偏差，并應(yīng)用適當(dāng)?shù)募せ詈瘮?shù)來分類貓和狗的圖像。

七、自組織映射神經(jīng)網(wǎng)絡(luò)(SOMs)

特沃?科霍寧教授發(fā)明了自組織映射神經(jīng)網(wǎng)絡(luò)，使數(shù)據(jù)可視化能夠通過自組織的人工神經(jīng)網(wǎng)絡(luò)來減少數(shù)據(jù)的維數(shù)。

數(shù)據(jù)可視化試圖解決人類無法輕易將高維數(shù)據(jù)可視化的問題。SOM 的創(chuàng)建是為了幫助用戶理解這些高維信息。

SOM 是如何工作的？

SOM 為每個(gè)節(jié)點(diǎn)初始化權(quán)值，并從訓(xùn)練數(shù)據(jù)中隨機(jī)選擇一個(gè)向量。
SOM 檢查每個(gè)節(jié)點(diǎn)，以找出哪些權(quán)重是最可能的輸入向量。獲勝的節(jié)點(diǎn)稱為最佳匹配單元(BMU)。
SOM 發(fā)現(xiàn)了 BMU 的鄰居，隨著時(shí)間的推移，鄰居的數(shù)量減少了。
SOMs 為樣本向量授予一個(gè)獲勝的權(quán)重。節(jié)點(diǎn)越接近 BMU，其權(quán)重變化越大。.
鄰居離 BMU 越遠(yuǎn)，它學(xué)到的東西就越少。SOMs 在 N 次迭代中重復(fù)第二步。

下面，請看一個(gè)不同顏色的輸入向量的示意圖。這些數(shù)據(jù)提供給 SOM，然后 SOM 將數(shù)據(jù)轉(zhuǎn)換為2D RGB 值。最后，它分離和分類不同的顏色。

八、深度信念網(wǎng)絡(luò)(DBN)

DBN 是由多層隨機(jī)潛變量組成的生成模型。潛變量具有二進(jìn)制值，通常稱為隱藏單位。

DBN 是一組 Boltzmann 機(jī)器，它們在各層之間建立連接，每個(gè) RBM 層與前面的層和后面的層進(jìn)行通信。深度信任網(wǎng)絡(luò)(DBN)用于圖像識(shí)別、視頻識(shí)別和運(yùn)動(dòng)捕捉數(shù)據(jù)。

DBN 是如何工作的？

貪婪學(xué)習(xí)算法訓(xùn)練 DBN。貪婪學(xué)習(xí)算法使用一層一層的方法來學(xué)習(xí)自頂向下的生成權(quán)重。
DBN 在最上面的兩個(gè)隱藏層上運(yùn)行 Gibbs 采樣的步驟。這個(gè)階段從頂部兩個(gè)隱藏層定義的 RBM 中提取一個(gè)樣本。
DBN 使用一次通過模型其余部分的祖先抽樣來從可見單元中抽取樣本。
DBN 每一層中潛變量的值都可以通過一次自底向上的傳遞來推斷。

下面是 DBN 體系結(jié)構(gòu)的一個(gè)示例:

九、受限制的玻爾茲曼機(jī)器(RBM)

由 Geoffrey Hinton 開發(fā)的 RBM 是一種隨機(jī)神經(jīng)網(wǎng)絡(luò)，可以從一組輸入的概率分布中學(xué)習(xí)。

這種深度學(xué)習(xí)算法用于降維、分類、回歸、協(xié)同過濾、特征學(xué)習(xí)和主題建模。RBM構(gòu)成了 DBN 的組成部分。

RBM由兩層組成:

可見單位
隱藏單位

每個(gè)可見單元都連接到所有隱藏單元。RBM 有一個(gè)連接到所有可見單元和隱藏單元的偏置單元，它們沒有輸出節(jié)點(diǎn)。

RBM 是如何工作的？

RBM有兩個(gè)階段: 前向傳遞和后向傳遞。

RBM接受輸入，并將其轉(zhuǎn)換成一組數(shù)字，在前向傳遞中對輸入進(jìn)行編碼。
RBM 算法將每個(gè)輸入與單個(gè)權(quán)值和一個(gè)總偏差相結(jié)合，將輸出傳遞給隱層。
在向后傳遞過程中，RBM 獲取這組數(shù)字并將它們轉(zhuǎn)換為重構(gòu)的輸入。
RBM 將每個(gè)激活與個(gè)體重量和整體偏差相結(jié)合，并將輸出傳遞到可見層進(jìn)行重建。
在可見層，RBM 將重建結(jié)果與原始輸入進(jìn)行比較，分析結(jié)果的質(zhì)量。

以下是RBM如何運(yùn)作圖表:

十、自動(dòng)編碼器

自動(dòng)編碼器是一種特殊類型的前饋神經(jīng)網(wǎng)絡(luò)，其輸入和輸出是相同的。杰弗里?辛頓(Geoffrey Hinton)在上世紀(jì)80年代設(shè)計(jì)了自動(dòng)編碼器，以解決非監(jiān)督式學(xué)習(xí)問題。它們是經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，將數(shù)據(jù)從輸入層復(fù)制到輸出層。自動(dòng)編碼器用于藥物發(fā)現(xiàn)、流行預(yù)測和圖像處理等目的。

自動(dòng)編碼器是如何工作的？

自動(dòng)編碼器由三個(gè)主要部分組成: 編碼器、代碼和解碼器。

自動(dòng)編碼器的結(jié)構(gòu)是接收輸入并將其轉(zhuǎn)換為不同的表示形式。然后，他們試圖盡可能準(zhǔn)確地重建原始輸入。
當(dāng)一個(gè)數(shù)字的圖像不清楚可見，它饋送到自動(dòng)編碼器神經(jīng)網(wǎng)絡(luò)。
自動(dòng)編碼器首先對圖像進(jìn)行編碼，然后將輸入的大小減小為較小的表示形式。
最后，自動(dòng)編碼器對圖像進(jìn)行解碼，生成重建圖像。

下圖演示了自動(dòng)編碼器的工作方式:

結(jié)論

深度學(xué)習(xí)在過去的五年中得到了發(fā)展，深度學(xué)習(xí)算法在許多行業(yè)中廣泛流行。以下是常見的問答交流環(huán)節(jié)。

Q1：深度學(xué)習(xí)中哪種算法最好？

多層感知器(MLPs)是最好的深度學(xué)習(xí)算法。這是一個(gè)最古老的深度學(xué)習(xí)技術(shù)使用的幾個(gè)社會(huì)媒體網(wǎng)站，包括 Instagram 和 Meta。這有助于在弱網(wǎng)絡(luò)中加載圖像，輔助數(shù)據(jù)壓縮，并經(jīng)常用于速度和圖像識(shí)別應(yīng)用程序。

Q2：哪一個(gè)是深度學(xué)習(xí)算法的例子？

一些許多深度學(xué)習(xí)算法包括徑向函數(shù)網(wǎng)絡(luò)，多層感知器，自組織映射，卷積神經(jīng)網(wǎng)絡(luò)等等。這些算法包括受人類大腦神經(jīng)元功能啟發(fā)的結(jié)構(gòu)。

Q3：CNN 是一種深度學(xué)習(xí)算法嗎？

是的，CNN 是一個(gè)深度學(xué)習(xí)算法，負(fù)責(zé)處理動(dòng)物視覺皮層啟發(fā)的圖像在網(wǎng)格模式的形式。它們被設(shè)計(jì)用于自動(dòng)檢測和分割特定對象，并從低層到高層模式學(xué)習(xí)特征的空間層次結(jié)構(gòu)。

Q4：深度學(xué)習(xí)的三個(gè)層次是什么？

該神經(jīng)網(wǎng)絡(luò)由輸入層、隱層和輸出層三層組成。當(dāng)輸入數(shù)據(jù)應(yīng)用于輸入層時(shí)，獲得輸出層中的輸出數(shù)據(jù)。隱藏層負(fù)責(zé)執(zhí)行所有的計(jì)算和“隱藏”任務(wù)。

Q5：深度學(xué)習(xí)模式是如何工作的？

深度學(xué)習(xí)模型使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)或一組包含多層的標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。它們有時(shí)超過人類水平的表現(xiàn)。這些體系結(jié)構(gòu)直接從數(shù)據(jù)中學(xué)習(xí)特征，而不受手工特征提取的阻礙。

Q6：深度學(xué)習(xí)算法從哪個(gè)入門？

無論你是初學(xué)者還是專業(yè)人士，這三個(gè)最好的深度學(xué)習(xí)算法將幫助你解決與深度學(xué)習(xí)有關(guān)的復(fù)雜問題: CNN 或卷積神經(jīng)網(wǎng)絡(luò)，LSTM 或長短期記憶網(wǎng)絡(luò)和 RNN 或回歸神經(jīng)網(wǎng)絡(luò)(RNN)。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

        
         下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
         

        
        
         在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
        
        
         

        
        
         下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講
        
        
         在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。
        
        
         

        
        
         下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
        
        
         在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。
        
        
         

        
交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會(huì)逐漸細(xì)分），請掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會(huì)請出群，謝謝理解~

十大深度學(xué)習(xí)算法的原理解析

編者薦語 上周五陽了，停更了幾天，之后會(huì)恢復(fù)每日更新，感謝大家的支持！