亚洲男人的天堂在线观看,国产女人操逼视屏免费播,亚洲人77777,色老板在线免费观看视频,亚洲欧美乱伦,在线免费观看黄色的视频网站 ,www.一区二区三区在线

來源：機(jī)器學(xué)習(xí)實驗室
本文約2500字，建議閱讀5分鐘
本文帶你了解有潛力但是沒流行的深度學(xué)習(xí)方法。

每天的新工作新paper層出不窮，而能夠在深度學(xué)習(xí)圈子里脫穎而出的工作屈指可數(shù)，還有很多有潛力的工作因為種種原因被埋沒了。在你的科研/工程閱讀中遇見過哪些看起來很有潛力的深度學(xué)習(xí)模型，對他們沒有流行起來你有什么見解？

原問題：最近讀了一些201x年的論文感覺有一些十分新穎但是也不知道為什么后續(xù)沒有被重視。在你的科研/工程閱讀中遇見過哪些看起來很有潛力的深度學(xué)習(xí)模型，對他們沒有流行起來你有什么見解？

問題鏈接：

https://www.zhihu.com/question/490517834

#?回答一

作者：霍華德

來源鏈接：

https://www.zhihu.com/question/490517834/answer/2169566194

提名Memory Networks

原文鏈接：

https://arxiv.org/pdf/1410.3916.pdf

準(zhǔn)確說Memory Networks并不只是一個模型，而是一套思路，使用外部的一個memory來存儲長期記憶信息，因為當(dāng)時RNN系列模型使用final state 存儲的信息，序列過長就會遺忘到早期信息。

甚至，我覺得Memory Networks的思想后面啟發(fā)了self-attention和transformer。最重要的就是提出了query - key - value思想，當(dāng)時的該模型聚焦的任務(wù)主要是question answering，先用輸入的問題query檢索key-value memories，找到和問題相似的memory的key，計算相關(guān)性分?jǐn)?shù)，然后對value embedding進(jìn)行加權(quán)求和，得到一個輸出向量。這后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其實是三個向量。

如今，Memory Networks已少有人提及，但它的思想已經(jīng)被transformer繼承，而transformer已經(jīng)橫掃NLP和CV等多個領(lǐng)域。突然有了一種“功成不必在我，而功成必定有我"的感慨。又聯(lián)想到譚嗣同變法雖然失敗了，但他又一個學(xué)生叫楊昌濟(jì)，楊昌濟(jì)又有一個學(xué)生叫毛澤東...

#?回答二

作者：edisonlee

來源鏈接：

https://www.zhihu.com/question/490517834/answer/2171472030

我也提一個：脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Networks, SNN)，最早由Maass教授[1]于1997年提出的模型。SNN不能說完全消失，每年頂會都有那么幾篇，但是總感覺不溫不火的。

SNN是基于大腦運行機(jī)制的新一代人工神經(jīng)網(wǎng)絡(luò)，是目前最接近類腦計算水平的一類生物啟發(fā)模型，具有可以處理生物激勵信號以及解釋大腦復(fù)雜智能行為的優(yōu)勢，被譽為第三代神經(jīng)網(wǎng)絡(luò)（第一代感知機(jī)，第二代以CNN為代表的的神經(jīng)網(wǎng)絡(luò)）。SNN在本質(zhì)上與目前廣泛使用的人工神經(jīng)網(wǎng)絡(luò)(ANN)存在巨大差異，主要體現(xiàn)在如下幾點：

SNN使用離散的脈沖序列(0和1)進(jìn)行消息傳遞，而ANN使用實值；因此ANN具有更高的運算效率。
SNN分為時間驅(qū)動和事件驅(qū)動兩種。前者利用時間步長仿真信號，后者根據(jù)只有在接收或發(fā)射脈沖信號時才處于活躍狀態(tài)；而大部分的ANN架構(gòu)無法獲取時間維度信息（除了RNN類的模型），并且每個神經(jīng)元永遠(yuǎn)處于激活狀態(tài)，因此SNN具有更少的能量消耗。
SNN使用脈沖序列進(jìn)行通訊，與人腦的消息傳播機(jī)制更像，因此SNN比ANN更像神經(jīng)網(wǎng)絡(luò)。
SNN可以運行在專用的神經(jīng)形態(tài)硬件上，例如Intel Loihi[2]，Brainchip Akida[3]等；而ANN主要應(yīng)用在GPU上進(jìn)行加速。已有文獻(xiàn)證明，基于SNN 架構(gòu)的芯片能量效率比基于Field Programmable Gate Array(FPGA）實現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)的能量效率高出兩個數(shù)量級。

導(dǎo)致SNN難以流行的原因主要是：

SNN使用離散脈沖序列，其中脈沖發(fā)射函數(shù)Heaviside step函數(shù)具有不可微的性質(zhì)，因此難以像目前的ANN一樣使用梯度下降算法優(yōu)化。雖然目前有一些替代梯度的方法，但是在效果上還是和ANN有點差距。
目前的神經(jīng)形態(tài)硬件沒有流行。目前主流的計算硬件都是GPU，在GPU上，0-1的脈沖序列都被當(dāng)成實值進(jìn)行矩陣運算，無法看出SNN與ANN的差距。

參考文獻(xiàn)：

[1] Maass W. Networks of spiking neurons: the third generation of neural network models[J]. Neural networks, 1997, 10(9):1659-1671.

[2] Mike Davies, Narayan Srinivasa, Tsung-Han Lin, Gautham Chinya, YongqiangCao, Sri Harsha Choday, Georgios Dimou, Prasad Joshi, Nabil Imam, Shweta Jain,et al. 2018. Loihi: A neuromorphic manycore processor with on-chip learning.Ieee Micro38, 1 (2018), 82–99.

[3] Anup Vanarse, Adam Osseiran, Alexander Rassau, and Peter van der Made. 2019.A hardware-deployable neuromorphic solution for encoding and classificationof electronic nose data.Sensors19, 22 (2019), 4831.

[4] Cao Y, Chen Y, Khosla D. Spiking deep convolutional neural networks for energy-efficient object recognition[J]. International Journal of Computer Vision, 2015, 113(1):54-66.

#?回答三

作者：陀飛輪

來源鏈接：

https://www.zhihu.com/question/490517834/answer/2169518353

Hinton的膠囊網(wǎng)絡(luò)(Capsule Network)

原文鏈接：

https://arxiv.org/pdf/1710.09829.pdf

原文鏈接：

https://openreview.net/pdf?id=HJWLfGWRb

Hinton認(rèn)為人的視覺系統(tǒng)會建立“坐標(biāo)框架”，并且坐標(biāo)框架的不同會極大地改變?nèi)说恼J(rèn)知。而在CNN上卻很難看到類似“坐標(biāo)框架”的東西。Hinton的看法是，我們需要 Equivariance 而不是 Invariance。Invariance，是指表示不隨變換變化，比如分類結(jié)果等等；而 equivariance 不會丟失這些信息，它只是對內(nèi)容的一種變換。

Invariance 主要是通過 Pooling 等下采樣過程得到的。CNN同樣強(qiáng)調(diào)對空間的 invariance，也就是對物體的平移之類的不敏感（物體不同的位置不影響它的識別）。

對平移和旋轉(zhuǎn)的 invariance(CNN的設(shè)計希望有invariance，雖然CNN不是完全的invariance)，其實是丟棄了“坐標(biāo)框架”，Hinton認(rèn)為這是CNN不能反映“坐標(biāo)框架”的重要原因。CNN 前面非 Pooling 的部分是 equivariance 的。

于是Hinton 提出了一個猜想：

物體和觀察者之間的關(guān)系（比如物體的姿態(tài)），應(yīng)該由一整套激活的神經(jīng)元表示，而不是由單個神經(jīng)元，或者一組粗編碼（coarse-coded，這里意思是指類似一層中，并沒有經(jīng)過精細(xì)組織）的神經(jīng)元表示。只有這樣的表示，才能有效表達(dá)關(guān)于“坐標(biāo)框架”的先驗知識。而這一整套神經(jīng)元，Hinton認(rèn)為就是Capsule。

capsule network最大的特點就是“vector in vector out”，而之前的scaler neuron則是“scaler in scaler out”，所以本質(zhì)上來講capsule是一種vector neuron。capsule network中的每一層由若干個capsule組成，capsule的輸入和輸出均為一個向量。

圖2對neuron和capsule進(jìn)行對比。神經(jīng)網(wǎng)絡(luò)的輸入是一系列的標(biāo)量，通過對這些標(biāo)量進(jìn)行加權(quán)求和并經(jīng)過激活函數(shù)，得到一個標(biāo)量，也就是神經(jīng)元的最終輸出。capsule的輸入則是一系列的向量，這些向量首先經(jīng)過一個編碼整體與部分關(guān)系的矩陣映射，然后這些向量根據(jù)和整體特征的相似度加權(quán)平均，得到表示整體的特征向量，最后通過一個squash函數(shù)得到capsule的輸出。高層特征由低層特征加權(quán)得到，而權(quán)重又由高層特征和低層特征的相似程度計算得到，這兩個問題相互依賴，于是capsule network提出一種動態(tài)路由算法（Dynamic Rounting）。

Capsule Network在剛發(fā)表的時候，引起了深度學(xué)習(xí)領(lǐng)域的廣泛關(guān)注，一度認(rèn)為可能會替代CNN成為新一代的通用網(wǎng)絡(luò)架構(gòu)，誰知道之后被Transformer一統(tǒng)江湖了。

Capsule Network之所以沒有流行起來可能有三點原因：

理解capsule本身就有難度，而且使用了機(jī)器學(xué)習(xí)的一些算法，深度學(xué)習(xí)當(dāng)?shù)赖哪甏瑱C(jī)器學(xué)習(xí)算法就算是高門檻了。
capsule本身有很多細(xì)節(jié)沒想清楚，比如原始的capsule是引入聚類的思想來對特征進(jìn)行抽象，那有沒有其他更合適的方法呢，capsule還存在許多沒有解決的問題。
Transformer中的self-attention能夠建模pixel之間的相對關(guān)系，跟capsule的某些理念不謀而合，而且Transformer整體框架上要比capsule簡潔易懂。

關(guān)于Capsule Network的來龍去脈可以看這篇介紹：

https://zhuanlan.zhihu.com/p/29435406

關(guān)于CNN平移不變性的討論，可以看以下回答：

https://www.zhihu.com/question/301522740

編輯：于騰凱

校對：林亦霖

知乎 | 有哪些當(dāng)時很有潛力但是最終沒有流行的深度學(xué)習(xí)算法?