你遇見過什么當時很有潛力但是最終沒有流行的深度學習算法?

提名Memory Networks原文鏈接：https://arxiv.org/pdf/1410.3916.pdf

準確說Memory Networks并不只是一個模型，而是一套思路，使用外部的一個memory來存儲長期記憶信息，因為當時RNN系列模型使用final state 存儲的信息，序列過長就會遺忘到早期信息。

甚至，我覺得Memory Networks的思想后面啟發(fā)了self-attention和transformer。最重要的就是提出了query - key - value思想，當時的該模型聚焦的任務主要是question answering，先用輸入的問題query檢索key-value memories，找到和問題相似的memory的key，計算相關(guān)性分數(shù)，然后對value embedding進行加權(quán)求和，得到一個輸出向量。這后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其實是三個向量。

如今，Memory Networks已少有人提及，但它的思想已經(jīng)被transformer繼承，而transformer已經(jīng)橫掃NLP和CV等多個領(lǐng)域。突然有了一種“功成不必在我，而功成必定有我"的感慨。又聯(lián)想到譚嗣同變法雖然失敗了，但他又一個學生叫楊昌濟，楊昌濟又有一個學生叫毛澤東...

我也提一個：脈沖神經(jīng)網(wǎng)絡（Spiking Neural Networks, SNN)，最早由Maass教授[1]于1997年提出的模型。SNN不能說完全消失，每年頂會都有那么幾篇，但是總感覺不溫不火的。

SNN是基于大腦運行機制的新一代人工神經(jīng)網(wǎng)絡，是目前最接近類腦計算水平的一類生物啟發(fā)模型，具有可以處理生物激勵信號以及解釋大腦復雜智能行為的優(yōu)勢，被譽為第三代神經(jīng)網(wǎng)絡（第一代感知機，第二代以CNN為代表的的神經(jīng)網(wǎng)絡）。SNN在本質(zhì)上與目前廣泛使用的人工神經(jīng)網(wǎng)絡(ANN)存在巨大差異，主要體現(xiàn)在如下幾點：

1. SNN使用離散的脈沖序列(0和1)進行消息傳遞，而ANN使用實值；因此ANN具有更高的運算效率。

2. SNN分為時間驅(qū)動和事件驅(qū)動兩種。前者利用時間步長仿真信號，后者根據(jù)只有在接收或發(fā)射脈沖信號時才處于活躍狀態(tài)；而大部分的ANN架構(gòu)無法獲取時間維度信息（除了RNN類的模型），并且每個神經(jīng)元永遠處于激活狀態(tài)，因此SNN具有更少的能量消耗。

3. SNN使用脈沖序列進行通訊，與人腦的消息傳播機制更像，因此SNN比ANN更像神經(jīng)網(wǎng)絡。

4. SNN可以運行在專用的神經(jīng)形態(tài)硬件上，例如Intel Loihi[2]，Brainchip Akida[3]等；而ANN主要應用在GPU上進行加速。已有文獻證明，基于SNN 架構(gòu)的芯片能量效率比基于Field Programmable Gate Array(FPGA）實現(xiàn)的卷積神經(jīng)網(wǎng)絡的能量效率高出兩個數(shù)量級。

導致SNN難以流行的原因主要是：

1. SNN使用離散脈沖序列，其中脈沖發(fā)射函數(shù)Heaviside step函數(shù)具有不可微的性質(zhì)，因此難以像目前的ANN一樣使用梯度下降算法優(yōu)化。雖然目前有一些替代梯度的方法，但是在效果上還是和ANN有點差距。

2. 目前的神經(jīng)形態(tài)硬件沒有流行。目前主流的計算硬件都是GPU，在GPU上，0-1的脈沖序列都被當成實值進行矩陣運算，無法看出SNN與ANN的差距。

參考文獻：

[1] Maass W. Networks of spiking neurons: the third generation of neural network models[J]. Neural networks, 1997, 10(9):1659-1671.

[2] Mike Davies, Narayan Srinivasa, Tsung-Han Lin, Gautham Chinya, YongqiangCao, Sri Harsha Choday, Georgios Dimou, Prasad Joshi, Nabil Imam, Shweta Jain,et al. 2018. Loihi: A neuromorphic manycore processor with on-chip learning.Ieee Micro38, 1 (2018), 82–99.

[3] Anup Vanarse, Adam Osseiran, Alexander Rassau, and Peter van der Made. 2019.A hardware-deployable neuromorphic solution for encoding and classificationof electronic nose data.Sensors19, 22 (2019), 4831.

[4] Cao Y, Chen Y, Khosla D. Spiking deep convolutional neural networks for energy-efficient object recognition[J]. International Journal of Computer Vision, 2015, 113(1):54-66.

Hinton的膠囊網(wǎng)絡(Capsule Network)

原文鏈接：https://arxiv.org/pdf/1710.09829.pdf

原文鏈接：https://openreview.net/pdf?id=HJWLfGWRb

Hinton認為人的視覺系統(tǒng)會建立“坐標框架”，并且坐標框架的不同會極大地改變?nèi)说恼J知。而在CNN上卻很難看到類似“坐標框架”的東西。Hinton的看法是，我們需要 Equivariance 而不是 Invariance。Invariance，是指表示不隨變換變化，比如分類結(jié)果等等；而 equivariance 不會丟失這些信息，它只是對內(nèi)容的一種變換。

Invariance 主要是通過 Pooling 等下采樣過程得到的。CNN同樣強調(diào)對空間的 invariance，也就是對物體的平移之類的不敏感（物體不同的位置不影響它的識別）。對平移和旋轉(zhuǎn)的 invariance(CNN的設(shè)計希望有invariance，雖然CNN不是完全的invariance)，其實是丟棄了“坐標框架”，Hinton認為這是CNN不能反映“坐標框架”的重要原因。CNN 前面非 Pooling 的部分是 equivariance 的。

于是Hinton 提出了一個猜想：

物體和觀察者之間的關(guān)系（比如物體的姿態(tài)），應該由一整套激活的神經(jīng)元表示，而不是由單個神經(jīng)元，或者一組粗編碼（coarse-coded，這里意思是指類似一層中，并沒有經(jīng)過精細組織）的神經(jīng)元表示。只有這樣的表示，才能有效表達關(guān)于“坐標框架”的先驗知識。而這一整套神經(jīng)元，Hinton認為就是Capsule。

capsule network最大的特點就是“vector in vector out”，而之前的scaler neuron則是“scaler in scaler out”，所以本質(zhì)上來講capsule是一種vector neuron。capsule network中的每一層由若干個capsule組成，capsule的輸入和輸出均為一個向量。

圖2對neuron和capsule進行對比。神經(jīng)網(wǎng)絡的輸入是一系列的標量，通過對這些標量進行加權(quán)求和并經(jīng)過激活函數(shù)，得到一個標量，也就是神經(jīng)元的最終輸出。capsule的輸入則是一系列的向量，這些向量首先經(jīng)過一個編碼整體與部分關(guān)系的矩陣映射，然后這些向量根據(jù)和整體特征的相似度加權(quán)平均，得到表示整體的特征向量，最后通過一個squash函數(shù)得到capsule的輸出。高層特征由低層特征加權(quán)得到，而權(quán)重又由高層特征和低層特征的相似程度計算得到，這兩個問題相互依賴，于是capsule network提出一種動態(tài)路由算法（Dynamic Rounting）。

Capsule Network在剛發(fā)表的時候，引起了深度學習領(lǐng)域的廣泛關(guān)注，一度認為可能會替代CNN成為新一代的通用網(wǎng)絡架構(gòu)，誰知道之后被Transformer一統(tǒng)江湖了。

Capsule Network之所以沒有流行起來可能有三點原因：

1. 理解capsule本身就有難度，而且使用了機器學習的一些算法，深度學習當?shù)赖哪甏?，機器學習算法就算是高門檻了。

2. capsule本身有很多細節(jié)沒想清楚，比如原始的capsule是引入聚類的思想來對特征進行抽象，那有沒有其他更合適的方法呢，capsule還存在許多沒有解決的問題。

3. Transformer中的self-attention能夠建模pixel之間的相對關(guān)系，跟capsule的某些理念不謀而合，而且Transformer整體框架上要比capsule簡潔易懂。

關(guān)于Capsule Network的來龍去脈可以看這篇介紹：https://zhuanlan.zhihu.com/p/29435406

關(guān)于CNN平移不變性的討論，可以看以下回答：https://www.zhihu.com/question/301522740

如果覺得有用，就請分享到朋友圈吧！