深度學習 AI 解釋：神經網絡

來源：ScienceAI
本文約2600字，建議閱讀5分鐘
本文用深度學習為你解釋神經網絡。

在過去的 10 年里，性能最好的人工智能系統(tǒng)——比如智能手機上的語音識別器或谷歌最新的自動翻譯器——都是由一種稱為「深度學習」的技術產生的。

深度學習實際上是一種稱為神經網絡的人工智能方法的新名稱，70 多年來一直時興時衰。神經網絡最初是由 Warren McCullough 和 Walter Pitts 于 1944 年提出的，這兩位芝加哥大學的研究人員于 1952 年搬到麻省理工學院，他們有時被稱為第一個認知科學系的創(chuàng)始成員。

神經網絡是神經科學和計算機科學的一個主要研究領域，直到 1969 年，根據計算機科學的傳說，他們被麻省理工學院的數學家 Marvin Minsky 和 Seymour Papert 「扼殺」了。一年后，Marvin Minsky 和 Seymour Papert 成為麻省理工學院新的人工智能實驗室的聯(lián)合主任。

該技術隨后在 20 世紀 80 年代復興，在新世紀的第一個十年再次陷入衰退，并在第二個十年如火如荼地回歸，主要是由于圖形芯片處理能力的提高。

麻省理工學院麥戈文腦科學研究所研究員、麻省理工學院大腦、思想和機器中心、麻省理工學院腦與認知科學教授 Tomaso Poggio 說：「有一種觀點認為科學中的想法有點像病毒的流行。?顯然有五六種基本的流感病毒株，而且顯然每一種都會在大約 25 年的時間內回歸。人們被感染后會產生免疫反應，因此在接下來的 25 年內不會被感染。然后新的一代，將被同一株病毒感染。在科學中，人們會愛上一個想法，為之興奮，將其錘死，然后免疫——他們厭倦了它。所以思想應該有同樣的周期性！」

重大事項

神經網絡是進行機器學習的一種手段，計算機通過分析訓練示例來學習執(zhí)行某些任務。通常，這些示例已經預先進行了手工標記。例如，對象識別系統(tǒng)可能會收到數千張帶有汽車、房屋、咖啡杯等標簽的圖像，它會在圖像中找到與特定標簽一致相關的視覺模式。

神經網絡以人腦為模型，由數千甚至數百萬個緊密互連的簡單處理節(jié)點組成。今天的大多數神經網絡都被組織成節(jié)點層，它們是「前饋」的，這意味著數據只能在一個方向上通過它們。一個單獨的節(jié)點可以連接到它下面一層的幾個節(jié)點，從那里接收數據，并連接到它上面一層的幾個節(jié)點，向那里發(fā)送數據。

對于每個傳入的連接，節(jié)點將分配一個稱為「權重」的數字。當網絡處于活動狀態(tài)時，節(jié)點在其每個連接上接收不同的數據項(不同的數字)，并將其乘以相關的權重。然后將結果乘積加在一起，產生一個數字。如果該數字低于閾值，則節(jié)點不會將數據傳遞到下一層。如果數量超過閾值，則節(jié)點「觸發(fā)」，這在當今的神經網絡中，通常意味著沿其所有輸出連接發(fā)送數字——加權輸入的總和。

在訓練神經網絡時，其所有權重和閾值最初都設置為隨機值。訓練數據被饋送到底層——輸入層——它通過后續(xù)層，以復雜的方式相乘和相加，直到最終到達輸出層，徹底改變。在訓練期間，權重和閾值會不斷調整，直到具有相同標簽的訓練數據始終產生相似的輸出。

頭腦和機器

McCullough 和 Pitts 在 1944 年描述的神經網絡有閾值和權重，但沒有分層，研究人員也沒有指定任何訓練機制。McCullough 和 Pitts 表明，原則上，神經網絡可以計算數字計算機可以計算的任何函數。結果是神經科學而不是計算機科學：重點是表明人腦可以被認為是一種計算設備。

神經網絡仍然是神經科學研究的寶貴工具。例如，用于調整權重和閾值的特定網絡布局或規(guī)則，再現(xiàn)了觀察到的人類神經解剖學和認知特征，這表明它們捕獲了大腦如何處理信息的某些信息。

1957 年，康奈爾大學心理學家 Frank Rosenblatt 展示了第一個可訓練的神經網絡——感知器。感知器的設計與現(xiàn)代神經網絡的設計非常相似，只是它只有一層，權重和閾值可調，夾在輸入層和輸出層之間。

在 1959 年之前，感知器一直是心理學和計算機科學新興學科的活躍研究領域，當時 Minsky 和 Papert 出版了一本名為《感知器》的書，該書表明在感知器上執(zhí)行某些相當常見的計算會非常耗時。

「當然，如果你采用稍微復雜一點的機器——比如兩層，所有這些限制都會消失，」Poggio 說。但當時，這本書對神經網絡研究產生了寒蟬效應。

「你必須把這些事情放在歷史背景下，」Poggio 說。「他們在爭論編程——像 Lisp 這樣的語言。不久之前，人們還在使用模擬計算機。當時根本不清楚編程要走的路。我認為他們有點過火了，但像往常一樣，這不是黑白分明的。如果你認為這是模擬計算和數字計算之間的競爭，他們在為當時正確的事情而戰(zhàn)。」

周期性

然而，到 20 世紀 80 年代，研究人員已經開發(fā)出修改神經網絡權重和閾值的算法，這些算法對于具有不止一層的網絡來說足夠有效，消除了 Minsky 和 Papert 確定的許多限制，該領域迎來了復興。

但從理智上講，神經網絡有一些不令人滿意的地方。足夠的訓練可能會將網絡的設置修改為可以對數據進行有用的分類，但這些設置意味著什么？對象識別器正在查看哪些圖像特征，它如何將它們拼湊成汽車、房屋和咖啡杯的獨特視覺特征？查看單個連接的權重并不能回答這個問題。

近年來，計算機科學家開始想出巧妙的方法來推斷神經網絡采用的分析策略。但在 20 世紀 80 年代，網絡的策略難以理解。所以在世紀之交，神經網絡被支持向量機取代，支持向量機是一種基于一些非常簡潔「優(yōu)雅」的數學的機器學習替代方法。

最近神經網絡的復興——深度學習革命——得益于計算機游戲行業(yè)。當今視頻游戲的復雜圖像和快速節(jié)奏需要能夠跟上的硬件，結果就是圖形處理單元 (GPU)，它在單個芯片上封裝了數千個相對簡單的處理內核。研究人員很快就意識到 GPU 的架構與神經網絡的架構非常相似。

現(xiàn)代 GPU 使 20 世紀 60 年代的單層網絡和 20 世紀 80 年代的兩到三層網絡發(fā)展為今天的 10 層、15 層甚至 50 層網絡。這就是「深度學習」中的「深度」所指的——網絡層的深度。目前，深度學習幾乎在人工智能研究的每個領域都為性能最佳的系統(tǒng)負責。

引擎蓋下

網絡的不透明性仍然令理論家感到不安，但在這方面也取得了進展。除了指導大腦、思維和機器中心 (CBMM) 外，Poggio 還領導該中心的智能理論框架研究項目。最近，Poggio 和他的 CBMM 同事發(fā)布了一個由三部分組成的神經網絡理論研究。

內容地址：

https://cbmm.mit.edu/research/thrusts/theoretical-frameworks-intelligence

第一部分發(fā)表在《國際自動化與計算雜志》（International Journal of Automation and Computing）上，討論了深度學習網絡可以執(zhí)行的計算范圍，以及深度網絡何時比淺層網絡更具優(yōu)勢。

論文地址：

https://link.springer.com/article/10.1007/s11633-017-1054-2

第二部分和第三部分已作為 CBMM 技術報告發(fā)布，解決了全局優(yōu)化問題；或保證網絡找到最符合其訓練數據的設置、過度擬合；或者網絡變得如此適應其訓練數據的細節(jié)以致無法推廣到相同類別的其他實例的情況。

論文地址：

http://cbmm.mit.edu/sites/default/files/publications/CBMM-Memo-067.pdf

還有很多理論問題有待回答，但 CBMM 研究人員的工作，可以幫助確保神經網絡最終打破使它們在七十年內受到青睞和失寵的世代循環(huán)。

參考內容：

https://scitechdaily.com/deep-learning-ai-explained-neural-networks/

編輯：王菁