神經(jīng)網(wǎng)絡(luò)的發(fā)展介紹
什么是神經(jīng)網(wǎng)絡(luò)
人工神經(jīng)網(wǎng)絡(luò)是指模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運(yùn)用大量的處理部件，由人工方式構(gòu)造的網(wǎng)絡(luò)系統(tǒng).神經(jīng)網(wǎng)絡(luò)理論突破了傳統(tǒng)的、串行處理的數(shù)字電子計(jì)算機(jī)的局限，是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，并以分布式存儲(chǔ)和并行協(xié)同處理為特色，雖然單個(gè)神經(jīng)元的結(jié)構(gòu)和功能極其簡(jiǎn)單有限，但是大量的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所實(shí)現(xiàn)的行為卻是極其豐富多彩的.
人工神經(jīng)網(wǎng)絡(luò)研究的歷史
神經(jīng)網(wǎng)絡(luò)的研究已有50多年的歷史,但其發(fā)展是不平衡的，它的興衰還與“人工智能走什么路”這一爭(zhēng)議問題有關(guān).由于其結(jié)構(gòu)的復(fù)雜性，起始階段進(jìn)展不快，并一度陷入低谷,但仍有不少有識(shí)之士在極其艱難的條件下堅(jiān)持研究，使研究工作始終沒有中斷，并在模型建立等理論方面取得了突破性的成果，時(shí)至今天人工神經(jīng)網(wǎng)絡(luò)成了信息領(lǐng)域的熱門研究課題.
人工神經(jīng)網(wǎng)絡(luò)初始發(fā)展期（20世紀(jì)40年代?20世紀(jì)60年代）
早在1943年，美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts聯(lián)合提出了形式神經(jīng)元的數(shù)學(xué)模型，即M-P模型，從此開創(chuàng)了神經(jīng)科學(xué)理論研究的新紀(jì)元.M-P模型能夠完成有限的邏輯運(yùn)算.1944年，心理學(xué)家Hebb提出了改變神經(jīng)元間連接強(qiáng)度的Hebb規(guī)則，它們至今仍在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要的作用.1957年，計(jì)算機(jī)科學(xué)家Rosenblatt用硬件完成了最早的神經(jīng)網(wǎng)絡(luò)模型，即感知器（Perceptron）,并用來模擬生物的感知和學(xué)習(xí)能力.1962年，電機(jī)工程師Windrow和Hoff提出的自適應(yīng)線性元件Adaline,它是一個(gè)連續(xù)取值的線性網(wǎng)絡(luò)，在信號(hào)處理系統(tǒng)中用于抵消通訊中的回波和噪聲，應(yīng)用十分廣泛。
人工神經(jīng)網(wǎng)絡(luò)低谷期（20世紀(jì)60年代末?20世紀(jì)70年代末）
1969年,人工智能之父Minsky和Papert發(fā)表的《感知器（Perdeptron）》一書指出，感知器無科學(xué)價(jià)值而言，連XOR邏輯分類都做不到，只能作線性劃分.由于Minsky在學(xué)術(shù)界的地位和影響，故其后若干年內(nèi)，這一研究方向處于低潮.另一方面，傳統(tǒng)的馮-諾依曼電子數(shù)字計(jì)算機(jī)正處在發(fā)展的全盛時(shí)期，整個(gè)學(xué)術(shù)界都陶醉在成功的喜悅之中，從而掩蓋了新型計(jì)算機(jī)的發(fā)展的必然.盡管如此，在此期間仍然有不少有識(shí)之士不斷努力，在極端艱難的條件下致力于這一研究，為神經(jīng)網(wǎng)絡(luò)研究的發(fā)展奠定了理論基礎(chǔ).Boston大學(xué)的Grossberg和Carpenter提岀了自適應(yīng)共振理論ART網(wǎng)絡(luò).芬蘭的Heisinki大學(xué)的Kohonen提出了自組織映射網(wǎng)絡(luò).日本的大坂大學(xué)的Fukushima提出了神經(jīng)認(rèn)知機(jī)網(wǎng)絡(luò)模型.日本東京大學(xué)的Amari對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了數(shù)學(xué)理論的研究。
人工神經(jīng)網(wǎng)絡(luò)興盛期（20世紀(jì)80年代以后）
上世紀(jì)70年代末期，研究和試圖模擬視聽覺的人工智能專家首先遇到挫折，人們習(xí)以為常的知識(shí)難以教給計(jì)算機(jī).計(jì)算機(jī)的設(shè)計(jì)者和制造商也發(fā)現(xiàn)前面有不可逾越的線路微型化的物理極限，人們才開始思考馮諾依曼機(jī)到底還能走多遠(yuǎn).同時(shí)，VLSI、腦科學(xué)、生物學(xué)、光學(xué)的迅速發(fā)展也為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展打下了基礎(chǔ).1982年，加州大學(xué)的物理學(xué)家Hopfied提岀了Hopfield網(wǎng)絡(luò)模型，并用電路實(shí)現(xiàn).1985 年.Rumelhart提出了BP算法，把學(xué)習(xí)的結(jié)果反饋到神經(jīng)網(wǎng)絡(luò)的隱層，來改變權(quán)系矩陣，它是迄今為止最普遍的網(wǎng)絡(luò).Hinton等人提出了Boltzman機(jī)模型.1988年,蔡少堂提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)模型。
人工神經(jīng)網(wǎng)絡(luò)近些年
近年來，神經(jīng)網(wǎng)絡(luò)理論引起了美國(guó)、歐洲與日本等國(guó)科學(xué)家和企業(yè)家的巨大熱情.新的研究小組、實(shí)驗(yàn)室、風(fēng)險(xiǎn)公司等與日俱增，世界各國(guó)也正在組織和實(shí)施與此有關(guān)的重大研究項(xiàng)目.如美國(guó)DARPA計(jì)劃、日本HFSP計(jì)劃、法國(guó)尤里卡計(jì)劃、德國(guó)歐洲防御計(jì)劃和前蘇聯(lián)高技術(shù)發(fā)展計(jì)劃等.1986年4月，美國(guó)物理學(xué)會(huì)在Snowbirds召開了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議.1987年6月,IEEE在San Diego召開了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議，并成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì).1988年起,IEEE和國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)每年召開一次國(guó)際會(huì)議.1990年3月，IEEE神經(jīng)網(wǎng)絡(luò)會(huì)刊問世.神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用也已經(jīng)滲透到各個(gè)領(lǐng)域,并在智能控制、模式識(shí)別、計(jì)算機(jī)視覺、自適應(yīng)濾波、信號(hào)處理、非線性優(yōu)化、語音識(shí)別、知識(shí)處理、傳感技術(shù)與機(jī)器人等方面取得了令人鼓舞的進(jìn)展.神經(jīng)網(wǎng)絡(luò)代表一種新的主義，即連接主義，用于解決諸如知識(shí)表達(dá)、推理學(xué)習(xí)、聯(lián)想記憶、乃至復(fù)雜的社會(huì)現(xiàn)象,如混沌，社會(huì)演變等復(fù)雜系統(tǒng)的統(tǒng)一模型，它將預(yù)示著一個(gè)新的工業(yè)的到來
違背常識(shí)的深度學(xué)習(xí)識(shí)別能力
神經(jīng)網(wǎng)絡(luò)原始的啟發(fā)
如何比醫(yī)生識(shí)別患者病情惡化早八個(gè)小時(shí)
如何自動(dòng)化標(biāo)注海量數(shù)據(jù)
Python必學(xué)知識(shí)點(diǎn)總結(jié)
深度學(xué)習(xí)中為什么不同的特征信息可以直接相加
公眾號(hào)粉絲禮包： 后臺(tái)關(guān)鍵詞：python大禮包 禮包內(nèi)容：Matlab,數(shù)據(jù)分析與機(jī)器學(xué)習(xí)實(shí)戰(zhàn),數(shù)據(jù)科學(xué)概率基礎(chǔ),數(shù)學(xué)基礎(chǔ),算法講解視頻 整理不易，還請(qǐng)點(diǎn)擊在看與分享，謝謝。 星標(biāo)??公眾號(hào)，可以更快接收文章！
每日一得“在看”
