Hinton最新演講：下一代神經(jīng)網(wǎng)絡(luò)模型的構(gòu)想 | SIGIR 2020

加入極市專業(yè)CV交流群，與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度?等名校名企視覺開發(fā)者互動交流！

同時提供每月大咖直播分享、真實項目需求對接、干貨資訊匯總，行業(yè)技術(shù)交流。關(guān)注?極市平臺?公眾號?，回復(fù)?加群，立刻申請入群~

就在明天，極市直播第64期：非受控環(huán)境下的表情識別。來自中國科學(xué)院深圳先進技術(shù)研究院的彭小江副研究員和王鍇將為我們介紹分享自注意力策略在這些問題上的兩個探索工作，詳情點這里。在極市平臺后臺回復(fù)“64”，即可獲取直播鏈接。

來源｜?北京智源人工智能研究院

7月27日上午，第43屆國際信息檢索大會（SIGIR 2020）以線上會議的形式開幕。圖靈獎獲得者Geoffrey Hinton教授作為首位主題演講者進行了題為“神經(jīng)網(wǎng)絡(luò)的新時代（The Next Generation of Neural Networks）”的主題報告。智源社區(qū)為這次國際學(xué)術(shù)盛會提供了線上會議系統(tǒng)，并進行全程直播支持。

報告中，Hinton教授指出：人類大腦有10^14個神經(jīng)元連接，而生命的長度只有10^9秒，因此人類是無法完全依賴有監(jiān)督學(xué)習(xí)的方法完成所有神經(jīng)元訓(xùn)練，而需要更多來自于無監(jiān)督學(xué)習(xí)的幫助，受此啟發(fā)，構(gòu)建智能的機器模型也應(yīng)綜合考慮監(jiān)督與無監(jiān)督方法進行協(xié)同訓(xùn)練。

他首先回顧了無監(jiān)督神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，結(jié)合從LLE、LRE到t-SNE等表達學(xué)習(xí)模型的進化歷程，指出當(dāng)前無監(jiān)督學(xué)習(xí)方法所面臨問題的根源在于過度關(guān)注數(shù)據(jù)的重構(gòu)損失（Reconstructive Loss），而忽略了對數(shù)據(jù)間關(guān)聯(lián)關(guān)系的捕捉。

基于此，他提出了下一代神經(jīng)網(wǎng)絡(luò)模型的構(gòu)想，提出利用對比損失函數(shù)（Contrastive Loss）建模樣本間的局部關(guān)系、增強數(shù)據(jù)間表達的一致性的解決思路。 最后，他還展示了上述構(gòu)想的一種具體實現(xiàn)方案SimCLR，應(yīng)用此方案能夠顯著提升下游圖像分類任務(wù)的效果（如下圖所示）。

作為 CCF 推薦的 A 類國際學(xué)術(shù)會議，SIGIR 歷來都是互聯(lián)網(wǎng)業(yè)內(nèi)關(guān)注的焦點，會議覆蓋了信息檢索領(lǐng)域相關(guān)的各類前沿成果，包括基礎(chǔ)理論、算法應(yīng)用以及評估分析。接下來，本次會議還將安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award獲得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亞科學(xué)院院士陶大程教授在內(nèi)的五位專家學(xué)者進行相關(guān)主題報告。

推薦閱讀

• 時隔一年，盤點CVPR 2019影響力最大的20篇論文

• LSTM終獲「正名」，IEEE 2021神經(jīng)網(wǎng)絡(luò)先驅(qū)獎授予LSTM提出者Sepp Hochreiter
  

• 何愷明團隊新作！深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)新視角：通過相關(guān)圖表達理解神經(jīng)網(wǎng)絡(luò)

添加極市小助手微信（ID : cv-mart），備注：研究方向-姓名-學(xué)校/公司-城市（如：目標(biāo)檢測-小極-北大-深圳），即可申請加入極市技術(shù)交流群，更有每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、行業(yè)技術(shù)交流，一起來讓思想之光照的更遠吧~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??