收藏 | 深度學習到深度推理
↑↑↑點擊上方藍字，回復資料，10個G的驚喜
僅做學術分享，如有侵權，聯(lián)系刪除 轉(zhuǎn)載于 ：專知
【導讀】ACM SIGKDD（國際數(shù)據(jù)挖掘與知識發(fā)現(xiàn)大會，簡稱 KDD）是世界數(shù)據(jù)挖掘領域的最高級別的學術會議，由 ACM 的數(shù)據(jù)挖掘及知識發(fā)現(xiàn)專委會（SIGKDD）主辦，被中國計算機協(xié)會推薦為 A 類會議。自 1995 年以來，KDD 已經(jīng)連續(xù)舉辦了26屆，今年將于2021年8月14日至18日舉辦，今年的會議主辦地在新加坡。
來自deakin大學的研究人員在KDD2021上將給出關于深度學習推理的教程，非常值得關注!
大數(shù)據(jù)和大計算的興起給數(shù)字生活的許多領域帶來了現(xiàn)代神經(jīng)網(wǎng)絡，這要歸功于構(gòu)建與現(xiàn)實世界相適應的大型模型相對容易。Transformers的成功和對海量數(shù)據(jù)的自監(jiān)督預訓練讓一些人相信，只要我們有數(shù)據(jù)和計算資源，深度神經(jīng)網(wǎng)絡幾乎可以做任何事情。然而，情況可能并非如此。雖然神經(jīng)網(wǎng)絡可以快速地利用表面統(tǒng)計，但它們在泛化到新的任務上卻失敗得很糟糕。目前的神經(jīng)網(wǎng)絡并不執(zhí)行刻意推理——即從上下文數(shù)據(jù)中有意地推導出新知識的能力。本教程回顧了最近的發(fā)展，將神經(jīng)網(wǎng)絡的能力擴展到從數(shù)據(jù)“學習推理”，其中的任務是確定數(shù)據(jù)是否包含一個結(jié)論。這種能力開辟了新的途徑，通過使用自然語言進行任意查詢，從數(shù)據(jù)中生成見解，而不需要預先定義一組狹義的任務。
本教程由三個主要部分組成。A部分涵蓋了學習-推理框架，解釋了神經(jīng)網(wǎng)絡如何通過綁定、注意力和動態(tài)計算圖等自然操作作為推理的強大支柱。我們還將展示神經(jīng)網(wǎng)絡如何學習執(zhí)行組合算法。第二部分將更詳細地介紹神經(jīng)網(wǎng)絡如何在非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)上進行推理，以及跨多種模態(tài)。將解釋集合、關系、圖和時間的推理。C部分回顧了更高級的主題，包括帶有外部記憶的神經(jīng)網(wǎng)絡，學習用有限的標簽進行推理，以及用心智理論進行遞歸推理。我們將特別關注神經(jīng)記憶作為支持實體、關系甚至神經(jīng)程序推理的基本機制。如有可能，將提供文本理解和視覺問答方面的個案研究。
https://truyentran.github.io/kdd2021-tute.html
目錄:
Part A: 推理學習框架 Learning to reason framework (60 mins)
Reasoning as a prediction skill that can be learnt from data.
Question answering as zero-shot learning.
Neural network operations for learning to reason:
Concept-object binding.
Attention & transformers.
Dynamic neural networks, conditional computation & differentiable programming.
Reasoning as iterative representation refinement & query-driven program synthesis and execution.
Compositional attention networks.
Neural module networks.
Combinatorics reasoning.
Part B: 結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)推理 Reasoning over unstructured and structured data (60 mins)
Cross-modality reasoning, the case of vision-language integration.
Reasoning as set-set interaction.
Query processing.
Context processing.
Dual-attention.
Conditional set functions.
Relational reasoning
Query-conditioned dynamic graph constructions
Reasoning over knowledge graphs.
Graph embedding.
Graph convolutional networks.
Graph attention.
Message passing.
Relation networks
Graph neural networks
Temporal reasoning
Video question answering.
Part C: 高級主題 Advanced topics (60 mins)
Reasoning with external memories
Memory of entities – memory-augmented neural networks
Memory of relations with tensors and graphs
Memory of programs & neural program construction.
Learning to reason with less labels:
Data augmentation with analogical and counterfactual examples
Question generation
Self-supervised learning for question answering
Learning with external knowledge graphs
Recursive reasoning with neural theory of mind.
講者
參考文獻
Jacob Andreas, Marcus Rohrbach, Trevor Darrell, and Dan Klein. “Neural module networks”. In CVPR, pages 39–48, 2016.
Dzmitry Bahdanau, Shikhar Murty, Michael Noukhovitch, Thien Huu Nguyen, Harm de Vries, and Aaron Courville. “Systematic generalization: what is required and can it be learned?”, In ICLR, 2019.
Bottou, Léon. “From machine learning to machine reasoning”. Machine learning 94.2 (2014): 133-149.
---------?---------
推薦閱讀
（點擊標題可跳轉(zhuǎn)閱讀）
老鐵，三連支持一下，好嗎？↓↓