開課了！CMU《多模態(tài)機(jī)器學(xué)習(xí)》2022課程，附課件

來源：專知
本文約700字，建議閱讀5分鐘
不可錯(cuò)過！多模態(tài)機(jī)器學(xué)習(xí)課程！

多模態(tài)機(jī)器學(xué)習(xí)(MMML)是一個(gè)充滿活力的多學(xué)科研究領(lǐng)域，通過整合和建模多種交流模式(包括語言、視覺和聲學(xué))來解決人工智能的一些最初目標(biāo)。這一研究領(lǐng)域給多模態(tài)研究人員帶來了一些獨(dú)特的挑戰(zhàn)，因?yàn)閿?shù)據(jù)的異質(zhì)性和模式之間的偶然性經(jīng)常被發(fā)現(xiàn)。本課程是一門研究生水平的課程，涵蓋了多模態(tài)機(jī)器學(xué)習(xí)的最新研究論文，包括表示、對(duì)齊、推理、生成、協(xié)同學(xué)習(xí)和量化方面的技術(shù)挑戰(zhàn)。本課程的主要目標(biāo)是提高批判性思維能力，了解最新的技術(shù)成就，并了解未來的研究方向。

本課程將介紹機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中與多模態(tài)機(jī)器學(xué)習(xí)中的五個(gè)主要挑戰(zhàn)相關(guān)的基本數(shù)學(xué)概念:(1)多模態(tài)表示學(xué)習(xí)，(2)平移與映射，(3)模態(tài)對(duì)齊，(4)多模態(tài)融合和(5)協(xié)同學(xué)習(xí)。這些包括但不限于，多模態(tài)自動(dòng)編碼器，深度典型相關(guān)分析，多核學(xué)習(xí)，注意力模型和多模態(tài)遞歸神經(jīng)網(wǎng)絡(luò)。本課程還將討論MMML的許多最新應(yīng)用，包括多模式的情感識(shí)別、圖像和視頻字幕以及跨模式的多媒體檢索。

https://cmu-multicomp-lab.github.io/adv-mmml-course/spring2022/schedule/

課程目錄:

• 課程導(dǎo)論

• 跨模態(tài)交互

• 多模態(tài)協(xié)同學(xué)習(xí)

• 預(yù)訓(xùn)練方式

• 多模態(tài)推理

• 記憶與長期交互

• 頭腦與多模態(tài)感知

• 視覺與語言

• 多模態(tài)泛化

• 低資源學(xué)習(xí)

附綜述論文與課件：