CLIP 引爆多模態(tài)方向！
多模態(tài)機(jī)器學(xué)習(xí)，英文全稱(chēng) MultiModal Machine Learning (MMML)，旨在通過(guò)機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)處理和理解多源模態(tài)信息的能力。
每一種信息的來(lái)源或者形式，都可以稱(chēng)為一種模態(tài)。例如，人有觸覺(jué)，聽(tīng)覺(jué)，視覺(jué)，嗅覺(jué)；信息有語(yǔ)音、視頻、文字等媒介；多種多樣的傳感器，如雷達(dá)、紅外、加速度計(jì)等。以上的每一種都可以稱(chēng)為一種模態(tài)。
模態(tài)也可以有非常廣泛的定義，比如我們可以把兩種不同的語(yǔ)言當(dāng)做是兩種模態(tài)，甚至在兩種不同情況下采集到的數(shù)據(jù)集，亦可認(rèn)為是兩種模態(tài)。
當(dāng)下，多模態(tài)技術(shù)有著相當(dāng)廣泛的應(yīng)用場(chǎng)景，如淘寶搜圖、AI字幕、AI虛擬數(shù)字人、仿人交互、智能助手、商品推薦和信息流廣告、視頻幀人臉幀的圖向量檢索、語(yǔ)音交互等等。
我們很榮幸邀請(qǐng)到了擁有多項(xiàng)專(zhuān)利和多年大廠算法工程師工作經(jīng)驗(yàn)的Peng老師，利用2小時(shí)左右的時(shí)間，為大家系統(tǒng)地梳理多模態(tài)技術(shù)。
Day1直播
01 多模態(tài)的發(fā)展與未來(lái)
02 論文泛讀：CLIP— 多模態(tài)領(lǐng)域鴻蒙之鐘巨作
03 學(xué)習(xí)路徑推薦
Day2直播
論文精讀—CLIP：多模態(tài)領(lǐng)域鴻蒙之鐘巨作
01 Research background
02 Introduction
03 Model
04 實(shí)驗(yàn)
05 結(jié)論
8月25日（周四）晚20:00-21:00
8月26日（周五）晚20:00-21:00
對(duì)多模態(tài)技術(shù)感興趣的同學(xué)，掃下方二維碼預(yù)約直播。
掃碼，0.1元預(yù)約直播
01 多模態(tài)理論基礎(chǔ)
學(xué)習(xí)多模態(tài)預(yù)訓(xùn)練相關(guān)論文——CLIP、ALIGN、VILT
02 自監(jiān)督算法
學(xué)習(xí)一些多模態(tài)預(yù)訓(xùn)練可能用到的自監(jiān)督方案——MAE、DINO、MOCO
03 多模態(tài)下游任務(wù)介紹
主要了解VQA任務(wù)和nlvr任務(wù)
04 多模態(tài)應(yīng)用
Image Captioning案例、阿里電商跨模態(tài)檢索案例。了解任務(wù)介紹、baseline搭建、模型優(yōu)化、結(jié)果展示。
05 多模態(tài)項(xiàng)目
AI智能文案、基于多模態(tài)預(yù)訓(xùn)練模型的手機(jī)相冊(cè)管理與檢索、AI唇語(yǔ)識(shí)別、基于深度多模態(tài)目標(biāo)檢測(cè)和語(yǔ)義分割的自動(dòng)駕駛
對(duì)多模態(tài)技術(shù)感興趣的同學(xué)，掃下方二維碼預(yù)約直播。
掃碼，0.1元預(yù)約直播