Transformer模型大串講【附視頻】

短短五年，Transformer就幾乎顛覆了整個自然語言處理領(lǐng)域的研究范式，是劃時代產(chǎn)品GPT的基礎(chǔ)技術(shù)，也促進(jìn)了計算機(jī)視覺、計算生物學(xué)等領(lǐng)域的研究進(jìn)展。

這次我邀請了多位頂會大咖，做了22節(jié)最全Transformer系列課程，帶你吃透理論和代碼，了解未來應(yīng)用，掃清學(xué)習(xí)難點。本次課程有兩大亮點:

亮點一：精講論文+代碼

亮點二：詳解Transformer的多方向應(yīng)用

0.01元解鎖22節(jié)系列課

帶你吃透理論和代碼

加課程回復(fù)“Transformer"獲取系列論文

Transtormer系列課程目錄

階段一：吃透論文和代碼，牢牢掌握Transformer基礎(chǔ)

1：CV-transformer 概述

2：CV-transformer VIT論文講解

3：CV-transformer PVT論文詳解

4：CV-transformer PVT代碼詳解

5：CV-transformer Swin Transformer論文詳解

6：CV-transformer Swin Transformer代碼詳解

7：CV-transformer DETR 論文詳解

8：CV-transformer DETR代碼講解

9：CV-transformer——VIT

10：CV-transformer——MAE

11：CV中的transformer專題MAE詳解

階段二：掌握Transformer多方向應(yīng)用

1：Transformer簡介和預(yù)訓(xùn)練語言模型應(yīng)用

2：基于Vision Transformer的語義分割算法

3：Transformer在視覺任務(wù)中的應(yīng)用與高效部署（10月12日20:00直播）

0.01元解鎖22節(jié)系列課

帶你吃透理論和代碼

Transtormer系列論文

另外我還整理了Sebastian Raschka發(fā)布的包含Transformer的機(jī)制來源、預(yù)訓(xùn)練范式、人類反饋強(qiáng)化學(xué)習(xí)等諸多里程碑式的20+篇論文，帶你從「Transformer的前世」速通到大模型。

論文目錄：（因篇幅有限，僅展示前十篇）

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)