“大模型”根基—Transformer的360篇論文大盤(pán)點(diǎn)

另外我還邀請(qǐng)了常年擔(dān)任NeurIPS，ICML，ICLR，KDD，IJCAI等國(guó)際會(huì)議審稿人一林老師在4月17日晚20:00給大家?guī)?lái)《Graph Transformer for GraphRepresentation Learning》。

直播大綱：

1.圖表示學(xué)習(xí)

2. Graph Transformer

3.Graph Transformer的末來(lái)方向

另外還邀請(qǐng)多位頂會(huì)大咖，做了最全Transformer系列課程，帶你吃透理論和代碼，了解未來(lái)應(yīng)用，掃清學(xué)習(xí)難點(diǎn)。本次課程有兩大亮點(diǎn):

亮點(diǎn)一：精講論文+代碼

亮點(diǎn)二：詳解Transformer的多方向應(yīng)用

0.01元解鎖Transfoemer系列課

帶你吃透理論和代碼

加課程回復(fù)“Transformer"獲取360篇transform頂會(huì)論文合集

Transtormer系列課程目錄

階段一：吃透論文和代碼，牢牢掌握Transformer基礎(chǔ)

1：CV-transformer 概述

2：CV-transformer VIT論文講解

3：CV-transformer PVT論文詳解

4：CV-transformer PVT代碼詳解

5：CV-transformer Swin Transformer論文詳解

6：CV-transformer Swin Transformer代碼詳解

7：CV-transformer DETR 論文詳解

8：CV-transformer DETR代碼講解

9：CV-transformer——VIT

10：CV-transformer——MAE

11：CV中的transformer專題MAE詳解

階段二：掌握Transformer多方向應(yīng)用

1：Transformer簡(jiǎn)介和預(yù)訓(xùn)練語(yǔ)言模型應(yīng)用

2：基于Vision Transformer的語(yǔ)義分割算法

3：Transformer在視覺(jué)任務(wù)中的應(yīng)用與高效部署

0.01元解鎖22節(jié)系列課

帶你吃透理論和代碼

Transtormer系列論文

另外我還整理了通用ViT、高效ViT、訓(xùn)練transformer、卷積transformer等細(xì)分領(lǐng)域的226篇頂會(huì)論文，帶你從「Transformer的前世」速通到大模型。

論文目錄：（因篇幅有限，僅展示前十篇）

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)