深度學(xué)習(xí)近10年,10篇必讀論文總結(jié)

你好，我是郭震

2014

• 生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Nets）
  • Ian Goodfellow et al. 提出了GAN，開啟了生成模型的新時(shí)代。

2015

• 深度殘差網(wǎng)絡(luò)（Deep Residual Learning for Image Recognition）
  • Kaiming He et al. 提出ResNet，極大提升了深度網(wǎng)絡(luò)的性能和可訓(xùn)練性。

2016

• WaveNet: 生成原始語音波形的深度神經(jīng)網(wǎng)絡(luò)（WaveNet: A Generative Model for Raw Audio）
  • A?ron van den Oord et al. 在語音合成領(lǐng)域取得了突破性進(jìn)展。

2017

• 注意力機(jī)制（Attention Is All You Need）
  • Ashish Vaswani et al. 通過提出Transformer模型，徹底改變了自然語言處理的面貌。

2018

• BERT: 深度雙向Transformer的預(yù)訓(xùn)練（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding）
  • Jacob Devlin et al. 提出了BERT模型，顯著提升了自然語言處理任務(wù)的性能。

2019

• 大規(guī)模語言模型GPT-2（Language Models are Unsupervised Multitask Learners）
  • OpenAI 提出了GPT-2模型，展示了大規(guī)模語言模型在多種任務(wù)上的能力。

2020

• EfficientDet: 可擴(kuò)展且高效的目標(biāo)檢測(cè)模型（EfficientDet: Scalable and Efficient Object Detection）
  • Mingxing Tan et al. 通過EfficientDet在目標(biāo)檢測(cè)領(lǐng)域實(shí)現(xiàn)了新的效率和精度平衡。

2021

• Vision Transformer（An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale）
  • Alexey Dosovitskiy et al. 將Transformer架構(gòu)成功應(yīng)用于圖像識(shí)別任務(wù)，開啟了計(jì)算機(jī)視覺領(lǐng)域的新篇章。

2022

• DALL·E 2: 生成高質(zhì)量圖像的模型（Hierarchical Text-Conditional Image Generation with CLIP Guides）
  • OpenAI 提出了DALL·E 2，能夠根據(jù)文本描述生成高質(zhì)量、高分辨率的圖像。

2023

• Pathways Language Model (PaLM): 縮放到數(shù)萬億參數(shù)的語言模型（Pathways Language Model: Scaling to Trillions of Parameters for Natural Language Understanding）
  • Google 提出了PaLM，展示了大模型在多語言理解和生成任務(wù)上的巨大潛力。