伊利亚·苏茨克维的AI阅读书单 | AI生成和翻译

Home 2025.11

OpenAI联合创始人Ilya Sutskever曾在2020年前后向约翰·卡马克分享了一份包含约30篇深度学习与AI领域关键论文、博客文章、课程等资料的推荐阅读清单。据称他表示掌握这些内容将涵盖该领域”当今90%的重要知识”。虽然完整的30项原始清单并未完全公开（部分内容或因邮件删除而遗失），但广泛流传的版本收录了27项基础内容，涵盖卷积网络、循环网络、变换器、信息论等方向。以下是经分类整理的清单，每条目均包含标题、作者、年份和类型。

卷积神经网络

  1. CS231n：面向视觉识别的卷积神经网络 - 李飞飞, Andrej Karpathy, Justin Johnson - 2017 - 斯坦福课程
  2. 基于深度卷积神经网络的ImageNet分类（AlexNet） - Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton - 2012 - 论文
  3. 图像识别中的深度残差学习（ResNet） - 何恺明, 张祥雨, 任少卿, 孙剑 - 2015 - 论文
  4. 深度残差网络中的恒等映射 - 何恺明, 张祥雨, 任少卿, 孙剑 - 2016 - 论文
  5. 通过空洞卷积实现多尺度上下文聚合 - Fisher Yu, Vladlen Koltun - 2015 - 论文

循环神经网络

  1. 理解LSTM网络 - Christopher Olah - 2015 - 博客文章
  2. 循环神经网络不可思议的有效性 - Andrej Karpathy - 2015 - 博客文章
  3. 循环神经网络正则化 - Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals - 2014 - 论文
  4. 神经图灵机 - Alex Graves, Greg Wayne, Ivo Danihelka - 2014 - 论文
  5. Deep Speech 2：端到端的英语与普通话语音识别 - Dario Amodei 等 - 2016 - 论文
  6. 通过联合学习对齐与翻译实现神经机器翻译（RNNsearch） - Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio - 2015 - 论文
  7. 指针网络 - Oriol Vinyals, Meire Fortunato, Navdeep Jaitly - 2015 - 论文
  8. 顺序重要性：集合的序列到序列学习（Set2Set） - Oriol Vinyals, Samy Bengio, Manjunath Kudlur - 2016 - 论文
  9. 用于关系推理的简单神经网络模块（关系网络） - Adam Santoro, David Raposo, David G. Barrett, Mateusz Malinowski, Razvan Pascanu, Peter Battaglia, Timothy Lillicrap - 2017 - 论文
  10. 关系循环神经网络 - Adam Santoro, Ryan Faulkner, David Raposo, Jack Rae, Mike Chrzanowski, Theophane Weber, Daan Wierstra, Oriol Vinyals, Razvan Pascanu, Timothy Lillicrap - 2018 - 论文

变换器

  1. 注意力机制就是全部 - Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin - 2017 - 论文
  2. 带注释的变换器 - Sasha Rush 等 - 2017（2020年注释版） - 博客文章
  3. 神经语言模型的缩放定律 - Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei - 2020 - 论文

信息论

  1. 最小描述长度原理教程导论 - Peter Grünwald - 2004 - 书籍章节
  2. 柯尔莫哥洛夫复杂度与算法随机性（第14章） - Alexander Shen, Vladimir A. Uspensky, Nikolay Vereshchagin - 2017 - 书籍章节
  3. 复杂动力学第一定律 - Scott Aaronson - 2011 - 博客文章
  4. 量化封闭系统中复杂度的兴衰：咖啡自动机模型 - Scott Aaronson, Sean M. Carroll, Lauren Ouellette - 2014 - 论文
  5. 机器超智能 - Shane Legg - 2008 - 学位论文

综合类

  1. 通过最小化权重描述长度保持神经网络简洁性 - Geoffrey E. Hinton, Drew van Camp - 1993 - 论文
  2. 变分有损自编码器 - Xi Chen, Diederik P. Kingma, Tim Salimans, Yan Duan, Prafulla Dhariwal, John Schulman, Ilya Sutskever, Pieter Abbeel - 2017 - 论文
  3. GPipe：通过微批量流水线并行实现轻松扩展 - Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen, Dehao Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V. Le, Yonghui Wu, Zhifeng Chen - 2018 - 论文
  4. 用于量子化学的神经消息传递 - Justin Gilmer, Samuel S. Schoenholz, Patrick F. Riley, Oriol Vinyals, George E. Dahl - 2017 - 论文

关于”缺失”的3项内容，业界普遍推测可能涉及元学习论文（如Chelsea Finn等人2017年发表的《深度网络快速适应的模型无关元学习》）或基于自我博弈的强化学习著作，这些推测源自Sutskever同期演讲内容，但均未获证实。

Ilya Sutskever的深度学习阅读清单
Ilya Sutskever的AI阅读清单摘要
Ilya Sutskever的AI阅读清单遗失篇目

Back

x-ai/grok-4-fast

Donate