神经信息处理系统大会时间检验奖 | AI生成和翻译
NeurIPS（神经信息处理系统）时间检验奖旨在表彰在 NeurIPS（前身为 NIPS）会议上发表、对该领域产生重大而持久影响的论文。在 NeurIPS 2024 时间检验奖评选中，有两篇来自 2014 年会议的重要论文获此殊荣：
- 论文： 生成对抗网络
- 作者： Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio
- 这篇论文提出了生成对抗网络（GANs），通过生成器网络和判别器网络之间的对抗过程来训练生成模型的新框架。GANs 已成为现代生成式 AI 的基石，在图像合成、风格迁移等众多应用中带来突破。
- 论文： 使用神经网络进行序列到序列学习
- 作者： Ilya Sutskever, Oriol Vinyals, Quoc V. Le
- 这项工作提出了一种使用多层长短期记忆（LSTM）网络进行序列学习的通用端到端方法。论文中提出的编码器-解码器架构对自然语言处理、机器翻译产生了深远影响，并为后续的 Transformer 架构等推动当今众多大语言模型发展的技术进步铺平了道路。
这两篇论文因其在过去十年中对人工智能和机器学习发展的深远影响而获得认可。作者受邀在 NeurIPS 2024 会议上介绍了他们的工作。
您说得对，关于 NeurIPS 时间检验奖还有更多内容值得探讨！该奖项已设立多年，旨在表彰往届会议中有影响力的论文。以下是往年获奖者的更全面介绍：
NeurIPS 2023 时间检验奖（论文来自 2013 年）
- 论文： 词与词组的分布式表示及其组合性
- 作者： Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S. Corrado, Jeffrey Dean
- 这篇论文介绍了 word2vec 模型，这是一种从大型文本语料库中学习高质量词向量表示的高效方法。这些词嵌入捕捉了词之间的语义关系，并已成为各种自然语言处理任务的基本构建模块。
- 论文： 深入卷积网络：可视化图像分类模型和显著图
- 作者： Karen Simonyan, Andrea Vedaldi, Andrew Zisserman
- 这项工作为理解用于图像分类的深度卷积神经网络的内部工作机制提供了关键见解。它引入了可视化学习特征和生成显著图的技术，有助于理解图像的哪些部分对网络的预测最为重要。这篇论文对深度学习模型的可解释性做出了重要贡献。
NeurIPS 2022 时间检验奖（论文来自 2012 年）
- 论文： AlexNet：使用深度卷积神经网络进行 ImageNet 分类
- 作者： Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
- 这篇开创性的论文展示了深度卷积神经网络在大规模图像分类中的强大能力。AlexNet 在 ImageNet 数据集上的性能显著超越了之前的最先进方法，被广泛认为是引发计算机视觉领域深度学习革命的关键时刻。
- 论文： Dropout：防止神经网络过拟合的简单方法
- 作者： Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov
- 这篇论文介绍了 Dropout 技术，一种简单而高效的减少神经网络过拟合的方法。通过在训练过程中随机”丢弃”神经元，Dropout 迫使网络学习更鲁棒和可泛化的特征。它至今仍是深度学习中广泛使用的正则化技术。
NeurIPS 2021 时间检验奖（论文来自 2011 年）
- 论文： 修正线性单元改进受限玻尔兹曼机
- 作者： Vinod Nair, Geoffrey E. Hinton
- 这篇论文展示了在受限玻尔兹曼机（RBM）中使用修正线性单元（ReLUs）作为激活函数的好处。ReLUs 有助于缓解梯度消失问题，并使得训练更深、更有效的 RBM 成为可能，推动了无监督学习和深度神经网络预训练的进步。
- 论文： 潜在狄利克雷分配的在线学习
- 作者： Matthew D. Hoffman, David M. Blei, Francis Bach
- 这项工作为潜在狄利克雷分配（LDA）——一种用于从大规模文本文档集中发现主题的流行概率模型——提出了一种高效的在线算法。这种在线方法使得 LDA 能够应用于比以前可行的大得多的数据集，显著扩展了其实际用途。
NeurIPS 2020 时间检验奖（论文来自 2010 年）
- 论文： （几乎）从零开始的自然语言处理
- 作者： Ronan Collobert, Jason Weston, Léon Bottou, Michael Karlen, Koray Kavukcuoglu, Pavel Kuksa
- 这篇论文提出了一种统一的神经网络架构，能够执行各种自然语言处理任务，如词性标注、组块分析、命名实体识别和语义角色标注，并直接从原始文本中学习特征。这项工作是 NLP 中端到端学习的一个早期且有影响力的例子。
- 论文： 学习用于 AI 的深度架构
- 作者： Yoshua Bengio
- 这篇有影响力的立场论文有力地论证了在人工智能中学习深度层次表示的重要性。它概述了深度学习的挑战和潜在好处，有助于推动该领域的研究，并为后来的许多突破奠定了基础。
这些只是近年来颁发的时间检验奖。评选标准侧重于研究的长期影响力、原创性以及对更广泛的机器学习和人工智能社区的影响。这些论文不仅提出了新颖的想法，而且以重要的方式塑造了研究和发展的方向。
好的，让我们更深入地了解 NeurIPS 时间检验奖的历史！看看哪些基础工作经受住了时间的考验，这非常有趣。以下是更早年份的获奖者：
NeurIPS 2019 时间检验奖（论文来自 2009 年）
- 论文： ImageNet：一个大规模分层图像数据库
- 作者： Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, Li Fei-Fei
- 这篇论文介绍了 ImageNet 数据集，这是一个根据 WordNet 层次结构组织的大规模标注图像集合。ImageNet 已成为训练和评估计算机视觉模型不可或缺的资源，并在该领域的深度学习革命中发挥了重要作用。论文还详细描述了数据收集和标注过程，突出了数据集的规模和复杂性。
- 论文： 模式分析的核方法
- 作者： John Shawe-Taylor, Nello Cristianini
- 虽然这不是单篇 NeurIPS 论文，但这本有影响力的书籍极大地塑造了核方法领域，该领域在当时非常突出。核方法，包括支持向量机（SVM），为非线性模式识别提供了强大的技术。该书综合了大量研究，使这些方法更易于被更广泛的机器学习社区所接受。核方法的影响至今仍在各种应用中有所体现。
NeurIPS 2018 时间检验奖（论文来自 2008 年）
- 论文： 面向大数据集的高斯过程回归
- 作者： Michalis K. Titsias
- 这篇论文引入了稀疏谱高斯过程（SSGP）近似方法，一种显著提高高斯过程回归处理大型数据集可扩展性的方法。高斯过程是用于回归和分类的强大非参数贝叶斯方法，但其计算成本传统上随数据点数量的增加而急剧上升。SSGP 为将这些方法应用于具有大量数据的现实世界问题迈出了关键一步。
- 论文： 学习搜索
- 作者： Thorsten Joachims
- 这项工作将学习排序搜索结果的问题形式化为一个机器学习任务。它引入了专门为优化搜索引擎性能而设计的新颖评估指标和学习算法。这篇论文对现代信息检索系统和搜索技术的发展产生了重大影响。
NeurIPS 2017 时间检验奖（论文来自 2007 年）
- 论文： 深度网络的逐层贪婪训练
- 作者： Yoshua Bengio, Pascal Lamblin, Dumitru Erhan, Hugo Larochelle, Pierre-Antoine Manzagol
- 这篇论文提出了一种通过以无监督方式一次学习一层来训练深度神经网络的实用方法。这种”逐层贪婪预训练”策略有助于克服当时仅使用反向传播训练深度网络的挑战，并且对深度学习的早期成功至关重要。
- 论文： 归一化割与图像分割
- 作者： Jianbo Shi, Jitendra Malik
- 这篇论文介绍了基于图的图像分割的归一化割准则。它将图像分割表述为一个图划分问题，并提出了一种方法来寻找既考虑像素间相似性又考虑结果分割区域平衡的全局最优割。这项工作在计算机视觉和图像分析领域产生了深远影响。
NeurIPS 2016 时间检验奖（论文来自 2006 年）
- 论文： 深度信念网络的一种快速学习算法
- 作者： Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh
- 这篇论文提出了一种高效训练深度信念网络（DBNs）的突破性算法，DBNs 是一种由多层受限玻尔兹曼机（RBMs）组成的概率生成模型。这项工作在深度学习的复兴中起到了关键作用，证明了深度架构可以被有效地训练。
- 论文： 在线提升
- 作者： Nico Freund, Yoav Freund
- 这篇论文引入了在线提升的概念，这是 AdaBoost 算法的一种扩展，可以顺序处理数据。在线提升使得能够从流数据中进行高效学习，并对各种在线学习应用产生了重要影响。
NeurIPS 2015 时间检验奖（论文来自 2005 年）
- 论文： 谱聚类
- 作者： Andrew Y. Ng, Michael I. Jordan, Yair Weiss
- 这篇论文对谱聚类进行了清晰而有影响力的介绍，这是一种通过使用相似性矩阵的特征向量来寻找数据中簇的强大技术。它连接了图划分和降维中看似不同的方法，使谱聚类更易于理解和使用。
- 论文： 使用高斯场的半监督学习
- 作者： Xiaojin Zhu, Zoubin Ghahramani, John Lafferty
- 这篇论文提出了一种概念优雅且有效的半监督学习方法，该方法使用在已标注和未标注数据点构成的图上定义的高斯随机场。它展示了在标注数据稀缺时，如何利用未标注数据来提高学习算法的性能。
这一历史回顾突显了 NeurIPS 时间检验奖所认可的多样且具有影响力的研究，涵盖了机器学习和人工智能的各个领域。这些论文中的每一篇都为塑造我们今天所知的该领域做出了重大贡献。