6篇杰出论文，普林斯顿获时间检验奖，NeurIPS 2021奖项出炉

机器之心报道

NeurIPS2021将于下周正式开幕，今年组委会提前公布了杰出论文奖、时间检验奖，以及一项新的奖项——数据集和基准Track最佳论文奖（DatasetsandBenchmarksTrackBestPaperAwards）。

据大会官方统计，今年NeurIPS共有9122篇有效论文投稿，共接收2344篇，总接收率26%，有3%被接收为Spotlight论文。相比去年，论文接收率稍高了一些，达到了2013年以来的最高水平。

在投稿机构方面，NeurIPS2021中稿量（Accepted）排名前三的公司分别是谷歌（177篇）、微软（116篇）和DeepMind（81篇）。

中稿量排名前三的学校分别是MIT（142篇）、斯坦福大学（139篇）、CMU（117篇）。加州大学伯克利分校以1篇之差（116篇）排名第四。清华大学以90篇论文排名第五，北京大学以63篇论文排名第九。

从国家/地区的角度看，中稿量排名前三的分别是：美国（1431篇）、中国（411篇）、英国（268篇）。

下面让我们来看一下杰出论文奖、时间检验奖、数据集和基准Track最佳论文奖的获奖情况。

杰出论文奖

今年有六篇论文获选为杰出论文奖。分别由微软研究院、DeepMind、谷歌、华盛顿大学、巴黎科学艺术人文大学、魏茨曼科学研究所等机构研究者摘得。

获奖论文1：AUniversalLawofRobustnessviaIsoperimetry

作者：SebastienBubeck,MarkSellke

机构：微软研究院、斯坦福大学

论文地址：

获奖理由：本文提出了一个理论模型来解释为什么具有SOTA性能的深度网络比平滑拟合训练数据所需的参数更多。特别是，在关于训练分布的某些规律性条件下，O(1)-Lipschitz函数在标签噪声尺度以下插值训练数据所需的参数数量为nd，其中n是训练示例的数量，d是数据的维度。这与传统结果形成了鲜明对比，传统结果表明一个函数需要n个参数来插值训练数据，为了平滑地插值，这个额外的因子d似乎是必要的。该理论简单而精炼，与经验观察到的模型大小一致，这些模型对MNIST分类具有较好的鲁棒泛化能力。这项工作还提供了关于为ImageNet分类开发稳健模型所需的模型大小的可测试预测。

获奖论文2：OntheExpressivityofMarkovReward

作者：DavidAbel、WillDabney、AnnaHarutyunyan、、、DoinaPrecup、SatinderSingh

机构：DeepMind、普林斯顿大学、布朗大学

论文地址：

获奖理由：马尔可夫奖励函数是不确定性和强化学习下顺序决策的主要框架。本文详细、清晰地阐述了马尔可夫奖励能够使系统设计者根据他们对行为偏好或对状态、动作序列偏好来指定任务。作者通过简单、说明性的例子证明，目前还存在一些无法指定马尔可夫奖励函数来引发所需任务和结果的任务。这一研究还表明，可以在多项式时间内（polynomialtime）确定所需设置是否存在兼容的马尔可夫奖励，如果存在，说明也存在多项式时间算法可以在有限决策过程设置中构建这样的马尔可夫奖励。这项工作阐明了奖励设计存在的挑战，并且为研究马尔可夫框架何时以及如何实现人类所期望的性能开辟了新的道路。

获奖论文3：DeepReinforcementLearningattheEdgeoftheStatisticalPrecipice

作者：RishabhAgarwal、MaxSchwarzer、PabloSamuelCastro、AaronCourville、

机构：谷歌、蒙特利尔大学

论文地址：

获奖理由：科学进步离不开对方法进行严格比较。本文提出了切实可行的方法来提高深度强化学习算法比较的严谨性。该论文强调，在多项任务和多次运行中报告深度强化学习结果的标准方法可能使得评估新算法和先前算法是否一致或性能是否提高变得困难，研究者通过实证示例说明了这一点。该研究提出的性能概要旨在通过每个任务的少量运行进行计算，这对于计算资源有限的实验室来说是必要的。

获奖论文4：MAUVE:MeasuringtheGapBetweenNeuralTextandHumanTextusingDivergenceFrontiers

作者：KrishnaPillutla、SwabhaSwayamdipta、RowanZellers、JohnThickstun、SeanWelleck、YejinChoi、ZaidHarchaoui

机构：华盛顿大学、艾伦人工智能研究院、斯坦福大学

论文地址：

获奖理由：该论文提出了一种比较模型生成文本分布与人类生成文本分布的散度度量方法MAUVE。MAUVE使用被比较的两个文本的量化嵌入的（软）KL散度测量的连续族，这种度量方法的本质是对度量连续族的集成，旨在捕获I类error（生成不切实际的文本）和II类error（不捕获所有可能的人类文本）。该研究通过实验表明，与之前的散度指标相比，MAUVE可以识别模型生成文本的已知模式，并且与人类判断的相关性更好。该方法将给开放端文本生成带来重要影响。

获奖论文5：AContinuizedViewonNesterovAccelerationforStochasticGradientDescentandRandomizedGossip

作者：MathieuEven、RaphaëlBerthier、FrancisBach、NicolasFlammarion、PierreGaillard、HadrienHrikx、LaurentMassoulié、AdrienTaylor

机构：巴黎科学艺术人文大学、洛桑联邦理工学院等

论文地址：

获奖理由：该论文提出了Nesterov加速梯度方法的「连续」版本，其中两个独立的矢量变量在连续时间内联合，这种方法很像使用微分方程理解加速的方法，不同的是使用梯度更新发生在泊松点过程决定的随机时间。这种新方法促成了一种（随机化）离散时间方法：（1）与Nesterov方法具有相同的加速收敛性；(2)提供利用连续时间参数进行的清晰透明的分析，比之前对加速梯度方法的分析更容易理解；(3)避免了连续时间过程离散化的额外错误，这与之前使用连续时间过程理解加速方法的几种尝试形成鲜明对比。

获奖论文6：MoserFlow:Divergence-basedGenerativeModelingonManifolds

作者：NoamRozen、AdityaGrover、MaximilianNickel、YaronLipman

机构：魏茨曼科学研究所、Meta（Facebook）AI、加州大学洛杉矶分校

论文地址：

获奖理由：本文提出了一种在黎曼流形上训练连续归一化流(CNF)生成模型的方法。该研究主要是利用Moser(1965)的结果，该结果使用具有几何规律性条件的受限ODE类来表征CNF的解，并使用目标密度函数的散度明确定义。该研究提出的MoserFlow方法使用这种解的概念发展了一种基于参数化目标密度估计的CNF方法。实验表明，与之前的CNF工作相比，该研究的方法训练时间更快，测试性能更出色。更普遍地，这种利用几何规律性条件来规避反向传播训练的概念可能会引起研究者更广泛的兴趣。

时间检验奖

NeurIPS2021时间检验奖颁给了论文《OnlineLearningforLatentDirichletAllocation》。

这篇论文发表于2010年，论文作者是当时来自普林斯顿大学的、和法国国家信息与自动化研究所的FrancisBach。

论文地址：

该论文提出了一种基于随机变分梯度的推理过程，用于在非常大的文本语料库上训练LDA模型。该论文通过理论证明了训练过程收敛到局部最优。令人惊讶的是，这种简单的随机梯度更新对应于证据下界（ELBO）目标的随机自然梯度。在实验方面，该论文首次表明LDA可以轻松地在数十万个文档的文本语料库上进行训练，使其成为解决「大数据」问题的实用技术。这个想法在ML社区产生了很大的影响，因为它为更通用的随机梯度变分推理过程提供了基础。在这篇论文之后，就不需要再使用完整的批训练过程进行变分推理了。

论文一作

数据集和基准Track最佳论文奖

今年NeurIPS推出了新的奖项，即数据集和基准Track最佳论文奖，以表彰面向数据工作的研究。今年有两篇论文获得了该奖项，分别由加州大学洛杉矶分校、斯坦福大学的研究者摘得。

获奖论文1：Reduced,ReusedandRecycled:TheLifeofaDatasetinMachineLearningResearch

作者：BernardKoch、EmilyDenton、AlexHanna、JacobGatesFoster

机构：加州大学洛杉矶分校、谷歌研究院

论文地址：

获奖论文2：ATOM3D:TasksOnMoleculesinThreeDimensions

作者：RaphaelJohnLamarreTownsh、MartinVögele、PatriciaAdrianaSuriana、AlexanderDerry、AlexanderPowers、YianniLaloudakis、SidhikaBalachandar、BowenJing、,StephanEismann、RisiKondor、RussAltman、

机构：斯坦福大学

论文地址：

获奖理由：本文介绍了一组基准数据集，其中包含小分子、生物聚合物的3D表示，涵盖单分子结构预测和生物分子之间的相互作用以及分子功能和设计工程任务。此外，该研究还将3D模型简单而强大的实现与具有1D或2D表示的SOTA模型进行基准测试，结果显示该数据集在低维对应物方面具有更好的性能。这项工作提供了如何为给定任务选择和设计模型的重要见解。该研究不仅提供了基准数据集，还提供了基线模型和开源工具来利用这些数据集和模型，大大降低了机器学习人员进入计算生物学和分子设计的门槛。

很赞哦!（159）