通过重新分析 2014 年 NeurIPS 的实验数据，我们确定评审人员的质量评分中 50% 的变化存在主观因素。我们发现评分与论文影响力之间存在相关性，但会议接受的论文中二者之间不存在关联。此外，我们得出结论，2014 年会议的评审过程能较好地识别差论文，但无法准确识别好论文。

Sep, 2021

本文分析了 Neural Information Processing Systems 会议上关于机器学习的论文审查数据，并测试了从审稿人收集序数排名的效用，旨在检查审查流程的严谨性并提供对后续会议审查流程设计有用的见解。

Aug, 2017

本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

Mar, 2020

本文通过分析 NLP 可重复性核对清单，发现清单的发布提升了 NLP 论文关于效率、验证性能、汇总统计和超参数等关键信息的披露率，且论文被接受的概率与符合要求的回复量呈正相关，同时提出了未来会议的一系列改进建议。

Jun, 2023

本文研究了一种新颖的评审 - 文章匹配方法，该方法已被引入多个计算机科学领域的顶级会议，包括 AAAI，ICML，IJCAI 等，并通过对现实数据的广泛后期分析进行了评估，比较了其与 AAAI 2020 版本使用的匹配算法的不同之处。

Feb, 2022

自动识别同行评审者之间的矛盾的研究，介绍了一个新颖的任务，通过对评论对之间的矛盾进行检测，为此我们提出了一个基准模型，并公开了数据集和代码供进一步研究。

Oct, 2023

该研究考虑了会议同行评审中的论文自动分配问题，着重关注公平性和统计准确性。研究设计了一种基于最大流程序的分配算法，旨在最大化最不利论文的审查质量，并提出了一种新的主观评分模型，设计了一种新颖的实验方法来评估算法的质量。

Jun, 2018

研究了会议同行评审中的三个挑战：评审人恶意加入给出正面评价的论文、评审人故意给不喜欢的论文打低分和评审人匿名解除。提出了一种对三个问题进行通用性整合的方法，并针对给定限制下的评审人分配问题提出了随机算法，成功限制了恶意评审人分配。

Jun, 2020

本文研究了会议中同行评审机制的问题，提出了一种基于社会选择理论的策略性确保且高效的同行评审算法，并在 ICLR 大会提交数据上进行了实证研究。

Jun, 2018

本文讨论如何运用自然语言处理技术，自动生成机器学习领域的论文评审。通过收集论文数据集和训练模型进行实验，研究发现自动生成的评审可以涵盖更多的内容，但在细节方面需要更高的准确性和构造性。最后，总结了这个领域的八个难题及其潜在解决方案。

Jan, 2021