避免同行评审过程中的公地悲剧
近期的人工智能进展为学术同行评审带来了机遇与风险，讨论主要围绕在学术期刊出版中的剽窃和作者权益，忽视了同行评审所处的更广泛的认知、社会、文化和社会认知等问题；论文强调了：AI 驱动的同行评审的合法性需要进行批判性评估，包括其在更广泛的认知、社会、道德和法规因素上的利弊，并与学术社区中定义适当行为的道德和认知规范的一致性。
Sep, 2023
本调查是关于 NLP 社区对于同行评审匹配系统中应该考虑的因素，旨在为改进未来的 NLP 会议提供可行建议和可解释的同行评审分配的愿景。
May, 2022
自动识别同行评审者之间的矛盾的研究，介绍了一个新颖的任务，通过对评论对之间的矛盾进行检测，为此我们提出了一个基准模型，并公开了数据集和代码供进一步研究。
Oct, 2023
本文讨论如何运用自然语言处理技术，自动生成机器学习领域的论文评审。通过收集论文数据集和训练模型进行实验，研究发现自动生成的评审可以涵盖更多的内容，但在细节方面需要更高的准确性和构造性。最后，总结了这个领域的八个难题及其潜在解决方案。
Jan, 2021
研究了会议同行评审中的三个挑战：评审人恶意加入给出正面评价的论文、评审人故意给不喜欢的论文打低分和评审人匿名解除。提出了一种对三个问题进行通用性整合的方法，并针对给定限制下的评审人分配问题提出了随机算法，成功限制了恶意评审人分配。
Jun, 2020
机器学习的出版流程存在缺陷，新的出版方式虽有助于提高包容性和教育性，但仅仅更换格式不能解决现有问题。该论文认为，影响机器学习研究可达性的根本原因不在于论文流程，而是出版和研究过程中的问题。本论文探讨了这些问题，并提出了一些潜在的解决方案。
Apr, 2021
该研究考虑了会议同行评审中的论文自动分配问题，着重关注公平性和统计准确性。研究设计了一种基于最大流程序的分配算法，旨在最大化最不利论文的审查质量，并提出了一种新的主观评分模型，设计了一种新颖的实验方法来评估算法的质量。
Jun, 2018
我们引介了 AgentReview，这是第一个基于大型语言模型（LLM）的同行评审模拟框架，可以有效地解开多个潜在因素的影响并解决隐私问题。研究揭示了诸多重要发现，包括考虑到社会学理论，如社会影响理论、利他主义疲劳和权威偏见，由于审稿人的偏好而导致了显著的 37.1％决策差异。我们相信，这项研究能为改善同行评审机制的设计提供有价值的见解。
Jun, 2024