本调查是关于 NLP 社区对于同行评审匹配系统中应该考虑的因素,旨在为改进未来的 NLP 会议提供可行建议和可解释的同行评审分配的愿景。
May, 2022
本文研究了一种新颖的评审 - 文章匹配方法,该方法已被引入多个计算机科学领域的顶级会议,包括 AAAI,ICML,IJCAI 等,并通过对现实数据的广泛后期分析进行了评估,比较了其与 AAAI 2020 版本使用的匹配算法的不同之处。
Feb, 2022
本文提出了一个框架来优化论文 - 审稿人分配,使用适宜性评分来测量论文和审稿人之间的成对亲和力,可以从提供的少量评分中推断出适宜性评分,将任务定义为整数规划问题,并提出了几种适用于论文和审稿人匹配问题的方案,探讨了学习和匹配相互作用的因素,对两个会议数据集进行了实验,测试了几种学习方法的性能以及匹配方法的有效性。
Feb, 2012
研究了会议同行评审中的三个挑战:评审人恶意加入给出正面评价的论文、评审人故意给不喜欢的论文打低分和评审人匿名解除。提出了一种对三个问题进行通用性整合的方法,并针对给定限制下的评审人分配问题提出了随机算法,成功限制了恶意评审人分配。
Jun, 2020
本文提出了一种基于上下文学习的评审人匹配方法,解决了用主题建模进行评审者指派时主题上下文信息丢失和难以解释的问题,并在实验中取得了显著的精度提高。
Nov, 2022
本文讨论如何运用自然语言处理技术,自动生成机器学习领域的论文评审。通过收集论文数据集和训练模型进行实验,研究发现自动生成的评审可以涵盖更多的内容,但在细节方面需要更高的准确性和构造性。最后,总结了这个领域的八个难题及其潜在解决方案。
Jan, 2021
该研究考虑了会议同行评审中的论文自动分配问题,着重关注公平性和统计准确性。研究设计了一种基于最大流程序的分配算法,旨在最大化最不利论文的审查质量,并提出了一种新的主观评分模型,设计了一种新颖的实验方法来评估算法的质量。
Jun, 2018
本文介绍了一种方法,可以根据用户定义的查询自动生成一篇综述论文。该方法包括两个主要部分,第一部分通过诸如同袍引用的图表等文献计量参数来识别领域中的关键论文。第二阶段使用 BERT 架构,我们在现有的综述论文中对这些关键论文进行抽取式摘要。我们介绍了我们方法的一般流程和一些实现细节,并在 PubMed 数据集上进行了自动和专家评估。
Oct, 2020
提出了一种自动系统,将调查论文审查任务概念化为一个分类问题,采用机器学习模型测定与指定主题相关的论文的相关性,并且通过使用 BERT 等高级语言模型,取得了优于传统机器学习方法的初步结果。
Jun, 2024
介绍科学出版物的同行评审制度,讨论机器学习对此的影响,提出对标准和质量的强调以及提供适当的激励措施,如按照每次评审给予的财务补偿。
Dec, 2018