Aug, 2024

对ICML 2023排名数据的分析：作者对自己论文的看法是否能辅助机器学习领域的同行评审？

HTML
PDF
TL;DR本研究针对2023年国际机器学习会议（ICML）审稿过程中，利用作者对自己论文的排名来改进评审流程。我们提出了同调机制，证明通过作者排名校准的评分在估计论文的真实期望评分方面优于原始评分，具有显著的改进潜力，并提出了低风险的应用建议以辅助同行评审。
发现论文，激发创造
  • 一个同行评审数据集（PeerRead）：收集、见解和NLP应用

    本文介绍了一个公开的科学领域数据集，提供了许多研究机会，该数据集集中在同行评审中使用的文本数据，此外，作者提出了两个基于NLP技术的新任务，包括简单的基准模型，第一个任务中，简单模型可以预测文章是否被接受，并且还可以在第二个任务中预测审稿方面的数值分数。

    Apr, 2018

  • 关于策略无效的会议同行评审

    本文研究了会议中同行评审机制的问题，提出了一种基于社会选择理论的策略性确保且高效的同行评审算法，并在ICLR大会提交数据上进行了实证研究。

    Jun, 2018

  • 对同行评审中公平性差异的研究：一种语言模型增强方法

    本文通过大型语言模型（LMs）彻底研究和研究了同行评审中的公平性差异问题，在多个受保护属性的兴趣下，包括作者性别，地理，作者和机构声望等方面，观察到差异水平不同，文本特征在减少偏见中是必不可少的，同时研究了同行评审过程的自动化机器评审系统的一个具体例子，并提供了评审生成和评分任务的基准模型，这个数据集可用作基准。

    Nov, 2022

  • 基于深度学习的双盲审稿破解：作者归属性鉴定

    该研究提出了一种基于变形金刚模型的神经网络结构，仅使用文本内容和参考文献中的作者姓名来将匿名稿件归属于作者，并创建了迄今为止最大的作者身份识别数据集，并发现了双盲审稿流程中的一些弱点，为支持公正的双盲审稿流程提供了有价值的见解。

    Nov, 2022

  • 用机器学习预测文章质量得分：英国研究卓越框架

    利用人工智能和多个引文计量和元数据输入进行的质量估计，与简单的定量指标和耗费时间的同行评审相比，得出更好的结果；医学和物理学科的精度最高，社会科学、数学、工程、艺术和人文学科的表现较差。

    Dec, 2022

  • 指数族估计的保序机制

    本文基于Isotonic机制，将指定排序扩展到指数族分布，以增强机器学习和人工智能会议的同行评审，并通过证明利益相关者因为需要提供调整过的审查分数的加权排名而被激励提供准确的排序，证明了基于排序的任实信息挖掘的最优性， 并表明调整分数显著提高了原始分数的准确性，并在真实得分有界变化范围的情况下实现了近似最小化优化。

    Apr, 2023

  • GPT4对同行评审辅助略有帮助：一项试点研究

    本研究旨在探究利用GPT4模型协助同行评审过程的可行性，并发现人工智能可以对同行评审过程做出有效的贡献，为解决同行评审中资源限制问题提供了新途径。

    Jun, 2023

  • 科学同行评审中的评审者分歧发现

    自动识别同行评审者之间的矛盾的研究，介绍了一个新颖的任务，通过对评论对之间的矛盾进行检测，为此我们提出了一个基准模型，并公开了数据集和代码供进一步研究。

    Oct, 2023

  • 使用连续审查从作者处获取真实信息

    在会议同行评审的背景下，我们提出了一种顺序审查机制来真实地获取作者的排名信息，该机制比以前的工作更具现实意义，提高了被接受论文的质量，减少了审查工作量并提高了被审查论文的平均质量。

    Nov, 2023

  • RelevAI-Reviewer：一项关于调查论文相关性的人工智能评审基准测试

    提出了一种自动系统，将调查论文审查任务概念化为一个分类问题，采用机器学习模型测定与指定主题相关的论文的相关性，并且通过使用BERT等高级语言模型，取得了优于传统机器学习方法的初步结果。

    Jun, 2024