ACLApr, 2018

一个同行评审数据集（PeerRead）：收集、见解和 NLP 应用

PDF
TL;DR本文介绍了一个公开的科学领域数据集，提供了许多研究机会，该数据集集中在同行评审中使用的文本数据，此外，作者提出了两个基于 NLP 技术的新任务，包括简单的基准模型，第一个任务中，简单模型可以预测文章是否被接受，并且还可以在第二个任务中预测审稿方面的数值分数。
peer reviewingscientific publishingdatasetnlp tasksbaseline models
发现论文，激发创造
  • NLPeer: 同行评审计算研究的统一资源

    NLPeer 是第一个伦理资源资料来源跨领域的超过 5k 篇论文和 11k 篇来自五个不同论文场馆的审稿报告，它建立了统一的数据表示，并且增加了富元数据和版本信息，这项工作为 NLP 及其他领域的同行评议的系统性、多方面、以证据为基础的研究铺平了道路。我们将 NLPeer 公开提供。

    Nov, 2022

  • SciReviewGen：用于自动文献综述生成的大规模数据集

    通过 SciReviewGen 数据集，我们评估了最近基于 Transformer 的文献综述生成模型在文献综述生成任务上的表现，其中包含用于文献综述生成扩展的 Fusion-in-Decoder 模型，并且发现自动生成的摘要已经可以和人工撰写的综述媲美，但是也揭示出文献综述自动生成的挑战，例如幻觉和缺乏详细信息。

    May, 2023

  • MOPRD：一个多学科开放式同行评审数据集

    通过构建跨领域的开放同行评审数据集 MOPRD，我们设计了一种基于此的模块化指导式评论生成方法，这种方法在自动衡量和人类评估中都具有更好的性能，并探索了 MOPRD 的其他潜在应用，包括元审查生成、编辑意见预测、作者反驳生成和科学计量学分析。

    Dec, 2022

  • PeerSum：用于抽象多文档摘要的同行评审数据集

    本文介绍了 PeerSum，这是一个使用科学出版物的同行评审的新 MDS 数据集。与现有的 MDS 数据集不同，我们的摘要（即元评审）具有高度抽象性，是源文件的真实摘要（即评论），并且还包括源文件之间的争议。我们发现，目前最先进的 MDS 模型在生成 PeerSum 的高质量摘要方面存在困难，提供了新的研究机会。

    Mar, 2022

  • 科技评论的基于方面的情感分析

    利用基于方面的情感分析从科学评论中提取有用信息可以更好地判断接受 / 拒绝决策，并且发现审稿人之间的不一致程度可能与主席的意见不一致有关。

    Jun, 2020

  • 基于开放评审的数据集 (ORB)：高能物理科学论文和实验提案的自动评估

    通过 OpenReview.net 和 SciPost.org 网站，我们引入了全面的 Open Review-Based 数据集（ORB）；它包括一个精选列表，其中包含超过 36,000 篇科学论文的 89,000 多条评论和最终决策。我们提供了 ORB 的数据架构和相关统计数据的概述，还讨论了基于自然语言处理的初步实验，旨在预测论文的接受情况以及从嵌入中推断出的评分统计数据。ORB 为对开放科学和审查感兴趣的研究人员提供了宝贵资源，我们的实现使进一步分析和实验使用这些数据更加便捷。我们计划随着领域的发展更新 ORB，并引入更适用于专门科学领域（如高能物理学）的新资源。

    Nov, 2023

  • 揭示哨兵：评估人工智能在网络安全同行评议中的表现

    本研究通过比较人工评审者和机器学习模型得出的结果，研究了 AI 在学术安全会议评审中的表现，并以 ChatGPT 和基于 Doc2Vec 模型的两阶段分类方法为基础，评估了文献评审结果的预测能力，发现 Doc2Vec 方法的实验评估表现明显优于 ChatGPT，达到了超过 90% 的准确率。同时分析了测试的 ML 模型的潜在优势和限制，并探索了文献评审过程中能够从自动化支持方法中获益的领域，同时也认识到在某些方面，尖端 AI 技术无法替代人类智慧的不可替代角色。

    Sep, 2023

  • 可以自动化科学审稿吗？

    本文讨论如何运用自然语言处理技术，自动生成机器学习领域的论文评审。通过收集论文数据集和训练模型进行实验，研究发现自动生成的评审可以涵盖更多的内容，但在细节方面需要更高的准确性和构造性。最后，总结了这个领域的八个难题及其潜在解决方案。

    Jan, 2021

  • 自然语言处理对同行评审有何用处？

    科学文章数量快速增长，对其进行质量控制对科学家和大众利益至关重要。由于同行评审往往困难、耗时且容易出错，自然语言处理（NLP）在改进同行评审方面具有巨大潜力。我们的论文旨在为未来的 NLP 同行评审努力奠定基础，讨论了同行评审的一般过程，以 AI 会议的审稿为例，详细阐述了从文稿提交到定稿的每个步骤，讨论了 NLP 协助的挑战和机遇，提出了 NLP 同行评审面临的大型挑战，包括数据获取、运营和实验、伦理问题，并创建了一个聚合与同行评审相关的主要数据集的伴侣仓库。最后，我们呼吁科学界、NLP 和 AI 研究人员、政策制定者和资助机构共同努力推动 NLP 同行评审的研究，希望我们的工作能够在 AI 时代为机器辅助的科学质量控制设定议程，不仅仅限于 NLP 社区。

    May, 2024

  • 使用基于角色的互动进行多轮和长上下文的同行评审

    我们提出了将同行评审过程重新定义为多轮长上下文对话，并在这个重新定义的同行评审框架下开发了一系列用于评估大型语言模型性能的指标，以适应真实世界中的同行评审的迭代和互动特点。

    Jun, 2024