本文介绍了一个公开的科学领域数据集，提供了许多研究机会，该数据集集中在同行评审中使用的文本数据，此外，作者提出了两个基于 NLP 技术的新任务，包括简单的基准模型，第一个任务中，简单模型可以预测文章是否被接受，并且还可以在第二个任务中预测审稿方面的数值分数。

Apr, 2018

通过 OpenReview.net 和 SciPost.org 网站，我们引入了全面的 Open Review-Based 数据集（ORB）；它包括一个精选列表，其中包含超过 36,000 篇科学论文的 89,000 多条评论和最终决策。我们提供了 ORB 的数据架构和相关统计数据的概述，还讨论了基于自然语言处理的初步实验，旨在预测论文的接受情况以及从嵌入中推断出的评分统计数据。ORB 为对开放科学和审查感兴趣的研究人员提供了宝贵资源，我们的实现使进一步分析和实验使用这些数据更加便捷。我们计划随着领域的发展更新 ORB，并引入更适用于专门科学领域（如高能物理学）的新资源。

Nov, 2023

本文介绍了 PeerSum，这是一个使用科学出版物的同行评审的新 MDS 数据集。与现有的 MDS 数据集不同，我们的摘要（即元评审）具有高度抽象性，是源文件的真实摘要（即评论），并且还包括源文件之间的争议。我们发现，目前最先进的 MDS 模型在生成 PeerSum 的高质量摘要方面存在困难，提供了新的研究机会。

Mar, 2022

本文介绍了一个名为 MReD 的新的文本生成数据集，该数据集包括 7,089 个元评价，其 45,000 个元评价句子都手动标注了 9 种分类，包括摘要、强度、决定等，并提出了使用我们注释的数据进行结构控制生成的抽取和生成式模型的方法。通过探索各种设置并分析模型行为，我们展示了我们提出的任务的挑战和 MReD 数据集的价值。同时，MReD 也使我们能够更好地理解元审查领域。

Oct, 2021

NLPeer 是第一个伦理资源资料来源跨领域的超过 5k 篇论文和 11k 篇来自五个不同论文场馆的审稿报告，它建立了统一的数据表示，并且增加了富元数据和版本信息，这项工作为 NLP 及其他领域的同行评议的系统性、多方面、以证据为基础的研究铺平了道路。我们将 NLPeer 公开提供。

Nov, 2022

本文介绍 PeerSum 数据集以生成高度抽象的科学论文审稿的 meta-reviews，并介绍了 Rammer 模型来通过稀疏注意力机制预测元数据特征，从而提高多文档摘要系统的能力。

May, 2023

我们提出了将同行评审过程重新定义为多轮长上下文对话，并在这个重新定义的同行评审框架下开发了一系列用于评估大型语言模型性能的指标，以适应真实世界中的同行评审的迭代和互动特点。

Jun, 2024

本研究提取了 DBLP 上的 600 多万篇计算机科学论文，分析了计算机科学研究的趋势、活动水平、协作情况等方面。该研究的发现是计算机科学是一个快速发展的研究领域，但近年来其平均引用次数有所下降，并且最新的主题趋势也在 DBLP 数据集中得到了呈现。

Apr, 2022

本文介绍了一个新的数据集来解决阅读者感知的多文档摘要问题；通过扩展基于变分自动编解码器的 MDS 框架，共同考虑新闻文档和读者评论。实验结果表明，读者评论能够提高摘要的表现，并证明了所提出的数据集的实用性。

Aug, 2017

在本研究中，我们分析引用筛选评估数据集，揭示了许多可用数据集存在的问题，例如太小、数据泄漏以及对于将自动化文献筛选系统视为分类任务而不是检索或问答任务有限适用性。为了解决这些挑战，我们介绍了 CSMeD，这是一个集合了九个公开释放的文献综述集合的元数据集，提供统一访问 325 个医学和计算机科学领域的系统化文献综述资源。此外，我们还介绍了专门用于评估全文出版物筛选任务的新数据集 CSMeD-FT。通过实验和建立新数据集的基线，我们展示了 CSMeD 的实用性。

Nov, 2023