Jun, 2024

科学工作流智能辅助任务的新数据集和基准

PDF
TL;DR科学创新依赖于详细的工作流程，而科学出版物的无结构性使得科研人员和人工智能系统难以有效地浏览和探索科学创新领域。为了解决这个问题，我们介绍了 MASSW，一个关于科学工作流多方面摘要的全面文本数据集。使用大型语言模型（LLMs），我们自动从这些出版物中提取了五个核心方面，它们对应于研究工作流程中的五个关键步骤。通过多种机器学习任务，我们展示了 MASSW 的实用性，这些任务可以利用这个新数据集进行基准测试，从而在科学工作流程中进行各种类型的预测和建议。
scientific innovationworkflowsscientific publicationsmulti-aspect summarizationlarge language models
发现论文，激发创造
  • ACLSum: 科学出版物面向方面的概述的新数据集

    提供了一个由领域专家精心制作和评估的新型摘要数据集 ACLSum，集成了多个方面的科学论文摘要，通过对预训练语言模型和最先进的大型语言模型（LLMs）的性能进行广泛实验，探索学术领域中抽取式与生成式摘要的有效性，结果证实了在学术领域中端到端基于方面的摘要的普遍优越性。

    Mar, 2024

  • WikiAsp：一个用于多领域方面的摘要的数据集

    提出了一个新的多领域、开放领域的基于方面的摘要数据集 “WikiAsp”，该数据集通过使用 20 个不同领域的维基百科文章并使用每篇文章的标题和边界作为方面标注的代理。研究结果表明现有的摘要模型在此情况下面临的关键挑战，具体包括引用来源的代词处理和时间敏感事件的一致解释。

    Nov, 2020

  • MS2: 医学研究的多文档摘要

    本研究针对医学干预方案的评估，提供了一个达到自动评估医学文献、整合多个研究结果的新数据集：MS^2。并基于 BART 模型，通过自由文本和结构化形式，提出了用于评估自动生成摘要质量的新指标。

    Apr, 2021

  • Multi-XScience：一种用于科学文章极端多文档摘要的大规模数据集

    我们提出了 Multi-XScience 数据集，这是一个从科学文章中创造出来的大规模多文档摘要数据集，包括文献综述部分的写作，并且适用于抽象模型。通过使用 Multi-XScience 数据集对多个最新技术模型的实验结果，在技术上证明了其适用性。

    Oct, 2020

  • WikiHow：一个大规模的文本摘要数据集

    本研究介绍了一种基于在线知识库的数据集 WikiHow，包含超过 230,000 个文章和摘要对，用于评估现有的序列到序列模型在不同写作风格、更高语义抽象度的摘要中的性能。

    Oct, 2018

  • CL-SciSumm 2018 共享任务：结果与关键见解

    CL-SciSumm Shared Task 2018 was held as part of SIGIR's Annual Conference, which focused on scientific document summarization in the computational linguistics domain, evaluated using two metrics and providing datasets for the community.

    Sep, 2019

  • 科学论文摘要的监督式提取方法

    本文介绍了一种新的数据集，用于总结计算机科学出版物，展示了利用神经句子编码和传统的总结功能来开发模型的方式，并表明即使在传统的科学领域中，对句子的编码以及他们的本地和全局背景进行编码的模型也有很好的性能，并实现了明显优于已经建立的基准方法的结果。

    Jun, 2017

  • 基于代理的从科学文献中学习材料数据集

    通过使用大型语言模型（LLMs）创建化学家 AI 代理程序，本研究克服了通过自动创建从自然语言文本中提取结构化数据集所面临的质量和一致性问题、可扩展性限制、以及人为错误和偏见的风险，进而简化了各种材料发现应用的机器学习数据集的编制，以及对自然语言处理工具的易用性提升。

    Dec, 2023

  • 生成大量学术论文结构化摘要：数据集和方法

    提出了一种名为 CAST 的归类对齐和稀疏变换器的自动摘要方法，使用 BigSurvey 数据集，将超过 7000 份调查论文的摘要作为目标摘要，430,000 篇参考论文的摘要作为输入文档，赢得了各种高级自动摘要方法的比较实验。

    Feb, 2023

  • SciAssess：科学文献分析 LLM 熟练度评估

    最近大规模语言模型（LLMs）的突破性进展在自然语言理解和生成方面带来了革命性的变化，引发了对将这些技术应用于科学文献分析这一细分领域的兴趣激增。然而，现有的基准不足以充分评估 LLM 在科学领域，尤其是在涉及复杂理解和多模态数据的情景中的能力。本文介绍了 SciAssess，这是一个专门用于深入分析科学文献的基准，旨在对 LLM 的效能进行全面评估。SciAssess 专注于评估 LLM 在科学背景下的记忆、理解和分析能力。它包括来自不同科学领域的代表性任务，例如普通化学、有机材料和合金材料。严格的质量控制措施确保了其在正确性、匿名性和版权合规性方面的可靠性。SciAssess 评估了领先的 LLM，包括 GPT-4、GPT-3.5-turbo 和 Gemini，并确定了它们的优势和改进的领域，支持 LLM 在科学文献分析领域的持续发展。SciAssess 及其资源可在此 https URL 上获得，为推进 LLM 在科学文献分析中的能力提供了一个有价值的工具。

    Mar, 2024