Nov, 2023

CSMeD：填补自动引文筛选中系统文献综述的数据集空白

PDF
TL;DR在本研究中，我们分析引用筛选评估数据集，揭示了许多可用数据集存在的问题，例如太小、数据泄漏以及对于将自动化文献筛选系统视为分类任务而不是检索或问答任务有限适用性。为了解决这些挑战，我们介绍了 CSMeD，这是一个集合了九个公开释放的文献综述集合的元数据集，提供统一访问 325 个医学和计算机科学领域的系统化文献综述资源。此外，我们还介绍了专门用于评估全文出版物筛选任务的新数据集 CSMeD-FT。通过实验和建立新数据集的基线，我们展示了 CSMeD 的实用性。
systematic literature reviewsmachine learning techniquesautomated literature screeningevaluation datasetscsmed
发现论文，激发创造
  • 医学多文献摘要自动评估指标与人类评估不符

    为了改进文献综述的多文件摘要 (MDS)，引入包含人工评估的摘要质量特征和成对偏好的数据集，以支持开发更好的自动评估方法，分析了自动摘要评估度量与生成的摘要词汇特征、其他自动度量以及人工评估摘要质量方面的相关性。发现自动化度量无法完全捕捉到人工评估所评估的质量方面。

    May, 2023

  • SciReviewGen：用于自动文献综述生成的大规模数据集

    通过 SciReviewGen 数据集，我们评估了最近基于 Transformer 的文献综述生成模型在文献综述生成任务上的表现，其中包含用于文献综述生成扩展的 Fusion-in-Decoder 模型，并且发现自动生成的摘要已经可以和人工撰写的综述媲美，但是也揭示出文献综述自动生成的挑战，例如幻觉和缺乏详细信息。

    May, 2023

  • MS2: 医学研究的多文档摘要

    本研究针对医学干预方案的评估，提供了一个达到自动评估医学文献、整合多个研究结果的新数据集：MS^2。并基于 BART 模型，通过自由文本和结构化形式，提出了用于评估自动生成摘要质量的新指标。

    Apr, 2021

  • 用于系统评审筛选自动化的零样本生成式大型语言模型

    使用零 - shot 大型语言模型～(LLMs) 进行自动筛选的效果研究显示，指导微调在筛选中发挥重要作用，校准使 LLMs 实现了有针对性的回收，并且将两者与零 - shot 模型集成结合，与最先进的方法相比节省了大量筛选时间。

    Jan, 2024

  • 文献引用推荐：方法与数据集

    本文系统介绍了对于科学出版物的引文推荐研究，概括了基于自动化方法和数据集的实现，分析了不同维度上的差异和共同点，着重探讨了其评价方法和挑战。

    Feb, 2020

  • [引文需求] 医学影像会议中的数据使用和引文实践

    本文介绍了两个开源工具，用于检测科学论文中数据集的使用，其中一个使用 OpenAlex 和全文分析的流程，另一个是我们研究中使用的 PDF 注释软件，我们将这两个工具应用于 MICCAI 和 MIDL 的论文中，计算了 2013 年至 2023 年间引用、全文提及和引用提及三种数据集出现方式的比例和变化。研究发现使用了有限数据集，且引用实践存在不同，使追踪自动化变得困难。

    Feb, 2024

  • 利用机器学习管道扩展系统文献综述

    通过构建一个自动化的流水线以及实验，我们在仅需人工筛选的 2 周时间内，取得了非常高的准确性和泛化能力，从而使得系统能够自动完成系统性评论过程的主要步骤，包括文件搜索、文件选择以及数据提取。

    Oct, 2020

  • 利用 LLMs 加速系统评价筛选过程的承诺与挑战

    系统性综述（SR）是软件工程（SE）中一种常见的研究方法。本研究旨在调查大型语言模型（LLMs）是否能通过简化摘要来加速标题 - 摘要筛选，并自动化标题 - 摘要筛选。研究结果表明，使用 LLMs 进行文本简化在筛选过程中并未显著提高人类的表现，但减少了筛选所需的时间。虽然当前的 LLMs 在筛选任务中并不比人类筛选者更准确，但使用 LLMs 自动化标题 - 摘要筛选似乎是有前景的。需要进一步的研究才能推荐在 SR 筛选过程中使用 LLMs。建议未来的 SR 研究发布包含筛选数据的复制包，以便进行更有说服力的 LLM 筛选实验。

    Apr, 2024

  • 生成大量学术论文结构化摘要：数据集和方法

    提出了一种名为 CAST 的归类对齐和稀疏变换器的自动摘要方法，使用 BigSurvey 数据集，将超过 7000 份调查论文的摘要作为目标摘要，430,000 篇参考论文的摘要作为输入文档，赢得了各种高级自动摘要方法的比较实验。

    Feb, 2023

  • 利用领域特定大型语言模型进行研究综述的自动化

    本研究探索使用精细调整的大型语言模型（LLMs）自动化系统性文献综述（SLRs），提出了将人工智能与学术研究方法相结合的重要和创新贡献。通过采用最新的精细调整方法和开源的 LLMs，我们展示了一种实用高效的自动化 SLR 过程的方法，包括知识综合的最终执行阶段。研究结果在 LLM 响应的事实准确性方面保持了很高的保真度，并通过对现有符合 PRISMA 的 SLR 的复制进行了验证。研究提出了减轻 LLM 虚幻感的解决方案，并提出了追踪 LLM 响应与信息来源的机制，从而证明了这种方法如何满足学术研究的严格需求。最终的发现证实了精细调整的 LLMs 在简化各种劳动密集型的文献综述过程方面的潜力。鉴于这种方法的潜力及其在所有研究领域的适用性，这项基础研究还呼吁更新 PRISMA 报告指南以整合 AI 驱动的过程，确保未来 SLRs 的方法透明性和可靠性。该研究拓宽了 AI 增强工具在各学术和研究领域的应用，为在日益增长的学术研究数量面前以更高效的方式进行全面准确的文献综述设立了新的标准。

    Apr, 2024