减少技术辅助审查中的手动工作负荷:估算排名表现
筛选优先级是医学系统性审查中的一个重要环节,本研究探索了用于优先级排序的替代查询来源,如用于检索待筛选文档集的布尔查询和基于指令的生成型大型语言模型,我们的最佳方法在筛选时基于可用信息,且与最终标题的有效性相似。
Sep, 2023
本报告提出一种利用最新技术发展自动化 Systematic Reviews 筛选的方法,通过与传统分类器相比较的一系列实验,证明了 ChatGPT 成为自动化 SR 过程的一种可行选择,但需要开发人员仔细考虑在 SR 工具中集成 ChatGPT 的情况。
Jul, 2023
系统性综述(SR)是软件工程(SE)中一种常见的研究方法。本研究旨在调查大型语言模型(LLMs)是否能通过简化摘要来加速标题 - 摘要筛选,并自动化标题 - 摘要筛选。研究结果表明,使用 LLMs 进行文本简化在筛选过程中并未显著提高人类的表现,但减少了筛选所需的时间。虽然当前的 LLMs 在筛选任务中并不比人类筛选者更准确,但使用 LLMs 自动化标题 - 摘要筛选似乎是有前景的。需要进一步的研究才能推荐在 SR 筛选过程中使用 LLMs。建议未来的 SR 研究发布包含筛选数据的复制包,以便进行更有说服力的 LLM 筛选实验。
Apr, 2024
在近 15 年里,通过调查 AI 技术的应用情况,以帮助研究人员进行系统的科学文献分析,我们揭示了当前支持的任务、应用的算法类型和 34 项研究中提出的可用工具,同时提供了该领域演变的历史视角和人类在越来越自动化的系统性文献回顾过程中发挥的作用。
Jan, 2024
通过构建一个自动化的流水线以及实验,我们在仅需人工筛选的 2 周时间内,取得了非常高的准确性和泛化能力,从而使得系统能够自动完成系统性评论过程的主要步骤,包括文件搜索、文件选择以及数据提取。
Oct, 2020
提出了一种自动系统,将调查论文审查任务概念化为一个分类问题,采用机器学习模型测定与指定主题相关的论文的相关性,并且通过使用 BERT 等高级语言模型,取得了优于传统机器学习方法的初步结果。
Jun, 2024
这项研究引入了一种开创性的基于人工智能的工具,旨在提高系统文献综述中的文章选择阶段的效率,通过数据准备、人工智能辅助文章评估和结构化结果展示的三重方法实现,该工具在各个学术领域中显著加速了文献综述的耗时任务,特别在管理和经济学等领域中,GPT 模型的采用可以大大减少潜在的偏见,提高文献综述选择阶段的速度和准确性,不仅增加了研究人员的生产力和准确性,而且在涌现的学术出版物潮中迈出了重要的步伐。
Jan, 2024
本文提出了一种基于上下文学习的评审人匹配方法,解决了用主题建模进行评审者指派时主题上下文信息丢失和难以解释的问题,并在实验中取得了显著的精度提高。
Nov, 2022
本文综述了人工智能在系统文献综述中的应用,重点研究了 AI 技术在文献综述的半自动创建中的应用,特别是在筛选和提取阶段。通过对 21 个主流文献综述工具的分析,以及对 11 个利用大型语言模型进行文献搜索和学术写作辅助的最新工具的分析,讨论了领域内的当前趋势,概述了关键研究挑战,并提出了未来研究的方向。
Feb, 2024
使用 GPT-4 大型语言模型(LLM)的 GPTscreenR 软件包及链式思维技术,能够自动筛选大量学术资源并在效能和性能方面表现良好,提供了一个可集成到现有审查流程中的用户友好的软件框架。
Nov, 2023