CRUISE-Screening: 活体文献综述工具
通过比较 OpenAI GPT API 对临床评论文章标题和摘要的筛选效果和两位独立人工审核的效果,我们发现使用 OpenAI GPT API 可以显著提高临床评论的筛选效率和准确性。
May, 2023
本报告提出一种利用最新技术发展自动化 Systematic Reviews 筛选的方法,通过与传统分类器相比较的一系列实验,证明了 ChatGPT 成为自动化 SR 过程的一种可行选择,但需要开发人员仔细考虑在 SR 工具中集成 ChatGPT 的情况。
Jul, 2023
使用GPT-4大型语言模型(LLM)的GPTscreenR软件包及链式思维技术,能够自动筛选大量学术资源并在效能和性能方面表现良好,提供了一个可集成到现有审查流程中的用户友好的软件框架。
Nov, 2023
在本研究中,我们分析引用筛选评估数据集,揭示了许多可用数据集存在的问题,例如太小、数据泄漏以及对于将自动化文献筛选系统视为分类任务而不是检索或问答任务有限适用性。为了解决这些挑战,我们介绍了CSMeD,这是一个集合了九个公开释放的文献综述集合的元数据集,提供统一访问325个医学和计算机科学领域的系统化文献综述资源。此外,我们还介绍了专门用于评估全文出版物筛选任务的新数据集CSMeD-FT。通过实验和建立新数据集的基线,我们展示了CSMeD的实用性。
Nov, 2023
利用大型语言模型(LLM)的检索增强生成(RAG)原理和专门的提示与指示技术,我们提出了一个工具包来减少文献综述的时间和工作量,建立了我们的工具包作为一种高效的替代方法。
Feb, 2024
本文综述了人工智能在系统文献综述中的应用,重点研究了AI技术在文献综述的半自动创建中的应用,特别是在筛选和提取阶段。通过对21个主流文献综述工具的分析,以及对11个利用大型语言模型进行文献搜索和学术写作辅助的最新工具的分析,讨论了领域内的当前趋势,概述了关键研究挑战,并提出了未来研究的方向。
Feb, 2024
本文介绍了基于LLM的ChatCite代理,它通过模仿人类的工作流程,首先从相关文献中提取关键要素,然后使用反映性增量机制生成摘要。ChatCite代理在各种实验中在多个维度上表现优于其他模型,生成的文献摘要还可直接用于撰写文献综述。
Mar, 2024
系统性综述(SR)是软件工程(SE)中一种常见的研究方法。本研究旨在调查大型语言模型(LLMs)是否能通过简化摘要来加速标题-摘要筛选,并自动化标题-摘要筛选。研究结果表明,使用LLMs进行文本简化在筛选过程中并未显著提高人类的表现,但减少了筛选所需的时间。虽然当前的LLMs在筛选任务中并不比人类筛选者更准确,但使用LLMs自动化标题-摘要筛选似乎是有前景的。需要进一步的研究才能推荐在SR筛选过程中使用LLMs。建议未来的SR研究发布包含筛选数据的复制包,以便进行更有说服力的LLM筛选实验。
Apr, 2024