利用LLM在系统性文献综述中提高过滤效率的潜力
本文提出了一种结合大型语言模型和系统性文献综述的方法论框架PRISMA-DFLLM，以实现更高效、可重复性和可扩展性的文献综述并开展增量式的无限制系统性文献综述。
Jun, 2023
这项研究通过对GPT-4在标题/摘要筛选、全文审查和数据提取等不同文献类型和语言上的性能测试，发现虽然GPT-4在大多数任务上的准确性与人工表现相当，但结果受到偶然一致性和数据集不平衡的影响。调整了这些因素后，GPT-4在数据提取方面达到了中等水平，而筛选性能则在不同阶段和语言上达到了无到中等的水平。当使用高度可靠的提示筛选全文文献时，GPT-4的性能几乎完美。对于漏掉了高度可靠提示的关键研究，对GPT-4进行惩罚可以进一步提高其性能。我们的研究结果表明，目前在进行系统综述时应谨慎使用LLM，但对于在可靠提示下完成的特定系统综述任务而言，LLM可以与人工表现媲美。
Oct, 2023
使用零-shot 大型语言模型~(LLMs)进行自动筛选的效果研究显示，指导微调在筛选中发挥重要作用，校准使LLMs实现了有针对性的回收，并且将两者与零-shot模型集成结合，与最先进的方法相比节省了大量筛选时间。
Jan, 2024
利用大型语言模型（LLM）的检索增强生成（RAG）原理和专门的提示与指示技术，我们提出了一个工具包来减少文献综述的时间和工作量，建立了我们的工具包作为一种高效的替代方法。
Feb, 2024
本研究探索使用精细调整的大型语言模型（LLMs）自动化系统性文献综述（SLRs），提出了将人工智能与学术研究方法相结合的重要和创新贡献。通过采用最新的精细调整方法和开源的LLMs，我们展示了一种实用高效的自动化SLR过程的方法，包括知识综合的最终执行阶段。研究结果在LLM响应的事实准确性方面保持了很高的保真度，并通过对现有符合PRISMA的SLR的复制进行了验证。研究提出了减轻LLM虚幻感的解决方案，并提出了追踪LLM响应与信息来源的机制，从而证明了这种方法如何满足学术研究的严格需求。最终的发现证实了精细调整的LLMs在简化各种劳动密集型的文献综述过程方面的潜力。鉴于这种方法的潜力及其在所有研究领域的适用性，这项基础研究还呼吁更新PRISMA报告指南以整合AI驱动的过程，确保未来SLRs的方法透明性和可靠性。该研究拓宽了AI增强工具在各学术和研究领域的应用，为在日益增长的学术研究数量面前以更高效的方式进行全面准确的文献综述设立了新的标准。
Apr, 2024
系统性综述（SR）是软件工程（SE）中一种常见的研究方法。本研究旨在调查大型语言模型（LLMs）是否能通过简化摘要来加速标题-摘要筛选，并自动化标题-摘要筛选。研究结果表明，使用LLMs进行文本简化在筛选过程中并未显著提高人类的表现，但减少了筛选所需的时间。虽然当前的LLMs在筛选任务中并不比人类筛选者更准确，但使用LLMs自动化标题-摘要筛选似乎是有前景的。需要进一步的研究才能推荐在SR筛选过程中使用LLMs。建议未来的SR研究发布包含筛选数据的复制包，以便进行更有说服力的LLM筛选实验。
Apr, 2024
该文章介绍了使用GPT-4（一个大型语言模型）快速可行性研究来（半）自动化系统性综述中的数据提取，在设计和评估LLM-based自动化工具方面仍然存在欠缺的问题。
May, 2024
我们开发了一种建立通用筛选系统的方法，该系统可以根据研究问题中描述的内容需求，将其与广泛搜索词应用所得到的候选文章进行匹配。我们的结果表明，预训练于生物医学文献并针对特定任务进行微调的转换器模型为解决这个问题提供了有希望的解决方案，能够过滤大量的无关文章。
May, 2024
本研究解决了传统学术评审中的偏见和效率问题，通过引入大型语言模型（LLM）来进行自动评审，提高评审的质量和一致性。研究中采用了人类偏好的对比评估方法，并对LLM进行了微调，以预测人类对评审的偏好，从而实现更高效的样本分析和质量控制。最终，开发了一个概念验证的评审系统，能够快速提供一致、高质量的自动评审，并增强了评审过程的整体质量。
Aug, 2024