Apr, 2024

利用领域特定大型语言模型进行研究综述的自动化

PDF
TL;DR本研究探索使用精细调整的大型语言模型（LLMs）自动化系统性文献综述（SLRs），提出了将人工智能与学术研究方法相结合的重要和创新贡献。通过采用最新的精细调整方法和开源的 LLMs，我们展示了一种实用高效的自动化 SLR 过程的方法，包括知识综合的最终执行阶段。研究结果在 LLM 响应的事实准确性方面保持了很高的保真度，并通过对现有符合 PRISMA 的 SLR 的复制进行了验证。研究提出了减轻 LLM 虚幻感的解决方案，并提出了追踪 LLM 响应与信息来源的机制，从而证明了这种方法如何满足学术研究的严格需求。最终的发现证实了精细调整的 LLMs 在简化各种劳动密集型的文献综述过程方面的潜力。鉴于这种方法的潜力及其在所有研究领域的适用性，这项基础研究还呼吁更新 PRISMA 报告指南以整合 AI 驱动的过程，确保未来 SLRs 的方法透明性和可靠性。该研究拓宽了 AI 增强工具在各学术和研究领域的应用，为在日益增长的学术研究数量面前以更高效的方式进行全面准确的文献综述设立了新的标准。
fine-tuned large language modelssystematic literature reviewsautomatingacademic research methodologiesprisma guidelines
发现论文，激发创造
  • PRISMA-DFLLM: 一种基于领域特定调优大语言模型的系统文献综述扩展方法

    本文提出了一种结合大型语言模型和系统性文献综述的方法论框架 PRISMA-DFLLM，以实现更高效、可重复性和可扩展性的文献综述并开展增量式的无限制系统性文献综述。

    Jun, 2023

  • 文献综述的人工智能：机遇与挑战

    本文综述了人工智能在系统文献综述中的应用，重点研究了 AI 技术在文献综述的半自动创建中的应用，特别是在筛选和提取阶段。通过对 21 个主流文献综述工具的分析，以及对 11 个利用大型语言模型进行文献搜索和学术写作辅助的最新工具的分析，讨论了领域内的当前趋势，概述了关键研究挑战，并提出了未来研究的方向。

    Feb, 2024

  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

    Apr, 2024

  • 提升大型语言模型性能以更准确地回答问题和提取信息

    通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型，利用金融数据集和检索增强生成技术 (RAG)，证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。

    Jan, 2024

  • 利用大型语言模型加速临床证据综合

    利用 TrialMind 等基于 LLMs 的人工智能模型，我们介绍了一种为进行医学系统评价而设计的生成型 AI 流水线。通过结合人类专家的监督，我们证明了 TrialMind 显著提高了文献综述的过程，并在从超过 2000 万篇 PubMed 文章中搜索研究、筛选研究和提取结果的过程中取得了优异的性能。结果还显示，与 GPT-4 基准相比，八位人类评估者更喜欢 TrialMind，其有效率提升了临床研究的效率。

    Jun, 2024

  • 机器辅助混合方法：用人工智能增强人文社科研究

    利用大型语言模型 (LLMs) 的增强功能，扩展人文社会科学领域的数据分析，用于量化、自动化以前需要人工进行的定性分析任务。本文提出了一种系统的混合方法框架，结合了定性分析专业知识、机器可扩展性和严格的量化分析，同时注重透明度和可复制性。通过 16 个机器辅助案例研究作为概念验证，展示了该框架的应用，涉及的任务包括语言和话语分析、词汇语义变化检测、访谈分析、历史事件因果推断和文本挖掘、政治立场检测、文本和思想重用、文学和电影的流派构成、社交网络推断、自动词典编纂、丢失的元数据补充以及多模态视觉文化分析。与现有 LLM 应用文献的英语重点不同，这里的例子涉及较小语言和易于数字化失真的历史文本场景。除了需要专业知识的最困难的任务外，生成 LLMs 可以作为可行的研究工具。LLM (和人工) 标注可能包含错误和变化，但协议率可以在后续统计建模中考虑；文章还讨论了一个引导式方法。案例研究的复制实验证明，以前需要团队努力和复杂计算管道才能完成的任务，现在可以由辅助 LLM 的学者在更短的时间内完成。重要的是，这种方法旨在增强研究者的知识和技能，而不是取代它们。鉴于这些机会，定性专业知识和提出有深度问题的能力无疑变得更加关键。

    Sep, 2023

  • 有效微调以提升大型多模态放射学报告生成模型

    利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能，并对软性视觉提示和注意力机制进行了详细分析，为未来的研究方向提供了启示。

    Dec, 2023

  • 用于系统评审筛选自动化的零样本生成式大型语言模型

    使用零 - shot 大型语言模型～(LLMs) 进行自动筛选的效果研究显示，指导微调在筛选中发挥重要作用，校准使 LLMs 实现了有针对性的回收，并且将两者与零 - shot 模型集成结合，与最先进的方法相比节省了大量筛选时间。

    Jan, 2024

  • 利用 LLMs 加速系统评价筛选过程的承诺与挑战

    系统性综述（SR）是软件工程（SE）中一种常见的研究方法。本研究旨在调查大型语言模型（LLMs）是否能通过简化摘要来加速标题 - 摘要筛选，并自动化标题 - 摘要筛选。研究结果表明，使用 LLMs 进行文本简化在筛选过程中并未显著提高人类的表现，但减少了筛选所需的时间。虽然当前的 LLMs 在筛选任务中并不比人类筛选者更准确，但使用 LLMs 自动化标题 - 摘要筛选似乎是有前景的。需要进一步的研究才能推荐在 SR 筛选过程中使用 LLMs。建议未来的 SR 研究发布包含筛选数据的复制包，以便进行更有说服力的 LLM 筛选实验。

    Apr, 2024

  • LLaMA-Reviewer：通过参数高效微调推进大型语言模型在代码审核自动化中的应用（实践经验报告）

    LLaMA-Reviewer 是一个创新框架，利用了 LLaMA（一种流行的大型语言模型）在代码审查领域的能力。通过使用参数高效的微调方法，即使使用了 6.7B 参数的最小 LLaMA 基础模型和有限的微调时期，LLaMA-Reviewer 也能达到现有的面向代码审查的模型的性能。

    Aug, 2023