LitLLM: 科学文献综述工具包
在临床试验中,通过使用具备内容相关性和正确术语使用的合理结果的现成大型语言模型(LLMs),然而存在于临床思维、逻辑和合适引用的不足,通过使用 RAG(检索增强生成法)提升 LLM 的写作质量,从而提高了 LLMs 在临床试验相关文案中的实际可用性。
Feb, 2024
大型语言模型(LLM)是否能根据直接查询和间接查询在文档或报告中生成参考文献是智能分析、网络安全、新闻机构和教育人员至关重要的问题。本研究通过调查大型语言模型在生成参考文献任务中的表现,引入名为 REASONS 的大型数据集,以科学研究领域的 12 个最热门领域的摘要为基础,得出相关结论,并提供有关自动引文生成任务可靠性的有价值的见解。
May, 2024
检视了检索增强型大型语言模型(RA-LLMs)的现有研究,涵盖体系结构、训练策略和应用三个主要技术视角,并介绍了此类模型的基础知识和最新进展,以及它们为大型语言模型(LLMs)带来的实际意义和应用领域的挑战和能力,最后讨论了当前的局限性和未来研究的几个有前途的方向。
May, 2024
通过使用大型语言模型(LLMs)和一系列提示和检查步骤,我们首次采取行动缓解 RNA 科学中缺乏编辑时间的问题,生成非编码 RNA 文献的摘要,并证明可以自动生成高质量、事实准确的摘要以及准确的参考文献。
Nov, 2023
我们开发了一个名为 SCRABLE 的新系统,利用检索增强生成(RAG)和先进的大语言模型(LLM)从用户贡献的文档中生成自动回复,通过自优化提示和基于 LLM 的评判机制增强自身的自适应客户评价回复自动化,通过模仿人类评估者的自动评分机制评估生成回复的质量,在真实数据集上进行的广泛实验和分析表明,相比基准线,我们的方法在生成高质量回复方面有效,改进率超过 8.5%。通过对生成回复的手动检查进一步验证了我们提出的系统的效果。
May, 2024
使用零 - shot 大型语言模型~(LLMs) 进行自动筛选的效果研究显示,指导微调在筛选中发挥重要作用,校准使 LLMs 实现了有针对性的回收,并且将两者与零 - shot 模型集成结合,与最先进的方法相比节省了大量筛选时间。
Jan, 2024
通过案例研究,使用 GPT-3.5、LLaMA2 和 PaLM2 等三种大型语言模型根据 TELeR 分类法的不同类型 / 级别的引导,自动生成学术同行评审中的元评审,然后对元评审进行详细的定性研究,总结了在这一复杂任务中为大型语言模型提供引导的发现和建议。
Feb, 2024
本研究探索使用精细调整的大型语言模型(LLMs)自动化系统性文献综述(SLRs),提出了将人工智能与学术研究方法相结合的重要和创新贡献。通过采用最新的精细调整方法和开源的 LLMs,我们展示了一种实用高效的自动化 SLR 过程的方法,包括知识综合的最终执行阶段。研究结果在 LLM 响应的事实准确性方面保持了很高的保真度,并通过对现有符合 PRISMA 的 SLR 的复制进行了验证。研究提出了减轻 LLM 虚幻感的解决方案,并提出了追踪 LLM 响应与信息来源的机制,从而证明了这种方法如何满足学术研究的严格需求。最终的发现证实了精细调整的 LLMs 在简化各种劳动密集型的文献综述过程方面的潜力。鉴于这种方法的潜力及其在所有研究领域的适用性,这项基础研究还呼吁更新 PRISMA 报告指南以整合 AI 驱动的过程,确保未来 SLRs 的方法透明性和可靠性。该研究拓宽了 AI 增强工具在各学术和研究领域的应用,为在日益增长的学术研究数量面前以更高效的方式进行全面准确的文献综述设立了新的标准。
Apr, 2024
使用 PaperQA,通过对科学文献进行信息检索,评估来源和段落的相关性,并利用 RAG 提供答案的方法,超越现有的 LLMs 和 LLM 代理在当前科学问答基准测试上的表现,使得该代理模型能够进行大规模、系统化的科学知识处理。
Dec, 2023