在生物医学 NLP 中对检索增强的大型语言模型进行基准测试：应用、稳健性和自我意识

May, 2024

在生物医学 NLP 中对检索增强的大型语言模型进行基准测试：应用、稳健性和自我意识

Benchmarking Retrieval-Augmented Large Language Models in Biomedical NLP: Application, Robustness, and Self-Awareness

Mingchen Li, Zaifu Zhan, Han Yang, Yongkang Xiao, Jiatan Huang...

TL;DR本文通过系统调查研究，评估了检索增强型大型语言模型在 5 个不同的生物医学任务（三元组抽取、链接预测、分类、问题回答和自然语言推理）中的影响，并在医学领域建立了四个不同的测试组，测试了三个代表性的大型语言模型与三个不同的检索器在 9 个数据集上的性能。

Abstract

large language models (LLM) have demonstrated remarkable capabilities in various biomedical natural language processing (NLP) tasks, leveraging the demonstration within the input context to adapt to new tasks. Ho

large language models biomedical natural language processing retrieval-augmented llm biomedical nlp tasks self-awareness ability

发现论文，激发创造

评估检索增强型大型语言模型在科学文件推理中的有效性

本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

Nov, 2023

提升检索增强语言模型对无关背景的鲁棒性

使用检索增强语言模型 (Retrieval-augmented language models, RALMs) 在处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。该研究分析了五个开放领域问答基准，并提出了两种方法以减轻性能下降问题。

Oct, 2023

RAG 与 RAU: 自然语言处理中检索增强语言模型的综述

大型语言模型与检索增强语言模型结合，提供了一个全面的概述，探讨了它们的范式、演化、分类和应用，以及其中关键组件如检索器、语言模型和增强部分，同时讨论了其在多个任务中的效用和评估方法，以及未来研究的方向。

Apr, 2024

使用检索增强语言模型提高 GPT-3/4 在生物医学数据上的准确性

本文研究了大型语言模型在特定领域中的性能，比较了多种模型回答 DLBCL 疾病的问题，发现 RetA 模型在准确性和相关性方面表现最好。

May, 2023

RRAML: 强化检索增强机器学习

通过提出一种名为增强检索增强机器学习（RRAML）的新型框架，将大型语言模型的推理能力与用户提供的数据库中的检索信息相结合，有效地解决了 API 文本输入的上下文限制和外部数据源可用性的局限性。

Jul, 2023

BiomedRAG：一种用于生物医学领域的检索增强大型语言模型

利用检索增强的生成模型在生物医学领域中实现大型语言模型的知识更新和性能提升，并证明了 BiomedRAG 在 5 个生物医学自然语言处理任务中的卓越表现。

May, 2024

RAmBLA：一个评估 LLMs 在生物医学领域作为助手可靠性的框架

我们引入了 RAmBLA 框架，评估了四种最先进的基于语言模型的助手是否能在生物医学领域中作为可靠的助手，并明确了快速性、高召回率和缺乏幻觉是这种使用情况的必要标准。

Mar, 2024

借助具备检索增强功能的大型语言模型改进医学推理

自主生物文档检索增强式生成（Self-BioRAG）是一种可靠的生物医学文本生成解释、检索特定领域文档，并进行自我反思的框架。通过使用 84k 个过滤后的生物医学指令集训练 Self-BioRAG，它可以使用定制的反思标记评估其生成的解释。实验结果表明，Self-BioRAG 在三个主要的医学问答基准数据集上实现了显著的性能增益，平均绝对改进率为 7.2％，超过了参数大小为 7B 或更少的最先进的开放式基础模型。我们将数据和模型权重（7B 和 13B）发布出来，以增强生物医学和临床领域的能力。

Jan, 2024

工具呼叫：通过检索增强大型语言模型提升药物咨询

基于检索增强生成（RAG）的大规模语言模型（LLMs）在医学领域的知识密集型任务中表现出显著的性能提升，着重研究了利用 LLMs 和 RAG 框架回答基于医药数据库的查询问题，并提出了 Distill-Retrieve-Read 框架用于关键字搜索，实验结果证明了该框架在证据检索准确性方面的优势。

Apr, 2024

RaLLe: 发展和评估检索增强的大型语言模型的框架

R-LLMs improve factual question-answering by combining pre-trained large language models with retrieval systems; RaLLe is an open-source framework that facilitates the development, evaluation, and optimization of R-LLMs for knowledge-intensive tasks, enhancing performance and accuracy.

Aug, 2023