Aug, 2023

RaLLe: 发展和评估检索增强的大型语言模型的框架

PDF
TL;DRR-LLMs improve factual question-answering by combining pre-trained large language models with retrieval systems; RaLLe is an open-source framework that facilitates the development, evaluation, and optimization of R-LLMs for knowledge-intensive tasks, enhancing performance and accuracy.
retrieval-augmented large language modelsr-llmsinformation retrieval systemsknowledge-intensive taskssystem performance
发现论文，激发创造
  • RRAML: 强化检索增强机器学习

    通过提出一种名为增强检索增强机器学习（RRAML）的新型框架，将大型语言模型的推理能力与用户提供的数据库中的检索信息相结合，有效地解决了 API 文本输入的上下文限制和外部数据源可用性的局限性。

    Jul, 2023

  • R-Eval: 评估检索增强大型语言模型的领域知识的统一工具包

    我们提出了 R-Eval 工具包，它是一个 Python 工具包，旨在简化对不同 RAG 工作流与 LLMs 的评估，通过在特定领域上支持流行的内置 RAG 工作流，并允许将定制化测试数据结合在一起。我们评估了 21 个 RALLMs 在三个任务级别和两个代表性领域上的表现，揭示了在不同任务和领域中 RALLMs 的效果差异的重要性，强调了在选择 RAG 工作流和 LLM 组合时考虑任务和领域要求的重要性。

    Jun, 2024

  • 在生物医学 NLP 中对检索增强的大型语言模型进行基准测试：应用、稳健性和自我意识

    本文通过系统调查研究，评估了检索增强型大型语言模型在 5 个不同的生物医学任务（三元组抽取、链接预测、分类、问题回答和自然语言推理）中的影响，并在医学领域建立了四个不同的测试组，测试了三个代表性的大型语言模型与三个不同的检索器在 9 个数据集上的性能。

    May, 2024

  • RAG 与 RAU: 自然语言处理中检索增强语言模型的综述

    大型语言模型与检索增强语言模型结合，提供了一个全面的概述，探讨了它们的范式、演化、分类和应用，以及其中关键组件如检索器、语言模型和增强部分，同时讨论了其在多个任务中的效用和评估方法，以及未来研究的方向。

    Apr, 2024

  • 基于 LLM 的问答系统中检索组件的评估

    评估大规模语言模型在问答系统中的检索组件性能的基线方法。

    Jun, 2024

  • 自适应 - RAG: 通过问题复杂性学习适应检索增强大型语言模型

    本研究提出了一个新颖的适应性问答框架，可以根据查询的复杂性动态选择最合适的策略，该策略可在回答问题时无缝地在迭代和单步检索增强型大型语言模型之间进行调整，同时适应多种查询复杂性，提高问答系统的效率和准确性。

    Mar, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 提升检索增强语言模型对无关背景的鲁棒性

    使用检索增强语言模型 (Retrieval-augmented language models, RALMs) 在处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。该研究分析了五个开放领域问答基准，并提出了两种方法以减轻性能下降问题。

    Oct, 2023

  • 重述与回应：让大型语言模型为自己提出更好的问题

    介绍了一种名为 “重述和回答”（RaR）的方法，通过使人类的问题被大型语言模型（LLMs）重述和展开，从而在单个提示中提供回答，以提高 LLM 的性能。还介绍了 RaR 的两步变体方法，通过将问题由一个 LLM 重述后传递给另一个 LLM，有效地利用了由一个 LLM 生成的重述问题。实验证明这些方法显著提高了不同模型在各种任务上的性能，并与 Chain-of-Thought（CoT）方法进行了综合比较，发现 RaR 与 CoT 互补，结合使用效果更好。该工作不仅对提高 LLM 性能具有高效和有效的贡献，还对公正评估 LLM 能力具有重要意义。

    Nov, 2023

  • 大型语言模型是强零 - shot 召回器

    该论文提出了一种简单的方法，使用大规模语言模型作为信息检索的检索器，从而在零 - shot 场景下提高检索效率。该方法通过在检索词和其他相关域内候选之间进行组合，来辅助语言模型生成更精确的答案，使得检索更加透明，从而实现竞争力更强的检索结果。

    Apr, 2023