May, 2024

控制令牌与密集段落检索

PDF
TL;DR本研究解决了大型语言模型 (LLMs) 中的幻觉问题。我们采用了检索增强生成 (Retrieval-Augmented Generation, RAG) 技术，通过在提示信息中嵌入相关信息来获得准确答案。然而，RAG 在检索正确信息方面也面临固有问题。为了解决这个问题，我们采用了密集路径检索 (Dense Passage Retrieval, DPR) 模型，用于获取与用户查询相关的领域专业文档。尽管如此，DPR 模型在文档检索方面仍然精度不足。我们通过引入控制符号来增强 DPR 模型，取得了显著优异的性能，Top-1 准确率提高了 13%，Top-20 准确率提高了 4%。
hallucinationlarge language modelsretrieval-augmented generationdense passage retrievalcontrol tokens
发现论文，激发创造
  • 检索增强生成：稠密段落检索是否正在检索？

    密集路径检索（DPR）是提升大型语言模型（LLM）性能的检索增强生成（RAG）范式中的第一步，本研究通过探测、层激活分析和模型编辑的组合，深入研究 DPR fine-tuning，发现 DPR 训练方式中的去中心化存储及其对检索模型的限制，为密集检索提供了几个可能的方向：（1）将更多知识暴露给 DPR 训练过程以实现更多的去中心化，（2）将事实作为分散表示注入，（3）在检索过程中建模和融入知识的不确定性，以及（4）将内部模型知识直接映射到知识库。

    Feb, 2024

  • 稠密通道检索器的复制研究

    本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

    Apr, 2021

  • DuetRAG: 协作检索增强生成

    提出了一种新颖的 “Collaborative Retrieval-Augmented Generation” 框架 DuetRAG，以同时整合领域微调和 RAG 模型，提高知识检索质量，从而提高生成质量。最后，在 HotPot QA 上展示了 DuetRAG 与专业人类研究人员的匹配。

    May, 2024

  • 一个令牌可以帮助！学习可扩展和可插拔的虚拟令牌用于增强检索的大型语言模型

    通过学习可扩展且可插拔的虚拟标记，我们的方法在保持大型语言模型的原始参数的基础上，仅对这些可插入标记的嵌入进行微调，从而提高了大型语言模型的性能并保留了其普遍的生成能力。

    May, 2024

  • 工具呼叫：通过检索增强大型语言模型提升药物咨询

    基于检索增强生成（RAG）的大规模语言模型（LLMs）在医学领域的知识密集型任务中表现出显著的性能提升，着重研究了利用 LLMs 和 RAG 框架回答基于医药数据库的查询问题，并提出了 Distill-Retrieve-Read 框架用于关键字搜索，实验结果证明了该框架在证据检索准确性方面的优势。

    Apr, 2024

  • DPR 主题：用于密集段落检索的基于主题的提示

    Topic-DPR 是一种基于主题的密集段落检索模型，通过对多个基于主题的提示进行优化和对比学习，使表示与其主题分布对齐，提高空间均匀性，并引入了一种新的正负采样策略来提高检索效率。实验证明，该方法超过了之前最先进的检索技术。

    Oct, 2023

  • CtrlA: 通过探针引导的控制实现自适应的检索增强生成

    通过内部状态和表示的控制，CtrlA 框架能够增加大型语言模型（LLMs）的诚实性并监控内部状态，从而提高自适应 RAG 方法的可靠性和效率。

    May, 2024

  • DR-RAG: 将动态文档相关性应用于检索增强问答生成

    通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中，提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation （DR-RAG）的两阶段检索框架，用于改善文档检索的召回率和答案的准确性，同时保持高效性，通过对检索到的文档的贡献进行分类确定相对相关的文档，实验证明 DR-RAG 能显著提高答案的准确性，并在 QA 系统方面取得新的进展。

    Jun, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024

  • PaperQA: 科学研究的增强检索生成代理

    使用 PaperQA，通过对科学文献进行信息检索，评估来源和段落的相关性，并利用 RAG 提供答案的方法，超越现有的 LLMs 和 LLM 代理在当前科学问答基准测试上的表现，使得该代理模型能够进行大规模、系统化的科学知识处理。

    Dec, 2023