HippoRAG：针对大型语言模型的神经生物学启发式长期记忆

May, 2024

HippoRAG：针对大型语言模型的神经生物学启发式长期记忆

HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

Bernal Jiménez Gutiérrez, Yiheng Shu, Yu Gu, Michihiro Yasunaga, Yu Su

TL;DR本研究介绍了一种灵感来源于人类长期记忆的大脑索引理论的新型检索框架 HippoRAG，通过协同作用 LLMs、知识图谱和 Personalized PageRank 算法模拟新经历的深度高效知识整合。与 RAG 方法进行多跳问答比较后表明 HippoRAG 方法表现出色，并超过先进方法 20%。与 IRCoT 相比，HippoRAG 的单步检索具有可比或更好的性能，并且成本更低、速度更快。此外，将 HippoRAG 引入 IRCoT 可以进一步获得显著的收益，同时展示了该方法可以处理现有方法无法解决的新式场景。

Abstract

In order to thrive in hostile and ever-changing natural environments, mammalian brains evolved to store large amounts of knowledge about the world and continually integrate new information while avoiding catastrophic forgetting. Despite the impressive accomplishments, large language mo

hipporag mammalian brains retrieval framework knowledge integration question answering

发现论文，激发创造

通过自学使大型语言模型能够建立知识检索索引器

该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

May, 2024

ActiveRAG: 透过主动学习揭示知识的宝藏

ActiveRAG 是一种创新的 RAG 框架，它通过使用知识构建机制和认知纽带机制将被动知识获取转变为主动学习机制，从而提高了大型语言模型的内在认知，并在问答数据集上取得了 5% 的改进。

Feb, 2024

M-RAG: 通过多个分区的检索增强生成加强大型语言模型性能

通过引入多个分区范例（称为 M-RAG），每个数据库分区作为 RAG 执行的基本单位，本文在 Retrieval-Augmented Generation（RAG）的基础上提出了一个新的框架，利用多智能体强化学习优化不同的语言生成任务。通过在七个数据集上进行的综合实验，涵盖三个语言生成任务和三种不同的语言模型架构，我们证实了 M-RAG 相对于各种基准方法的持续优势，分别在文本摘要、机器翻译和对话生成方面取得了 11％、8％和 12％的改进。

May, 2024

多跳 - RAG: 用于多跳查询的检索增强生成的基准测试

我们开发了一个新的数据集 MultiHop-RAG，它由知识库、大量的多跳查询、它们的真实答案和相应的支持证据组成，并详细介绍了构建数据集的过程。我们进行了两个实验来展示 MultiHop-RAG 的基准化效用，实验结果表明现有的 RAG 方法在检索和回答多跳查询上表现不尽人意。我们希望 MultiHop-RAG 能成为开发有效的 RAG 系统的有价值资源，从而促进 LLMs 在实践中的更广泛应用。

Jan, 2024

关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

May, 2024

大语言模型的检索增强生成：综述

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

Jan, 2024

ARAGOG：高级 RAG 输出评分

整合外部知识到大型语言模型输出，文献调研主要集中于最新方法与之前方法的比较，缺乏广泛的实验比较。本研究通过评估不同检索增强生成方法对检索精度和答案相似性的影响来填补这一空白。研究发现，Hypothetical Document Embedding (HyDE) 和大型语言模型重排能显著提高检索精度。然而，Maximal Marginal Relevance (MMR) 和 Cohere 重排在基线 Naive RAG 系统上没有明显优势，而 Multi-query 方法表现不佳。句窗检索为最有效的检索精度方法，尽管在答案相似性上表现不稳定。研究证实文件摘要索引作为一种有效的检索方法。欢迎学术界进一步探索 RAG 系统的研究，相关资源可通过我们的 GitHub 资源库 ARAGOG 进行进一步调查。

Apr, 2024

HIRO：分层信息检索优化

使用分层信息检索优化（HIRO）的查询方法，通过使用层次化结构来存储文档，从而减少返回给 LLM 的上下文并减少信息损失，提高了模型的性能。

Jun, 2024

RAG 编年史：检索器、切片器与生成器

这篇论文提出了一种在巴西葡萄牙语中实施、优化和评估 RAG 模型的最佳实践，并建立了一个简单的推理和实验流程，通过对第一本《哈利・波特》书中的问题进行回答，提出了一种有效集成检索模型、高效的表示学习和多样化数据等挑战的解决方案，并在检索者的质量上实现了 MRR@10 相对基准改进 35.4%，在应用中优化输入大小后观察到进一步提升 2.4% 的结果，最终展示了 RAG 的完整架构和推荐。

Jan, 2024