RAM: 通过学习通信优化内存系统
提出了一种可教的推理系统，利用用户反馈构建动态记忆，将其作为问题回答的上下文，以避免相似新情景中之前的错误。实验表明，该系统在不进行模型重训练的情况下，只需要对 25% 的训练示例进行反馈即可接近最优解，并且可以通过用户反馈不断改进性能。
Apr, 2022
本研究介绍了一种灵感来源于人类长期记忆的大脑索引理论的新型检索框架 HippoRAG，通过协同作用 LLMs、知识图谱和 Personalized PageRank 算法模拟新经历的深度高效知识整合。与 RAG 方法进行多跳问答比较后表明 HippoRAG 方法表现出色，并超过先进方法 20%。与 IRCoT 相比，HippoRAG 的单步检索具有可比或更好的性能，并且成本更低、速度更快。此外，将 HippoRAG 引入 IRCoT 可以进一步获得显著的收益，同时展示了该方法可以处理现有方法无法解决的新式场景。
May, 2024
为了构建人类化的聊天机器人，构建一个长期记忆是至关重要的。本文提出了一个新颖的记忆方案 CREEM，通过混合过去的记忆并引入精炼过程来改善聊天机器人回应的整体效果和一致性，确保一个更加明智和动态发展的长期记忆。
Mar, 2024
近年来对长期记忆对话代理的兴趣越来越浓，这导致了使用检索增强生成（RAG）的语言模型的快速发展。本论文主张，在从长对话数据中进行有效的检索面临两个独特的问题：1）基于时间 / 事件的查询，要求模型根据时间或对话事件的顺序（例如，星期二的第三次对话）检索先前对话的信息；2）需要周围对话上下文才能理解的模糊查询。为了更好地开发能够应对这些挑战的 RAG 代理，我们生成了一个包含模糊查询和基于时间的问题的新数据集，该数据集是基于最新的长形模拟对话数据集的。我们证明了标准的 RAG 方法在处理这些问题时效果不佳。然后，我们开发了一种新的检索模型，结合了链式搜索方法、标准向量数据库检索和提示方法以消除查询的歧义，并证明了这种方法在解决这些任务上显著改善了现有方法的效果。我们相信，这个新数据集和更先进的 RAG 代理可以成为有效的记忆增强对话代理的关键基准和垫脚石，可用于各种人工智能应用。
May, 2024
本文介绍了通过使用 Retrieval Augmented Generation（RAG）来改善问题求解性能的 ARM-RAG（Auxiliary Rationale Memory for Retrieval Augmented Generation）系统，并展示了存储和检索推理链对于小学数学问题的性能具有积极影响。
Nov, 2023
通过实验研究了不同的检索方法对几种翻译体系结构的影响，以更好地理解检索和生成两个过程之间的相互作用。研究表明，检索技术的选择会影响翻译结果，且不同体系结构之间存在方差。此外，研究还探讨了增加示例数量和多样性的效果，普遍上是积极的。
Apr, 2024
ActiveRAG 是一种创新的 RAG 框架，它通过使用知识构建机制和认知纽带机制将被动知识获取转变为主动学习机制，从而提高了大型语言模型的内在认知，并在问答数据集上取得了 5% 的改进。
Feb, 2024
我们介绍了 MemLLM，这是一种通过整合结构化且显式的读写内存模块来增强 LLMs 的新方法。 MemLLM 通过使内存与 LLM 的动态交互，改善了 LLM 在使用存储的知识方面的能力，从而解决了上述挑战。我们的实验结果表明，MemLLM 提高了 LLM 的性能和可解释性，尤其是在语言建模和知识密集型任务中。我们认为 MemLLM 是使 LLMs 通过内存增强更加扎实和事实准确的重要一步。
Apr, 2024