Feb, 2024

评估 LLM 代理商的非常长期对话记忆

PDF
TL;DR通过使用基于 LLM 的代理体系结构和将对话与人物和时间事件图进行关联，我们介绍了一个机器 - 人类管道来生成高质量的非常长期的对话，并通过人类注释者对其进行检验和编辑，以确保其长程一致性和对事件图的关联。通过这个管道，我们收集了一个包含 300 个回合和平均 9K 个记号的非常长期对话的数据集。基于该数据集，我们提出了一个全面的评估基准来衡量模型中的长期记忆，在问题回答、事件摘要和多模态对话生成任务方面。我们的实验结果表明，LLM 在理解冗长对话和理解对话中的长程时间和因果动态方面存在挑战。使用长上下文 LLM 或 RAG 等策略可以提供改进，但这些模型仍然远远落后于人类的性能。
long-term open-domain dialogueslong-context large language modelsretrieval augmented generationvery long-term dialogueslocomo dataset
发现论文，激发创造
  • 再次问候！基于 LLM 的个性化长期对话代理

    开放域对话系统的关键是提供长期陪伴和个性化互动，长期对话代理 (LD-Agent) 模型可以通过事件概括和个性化管理模块，增强自动化认知和问题解决能力。

    Jun, 2024

  • 在大型语言模型中，递归总结实现了长期的对话记忆

    使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

    Aug, 2023

  • 超越短时记忆：长期开放领域对话

    该研究探讨了长期对话设置中的开放领域对话模型表现问题，并创建多个对话会话的数据集来研究长文本模型，发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构，成为更好的选择。

    Jul, 2021

  • 面向具有上下文和时间敏感的长期记忆的对话系统

    近年来对长期记忆对话代理的兴趣越来越浓，这导致了使用检索增强生成（RAG）的语言模型的快速发展。本论文主张，在从长对话数据中进行有效的检索面临两个独特的问题：1）基于时间 / 事件的查询，要求模型根据时间或对话事件的顺序（例如，星期二的第三次对话）检索先前对话的信息；2）需要周围对话上下文才能理解的模糊查询。为了更好地开发能够应对这些挑战的 RAG 代理，我们生成了一个包含模糊查询和基于时间的问题的新数据集，该数据集是基于最新的长形模拟对话数据集的。我们证明了标准的 RAG 方法在处理这些问题时效果不佳。然后，我们开发了一种新的检索模型，结合了链式搜索方法、标准向量数据库检索和提示方法以消除查询的歧义，并证明了这种方法在解决这些任务上显著改善了现有方法的效果。我们相信，这个新数据集和更先进的 RAG 代理可以成为有效的记忆增强对话代理的关键基准和垫脚石，可用于各种人工智能应用。

    May, 2024

  • 长期人物记忆的开放域对话

    为了解决 Open Domain 对话模型在长时间对话中缺乏理解和记忆能力的问题，我们提出了一种新的任务 —— 长期记忆对话（LeMon），并构建了一个具备长期记忆机制的对话生成框架（PLATO-LTM ），允许系统在不需要多个会话数据集进行模型训练的情况下，准确提取和持续更新长期个人记忆。在 DuLeMon 的结果表明，PLATO-LTM 在长期对话一致性方面可以显著优于基线，从而导致更好的对话互动。

    Mar, 2022

  • MemoChat: 调整 LLMs 以利用备忘录进行一致的长距离开放领域对话

    为了实现保持一致的长距离开放领域对话，我们提出了 MemoChat，一种用于细化指令的流程，使得大规模的语言模型能够有效地使用自组成的备忘录。经过演示我们通过 “记忆 - 检索 - 回应” 循环实现的长距离开放领域对话，这要求我们为每个独特的阶段精心设计定制化的调优指令。这些指令是从一个公共数据集的收集中重建而来，用于教导语言模型去记忆并检索过去的对话，通过结构化的备忘录，提高在未来对话中的一致性。我们邀请专家对一个测试集进行手动注释，以评估长距离对话的一致性。在涵盖开源和可访问 API 聊天机器人的三个测试场景上的实验证明了 MemoChat 的有效性，它优于强基线模型。

    Aug, 2023

  • 利用 LLMs 进行对话质量测量

    该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的 LLMs 优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的 LLMs 可以用于自动对话评估。

    Jun, 2024

  • 检索与推理相遇：长文本理解的动态上下文编辑

    通过动态上下文编辑的方式，我们引入了一种新的方法，将信息检索重新设想，使长文本上下文成为可塑的外部知识，并通过与最新的知识编辑技术相结合，与有关信息进行交互式收集和整合，从而使大型语言模型能够进行复杂的推理步骤，有效增强了推理能力。

    Jun, 2024

  • LongAgent: 通过多智能体协作将语言模型扩展至 128k 上下文

    通过多智能体协作的方法，我们提出了一种名为 LongAgent 的方法，将大型语言模型（例如 LLaMA）的上下文窗口扩展到 128K，并在长文本处理方面展示了相对于 GPT-4 的潜在优势。LongAgent 中，一个领导者负责理解用户意图并指导团队成员从文档中获取信息。通过开发一种成员间的信息共享机制来解决因幻觉引起的回应冲突，我们的实验结果表明 LongAgent 在长文本处理方面提供了一种有希望的选择。使用 LLaMA-7B 实例化的智能体团队相较于 GPT-4 在 128k 长文本检索、多跳问题回答等任务中取得了显著的改进。

    Feb, 2024

  • 基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

    通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

    Sep, 2023