EMNLPOct, 2022

长期对话中的内存管理

PDF
TL;DR本研究提出了一个用于长期对话中内存管理的任务和相应的数据集，在此，机器人可通过多个会话引用并跟踪用户的最新信息，并通过将内存表示为关键信息的非结构化文本描述，并提出了一种新的内存管理机制，选择性地消除失效或冗余信息。实验结果表明，与基准相比，我们的方法在增强性和人性方面表现出更好的性能差距，尤其是在后面的会话中。
memory managementlong-term conversationsinformation recallbot communicationnatural language processing
发现论文，激发创造
  • 通过混合和改善历史实现不断演进的记忆

    为了构建人类化的聊天机器人，构建一个长期记忆是至关重要的。本文提出了一个新颖的记忆方案 CREEM，通过混合过去的记忆并引入精炼过程来改善聊天机器人回应的整体效果和一致性，确保一个更加明智和动态发展的长期记忆。

    Mar, 2024

  • 那些不是你的记忆，是别人的：在聊天机器人中植入错误信息

    本文研究了聊天机器人长时记忆机制，发现它容易受到误导，记住错误信息并在后续对话中回答。我们用 BlenderBot2 和 BlenderBot3 等模型对其漏洞性进行了演示和评估，发现当误导信息存在于长时记忆中时，聊天机器人更容易以其为事实回答相关问题。

    Apr, 2023

  • MemoryBank：用长期内存增强大语言模型

    提出了 MemoryBank，这是一种采用 Ebbinghaus 遗忘曲线中的记忆更新机制的新型记忆机制，旨在解决长期交互中 LLM 的记忆缺陷问题，并通过与心理对话调整提高其同理心。通过实验研究，证明了 MemoryBank 能够成功提高聊天机器人在长期 AI Companion 中的表现能力。

    May, 2023

  • 超越短时记忆：长期开放领域对话

    该研究探讨了长期对话设置中的开放领域对话模型表现问题，并创建多个对话会话的数据集来研究长文本模型，发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构，成为更好的选择。

    Jul, 2021

  • THEANINE: 长期对话中记忆管理的再思考与时间线增强的回应生成

    在此论文中，我们重新审视了在大型语言模型时代中增强记忆的响应生成。我们提出了 Theanine 框架，该框架通过记忆时间线来增强大型语言模型的响应生成，这些时间线展示了相关过去事件的发展和因果关系。同时，我们还引入了 TeaFarm，这是一个基于虚拟情境的问题回答流程，解决了长期对话中 G-Eval 的局限性。

    Jun, 2024

  • 基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

    通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

    Sep, 2023

  • 长期人物记忆的开放域对话

    为了解决 Open Domain 对话模型在长时间对话中缺乏理解和记忆能力的问题，我们提出了一种新的任务 —— 长期记忆对话（LeMon），并构建了一个具备长期记忆机制的对话生成框架（PLATO-LTM ），允许系统在不需要多个会话数据集进行模型训练的情况下，准确提取和持续更新长期个人记忆。在 DuLeMon 的结果表明，PLATO-LTM 在长期对话一致性方面可以显著优于基线，从而导致更好的对话互动。

    Mar, 2022

  • 思维中存：长期记忆使 LLMs 具备召回和事后思考能力

    提出了一种称为 TiM（Think-in-Memory）的新型记忆机制，通过保存后思考的思想作为历史记录，使得 LLMs 能够维护进化的记忆以存储历史思想，并且通过引入局部敏感哈希实现了对长期对话的高效检索，从而显著提升了现有 LLMs 在生成长期互动响应方面的性能。

    Nov, 2023

  • 通过上下文感知的角色修正，在长期对话中增强常识辅助的记忆构建和管理

    通过经过设计的策略，本文提出了一种新的框架，利用常识为多轮对话中的回复生成提供更丰富的人物信息，从而改善回应质量。

    Jan, 2024

  • 评估 LLM 代理商的非常长期对话记忆

    通过使用基于 LLM 的代理体系结构和将对话与人物和时间事件图进行关联，我们介绍了一个机器 - 人类管道来生成高质量的非常长期的对话，并通过人类注释者对其进行检验和编辑，以确保其长程一致性和对事件图的关联。通过这个管道，我们收集了一个包含 300 个回合和平均 9K 个记号的非常长期对话的数据集。基于该数据集，我们提出了一个全面的评估基准来衡量模型中的长期记忆，在问题回答、事件摘要和多模态对话生成任务方面。我们的实验结果表明，LLM 在理解冗长对话和理解对话中的长程时间和因果动态方面存在挑战。使用长上下文 LLM 或 RAG 等策略可以提供改进，但这些模型仍然远远落后于人类的性能。

    Feb, 2024