Feb, 2024

压缩以惊艳：释放现实世界长期对话中压缩内存的潜能

PDF
TL;DR通过 COmpressive Memory-Enhanced Dialogue sYstems (COMEDY) 框架，利用压缩记忆的概念将实际用户 - 聊天机器人交互转化为简洁的记忆格式，该研究证明 COMEDY 比传统的基于检索的方法更能产生细致而人类化的对话体验。
retrieval-based methodscompressive memory-enhanced dialogue systems (comedy)compressive memoryreal user-chatbot interactionsconversational experiences
发现论文，激发创造
  • 利用任务导向对话系统导航连接的记忆

    本文提出一种通过多轮互动对话进行个人媒体检索的方法，并利用一个基于任务的数据集 COMET 对其进行评估和基准测试。

    Nov, 2022

  • 通过上下文感知的角色修正，在长期对话中增强常识辅助的记忆构建和管理

    通过经过设计的策略，本文提出了一种新的框架，利用常识为多轮对话中的回复生成提供更丰富的人物信息，从而改善回应质量。

    Jan, 2024

  • CoMPM: 对话中基于说话人预训练记忆跟踪的情感识别的上下文建模

    本文介绍了一种将预训练语言模型作为外部知识提取器的情感识别系统 CoMPM，该系统通过组合演讲者的预训练记忆和上下文模型，显著提高了性能，并在不依靠结构化数据的系统中达到了第一或第二的性能表现，同时表明该方法可以扩展到其他语言。

    Aug, 2021

  • 在线语言模型交互的压缩上下文记忆

    本文提出一种在在线场景（如 ChatGPT）中用于 Transformer 语言模型的新型上下文压缩方法，将不断扩展的上下文压缩到紧凑的记忆空间中，并通过轻量级条件 LoRA 在推理过程中实现对压缩上下文记忆的操作，从而减小内存和注意力操作，实现与完整上下文模型相当的性能，但所需上下文内存空间仅为原来的五分之一。

    Dec, 2023

  • UniMC：通过相关性表示学习的长期记忆对话统一框架

    本文提出了一种建立长期亲密关系的开放领域长期记忆对话模型框架 UniMC，该模型通过学习相关表示增强了不同任务子模块之间的联系，并通过参数共享和联合训练优化了对话的连贯性和魅力。

    Jun, 2023

  • 评估 LLM 代理商的非常长期对话记忆

    通过使用基于 LLM 的代理体系结构和将对话与人物和时间事件图进行关联，我们介绍了一个机器 - 人类管道来生成高质量的非常长期的对话，并通过人类注释者对其进行检验和编辑，以确保其长程一致性和对事件图的关联。通过这个管道，我们收集了一个包含 300 个回合和平均 9K 个记号的非常长期对话的数据集。基于该数据集，我们提出了一个全面的评估基准来衡量模型中的长期记忆，在问题回答、事件摘要和多模态对话生成任务方面。我们的实验结果表明，LLM 在理解冗长对话和理解对话中的长程时间和因果动态方面存在挑战。使用长上下文 LLM 或 RAG 等策略可以提供改进，但这些模型仍然远远落后于人类的性能。

    Feb, 2024

  • 基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

    通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

    Sep, 2023

  • 超越短时记忆：长期开放领域对话

    该研究探讨了长期对话设置中的开放领域对话模型表现问题，并创建多个对话会话的数据集来研究长文本模型，发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构，成为更好的选择。

    Jul, 2021

  • 情感支持对话的知识增强记忆模型

    通过知识增强的记忆模型来解决情感支持对话中的情感变化、响应可行性和策略建模等挑战，并在广泛使用的大规模数据集上进行了实验证明模型的优越性。

    Oct, 2023

  • 在大型语言模型中，递归总结实现了长期的对话记忆

    使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

    Aug, 2023