Jun, 2023

UniMC：通过相关性表示学习的长期记忆对话统一框架

PDF
TL;DR本文提出了一种建立长期亲密关系的开放领域长期记忆对话模型框架 UniMC，该模型通过学习相关表示增强了不同任务子模块之间的联系，并通过参数共享和联合训练优化了对话的连贯性和魅力。
open-domain long-term memory conversationunimcrelevance representation learningmemory retrievalmemory-augmented generation
发现论文，激发创造
  • UniMem：面向长上下文大型语言模型的统一视图

    提出了 UniMem 框架，将现有的长上下文处理方法从记忆增强的角度进行统一；通过分析 Transformer-XL、Memorizing Transformer、RMT 和 Longformer 等方法，揭示它们的设计原理和优势；基于这些分析，提出了整合这些算法优势的创新方法 UniMix，并通过实验证明了 UniMix 在处理长上下文方面具有比基准模型更低的困惑度。

    Feb, 2024

  • 评估 LLM 代理商的非常长期对话记忆

    通过使用基于 LLM 的代理体系结构和将对话与人物和时间事件图进行关联，我们介绍了一个机器 - 人类管道来生成高质量的非常长期的对话，并通过人类注释者对其进行检验和编辑，以确保其长程一致性和对事件图的关联。通过这个管道，我们收集了一个包含 300 个回合和平均 9K 个记号的非常长期对话的数据集。基于该数据集，我们提出了一个全面的评估基准来衡量模型中的长期记忆，在问题回答、事件摘要和多模态对话生成任务方面。我们的实验结果表明，LLM 在理解冗长对话和理解对话中的长程时间和因果动态方面存在挑战。使用长上下文 LLM 或 RAG 等策略可以提供改进，但这些模型仍然远远落后于人类的性能。

    Feb, 2024

  • 在大型语言模型中，递归总结实现了长期的对话记忆

    使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

    Aug, 2023

  • 基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

    通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

    Sep, 2023

  • RecallM: 时序上下文理解与问答的一种架构

    通过实验展示了 RecallM 架构对 AGI 系统提供的改进的时间理解能力，从而提出了一种面向 AGI 系统的可适应和可更新的长期记忆机制。

    Jul, 2023

  • UniGen: 一个面向检索和问答的统一生成框架，利用大型语言模型

    UniGen 是一种集成了生成式检索和问答功能的统一生成模型，通过使用大型语言模型，UniGen 采用一个共享编码器和两个不同的解码器，引入连接器来弥补查询输入和生成目标、文档标识符和答案之间的差距，并提出了一种迭代增强策略来通过生成的答案和检索的文档迭代地改进两个任务，在 MS MARCO 和 NQ 数据集上的广泛实验证明了 UniGen 在检索和问答任务中具有优越的性能。

    Dec, 2023

  • 通过回忆门 LSTM 将松散结构化知识融入对话建模

    本文提出了深度神经网络结合领域知识来加强人类对话模型的方法，通过特定设计的回想门模型，将领域知识转化为 LSTM 的额外全局记忆来协作捕捉对话句子之间的语义相关性。同时，我们还介绍了一种松散结构的领域知识库来辅助我们的方法，实验结果表明这种方法在选择定向回应任务上表现良好，非常适合用于训练自动聊天系统。

    May, 2016

  • 语言理解通用多模态表示

    本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

    Jan, 2023

  • 预训练通用语言表示

    本研究提出了一个通用的语言表示学习方法 MiSAD，通过利用大型未标记语料库中提取的有意义的 n-gram，实现对不同层次语言单位或具有相当不同长度的文本的嵌入形式，从而使手头的多个语言层次的信息能够更好地统一处理，并且在 GLUE 基准和问答数据集上显著提高了下游任务的性能以及在不同语言层次上实现了最高准确率。

    May, 2021

  • 多目标会话推荐系统的统一多任务学习框架

    提出了一种名为 UniMIND 的基于序列到序列范例的统一多目标会话推荐系统，采用基于提示的学习策略进行多任务学习，在两种 MG-CRS 基准（DuRecDial 和 TG-ReDial）上取得了最先进的性能。

    Apr, 2022