May, 2023

Open-Domain 会话系统中内存管理的轻松集成

PDF
TL;DR该研究提出了一种简单的方法，通过将记忆管理能力集成到 BlenderBot3 中，并使用自动数据集创建方法来改进 open-domain conversation systems。实验结果表明，多任务培训的 BlenderBot3-M^3 相对于 BlenderBot3 在 F1 得分方面提高了 4%。
open-domain conversation systemsmodular approachmemory managementdataset creationmulti-task training
发现论文，激发创造
  • 长期人物记忆的开放域对话

    为了解决 Open Domain 对话模型在长时间对话中缺乏理解和记忆能力的问题，我们提出了一种新的任务 —— 长期记忆对话（LeMon），并构建了一个具备长期记忆机制的对话生成框架（PLATO-LTM ），允许系统在不需要多个会话数据集进行模型训练的情况下，准确提取和持续更新长期个人记忆。在 DuLeMon 的结果表明，PLATO-LTM 在长期对话一致性方面可以显著优于基线，从而导致更好的对话互动。

    Mar, 2022

  • BlenderBot 3：部署的会话代理，不断学习负责任地参与

    BlenderBot 3 是一个能够进行开放域对话并具有互联网访问和长期记忆的、已经在大量用户定义的任务上训练的 175B 参数对话模型，本文介绍了模型构建的过程和部署的详细信息，包括安全机制，并详细说明了通过模型部署收集数据的不断学习计划。

    Aug, 2022

  • 多模态开放领域对话

    本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot 一样好，同时我们还研究并整合了安全组件，展示这种努力不会削弱模型性能方面的吸引力度量。

    Oct, 2020

  • 超越短时记忆：长期开放领域对话

    该研究探讨了长期对话设置中的开放领域对话模型表现问题，并创建多个对话会话的数据集来研究长文本模型，发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构，成为更好的选择。

    Jul, 2021

  • 通过混合和改善历史实现不断演进的记忆

    为了构建人类化的聊天机器人，构建一个长期记忆是至关重要的。本文提出了一个新颖的记忆方案 CREEM，通过混合过去的记忆并引入精炼过程来改善聊天机器人回应的整体效果和一致性，确保一个更加明智和动态发展的长期记忆。

    Mar, 2024

  • 长期对话中的内存管理

    本研究提出了一个用于长期对话中内存管理的任务和相应的数据集，在此，机器人可通过多个会话引用并跟踪用户的最新信息，并通过将内存表示为关键信息的非结构化文本描述，并提出了一种新的内存管理机制，选择性地消除失效或冗余信息。实验结果表明，与基准相比，我们的方法在增强性和人性方面表现出更好的性能差距，尤其是在后面的会话中。

    Oct, 2022

  • 低资源开放领域生成式聊天机器人的适应

    我们提出了一种通用的框架，该框架可以在保持低参数的前提下，同时保持聊天机器人的通用知识和特定领域的能力，并可以在交互中实现无缝转换，并通过对话进行参考跟踪和去除不一致的回应来改善数字助手的交互效果。

    Aug, 2021

  • 面向对话代理的持续学习

    本文介绍了一种基于最新的神经网络连续学习技术的领域无关的神经对话模型，同时提出了一种新颖的神经连续学习算法，能够以数据 - 效率的方式跨越不同任务积累技能，在客户支持领域通过从合成对话或人类之间的对话到人 - 计算机对话的连续技能转移来验证方法的功效。

    Dec, 2017

  • 评估对话代理程序整合技能的能力

    本研究探讨了几种结合不同能力的机器学习模型，旨在实现一个综合性的对话系统，并提出了一个新的数据集 BlendedSkillTalk，通过比较不同架构和训练方案的表现来分析这些能力如何在自然对话中融合。研究结果表明，相比于单一技能的模型，多任务训练可以更好地提高混合会话的表现，而统一或二阶段方法都可以表现良好，关键在于避免不必要的技能选择偏差或在新任务上进行微调。

    Apr, 2020

  • 面向任务的对话的多级内存

    本研究提出了一种新的多层内存体系结构，不同于三元组设计，用于建模对话上下文和知识库结果，该方法在三个公开的面向任务的对话数据集上实验，结果表明在实体 F1 和 BLEU 得分上比现有的最先进的模型提高了 15-25%。

    Oct, 2018