EMNLPSep, 2021

面向参考的基于场景的协同对话模型

PDF
TL;DR本文提出一个基于神经网络的对话模型，用于协同解决局部可见参考游戏。该模型通过结构化的参考解析器精准地理解对话内容，利用递归记忆处理复杂任务并采用合理的生成策略，大幅提高了任务完成率。实验结果表明，该模型相对于同领域前沿技术取得了显著的性能提升。
grounded neural dialogue modelreference gamestructured reference resolverrecurrent memorypragmatic generation procedure
发现论文，激发创造
  • 常识和命名实体感知的知识驱动对话生成

    本文提出了一种通过利用大规模常识和基于命名实体的知识实现的新型开放域对话生成模型，该模型还利用了与每个话语相关的非结构化主题特定知识，并通过使用共指提高了常识知识。提出的模型利用多跳注意力层保留对话历史和相关知识的最准确和最关键的组成部分，还用到 Commonsense and Named Entity Enhanced Attention Module。实验结果表明我们的模型在两个基准数据集上均显著优于最先进的方法。

    May, 2022

  • Space - 语言模型用于 3D 视觉基础

    提出了一种空间语言模型用于 3D 视觉定位问题，使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测，能够在 ReferIt3D 提出的数据集上表现出竞争性，可以被应用于机器人等领域的视觉任务中。

    Jul, 2021

  • 在奇幻文本冒险游戏中学习说话和行动

    本文介绍了一个大规模的众包文字冒险游戏作为研究平台，用于研究基于场景的对话。在其中，代理可以感知，表情和行动，同时与其他代理进行对话。我们介绍了在这种情况下训练最先进的生成模型和检索模型的结果。我们展示了除了过去的对话，这些模型还能够有效地使用潜在世界的状态来调整它们的预测，特别是使用本地环境的详细信息，包括位置描述和其中存在的对象（及其可用性）和角色（及其先前的行动），可以更好地预测代理行为和对话。我们分析了在这种设置中成功落地所需的要素，以及每个因素如何与能够成功说话和行动的代理相关。

    Mar, 2019

  • 反思而非反应：基于推理的共同理解提高对话响应质量

    本文提出通过使用 Reflect 数据集中的共同知识作为引导，可以改进当前的对话模型，从而生成更具质量和多样性的回复。

    Nov, 2022

  • 基于符号规划和代码生成的实地对话

    使用大型语言模型与符号规划器和基于代码执行的系统组成的模块化可解释的对话系统，在处理任务导向对话中解决了大型语言模型难于引导到任务目标和处理新颖基础的问题，并在具有抽象散点图的协作参考解决任务中显著优于之前的最新技术，包括在最具挑战性的情境中将人工评估的任务成功率从 56% 提高到 69%。

    Oct, 2023

  • 通过一种类游戏方式收集以视觉为基础的对话

    通过引入协同图像排序任务，我们解决了对于可见语境对话的研究的假设简化问题，并描述了一项涉及协作指称过程的小规模数据收集实验的结果。

    Sep, 2023

  • 自我对话交互式强化学习的物体定位

    本文介绍了一个交互式培训方法，以改进自然语言对话系统的视觉基础任务。培训过程中，共同的奖励函数引导着两个代理逐渐适应并合作完成任务，同时，该参数化奖励函数更新自身使训练效果得到了明显提高。虽然我们在训练过程中观察到了语言漂移问题，但我们提出使用奖励工程来提高生成对话的可解释性。此外，该研究结果表明评估目标为视觉对话任务时，需要比任务成功率更有语义相关性的评估标准。

    Dec, 2017

  • 连续和部分可观察背景下的共同理解自然语言语料库

    本研究提出了一项最小化的对话任务以测试和分析对话系统在复杂场景下共同理解能力，并收集了 6,760 个对话的数据集，在此基础上，我们对共同理解的重要现象进行了分析，并对利用神经模型识别共同话语的常见方法进行了评估和分析，旨在为对话系统的训练、评估和分析提供基础测试平台。

    Jul, 2019

  • 基于视觉对话的社区规范化

    本文提出并评估了一种基于多智能体社区的对话框架，在不牺牲任务性能的情况下，通过社区强制规范产生更相关和连贯的对话。

    Aug, 2018

  • 协同参考游戏中不同追随者行为的学习沟通策略

    通过评估神经人工智能代理在协作性参照游戏中对伙伴行为的适应性，本文将语言准确性和协调任务作为强化学习问题进行建模，研究了共同强化学习算法（PPO）能否训练出在不同启发式跟随者行为（在自信程度和自治程度维度上变化）下表现良好的神经引导者代理。实验结果显示，考虑到通信努力这一新因素能够导致更简洁的交流策略（在某些步骤中保持静默），同时引导者的策略确实能够根据伙伴的自信程度和自治程度进行调整。

    Feb, 2024