COLINGMay, 2018

询问无益：决定何时在指称视觉对话中猜测

PDF
TL;DR本文研究了如何将对话管理器的能力融入端到端的基于视觉的对话代理，通过增加一个决策组件来决定是否询问一个图像中的目标指代，可以减少冗余和不必要的问题，并且可能导致更高效和更自然的交互。
dialogue managervisually grounded conversational agentstask-oriented visual dialogue modeldecision-making componentnatural interactions
发现论文，激发创造
  • 使用对话信息奖励实现目标导向的视觉对话：我应该问什么？

    本文研究了目标导向的视觉对话任务，提出了一种结合强化学习和正则化信息增益的端到端目标导向视觉对话系统，并在 GuessWhat？！数据集上进行了测试，取得了优于当前最先进模型的显著结果。

    Jul, 2019

  • 如何提问？以不确定性为指导的目标导向问题

    本篇论文提出了基于贝叶斯模型和不确定性感知的信息寻求模型，以解决视觉对话问题中 agent 提出问题的困难。实验结果表明，在两种挑战性的问题中，我们的方法都优于其它相应的方法。

    Dec, 2018

  • 在目标导向的视觉对话中指出人类答案错误

    通过分析以前未使用的人类错误数据集，展示了人类回答错误与问题类型和视觉对话中的问答轮次的相关性，并通过使用简单的 MLP 模型和视觉语言模型的实验，证明了这些因素对于模型准确性在指向人类错误任务中的有效性。

    Sep, 2023

  • 超越任务成功：关注同时学习观察、提问和猜测

    本文提出了一种基于视觉支撑和对话系统组件融合的对话状态编码器，并以猜谜游戏 GuessWhat?! 为测试基地。通过多任务学习和协作学习，得出本文方法比基准系统更准确且具备更好的语言技能。

    Sep, 2018

  • 目标驱动和视觉对话系统的全流程优化

    本文介绍了一种基于深度强化学习的方法，使用策略梯度算法来优化基于任务且与视觉相关的对话，该方法在通过 Mechanical Turk 收集的 12 万个对话数据集上进行了测试，并提供了鼓舞人心的结果，可以解决生成自然对话和在复杂图像中发现特定对象的问题。

    Mar, 2017

  • 利用注意力记忆进行视觉对话的视觉参考解析

    本文提出了一种新的基于关联关注记忆的注意力机制，用于解决视觉对话场景下的模糊引用问题，通过在一个新的合成数据集上的实验验证，表明该模型在解决视觉引用问题的重要场景下，比现有技术水平显著提高了 16%；此外，该模型在视觉对话数据集上的表现也优于原有基线模型，而且参数数量明显更少。

    Sep, 2017

  • 寻求确认：一种有效且类人的视觉对话策略

    在视觉对话任务中生成面向目标的问题是一个具有挑战性且长期存在的问题。本文提出了一种基于信息搜索和跨情境单词学习的认知文献的启发式模型 Confirm-it 来生成更自然和有效的问题，并在 GuessWhat?! 游戏上进行了案例研究。

    Sep, 2021

  • 双人博弈：具有辨别式问题生成和回答的视觉对话

    展示了一个简单对称的辨别性基线，该基线可用于预测答案和问题，其性能与最先进的记忆网络方法相当。此外，首次在视觉对话数据集上评估了提问系统的性能，并展示了如何从辨别式问题生成和问题回答生成视觉对话。

    Mar, 2018

  • 问者心中的回答者：面向目标的视觉对话的信息论方法

    本研究提出了一种新的信息理论策略： 基于该策略的 AQM 模型能有效地处理面向目标的对话任务， 尤其是在问答者句子序列学习方面的复杂性，与其他相比，经验证明 AQm 更胜一筹。

    Feb, 2018

  • 从 VQA 数据中学习视觉对话代理

    研究如何提高视觉对话代理的适应性，使其可以在不忘记如何与人交谈的情况下，高效地适应新任务。通过分解意图和语言，减少在新任务中语言漂移的情况，并通过定性结果、自动化指标和人类研究证明我们的模型可以适应新任务并保持语言质量。

    Jul, 2020