IJCAIFeb, 2019

通过自适应推理和加权似然估计的生成式视觉对话系统

PDF
TL;DR本文提出了一种新的训练方案，结合加权最大似然估计方法，解决视觉对话系统中基于最大似然估计方法学习正例回答而忽略负面回答导致响应过于安全或普遍的问题。此外，作者还设计了自适应多模态推理模块，自动适应不同的对话场景并选择相关信息，实验结果证明了他们的算法在 recall@10 上的优越性。
generative visual dialoguemaximum likelihood estimationmulti-modal reasoningweighted likelihood estimationnatural language processing
发现论文，激发创造
  • 透过对抗学习实现有理据的视觉对话生成

    本文提出了一种基于强化学习和生成对抗网络的新方法，结合注意力机制为每个回答生成可解释的理由，从而在保持自然对话的一致性的同时回答正确地回答问题，取得了当前主要基准测试的最先进结果。

    Nov, 2017

  • 将判别学习中的知识转移至生成式视觉对话模型的最佳方法

    本文提出一种新的训练神经序列模型，将判别式对话模型的知识传递到生成式对话模型中，通过 Gumbel-Softmax 逼近离散分布，建立了一个可端对端训练的生成式视觉对话模型，并在视觉对话数据集上显著优于现有模型 (10 个问题中有 2.67 个问题得分有所提高)。

    Jun, 2017

  • 视频对话生成中的多模态语义图协同推理

    本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。

    Oct, 2022

  • 统一多模态模型结合非可能训练用于视觉对话

    本文提出了一种名为 UniMM-UL 的统一多模态模型，它使用 Unlikelihood Training 方法来探索负样本中使用的有用知识，具有比先前工作更好的生成结果和与最先进技术相媲美的区分结果，并支持视觉对话理解和生成的多任务学习。

    Nov, 2022

  • DualVD：一种用于视觉对话中深度视觉理解的自适应双编码模型

    该研究提出了一种新的模型来从视觉和语义两个角度描述图像，在多角度图像特征的基础上提出了特征选择框架，逐层适应性地捕捉问题相关信息，并在基准视觉对话数据集上取得了最先进的结果。更重要的是，通过可视化门控值，我们能够确定视觉和语义哪个模式在回答当前问题中发挥更重要的作用，为我们理解人类认知在视觉对话中的作用提供了见解。

    Nov, 2019

  • 面向任务的多模态层次强化学习策略：视觉对话

    通过多模态层次强化学习框架和状态适应技术，实现了语音和图像的目标驱动对话。在图像猜谜游戏中进行了实验，取得了良好的效果。

    May, 2018

  • 使用结构和部分观测推理视觉对话

    本文提出了一种新的模型来解决复杂的视觉对话结构问题，并将其明确地形式化为具有部分观察节点和未知图结构（对话中的关系）的图形模型中的推断问题。通过期望最大化算法，我们可以在推理过程中推断出潜在的对话结构和所需的答案值，并提出了一种可微分图神经网络解决方案。实验证明，我们的模型在 VisDial 和 VisDial-Q 数据集上表现优异，并且能够推断出更好的对话推理潜在结构。

    Apr, 2019

  • 神经对话生成的分组对比学习

    本研究利用对比学习方法，在已有预训练模型为基础上，训练对话生成模型，提高其多样性和能力以应对开放领域会话问题，并提出一种适用于广泛对话生成模型的群内对比学习框架，实验结果表明该方法在性能上表现优异。

    Sep, 2020

  • 通过实体为基础的策略学习和增强猜测器来增强视觉对话问答系统

    在 Q-Bot-A-Bot 图像猜测游戏设置下，利用强化学习与监督学习等方式构建一个关于视觉对话问题的相关实体增强问答系统 (ReeQ) 和基于增强学习的可靠游戏者 (AugG)，这一方案在 VisDial v1.0 数据集上达到了最佳表现，能够提供更多视觉相关、丰富和连贯的问题。

    Sep, 2021

  • 面向目标导向视觉对话的答案驱动视觉状态估计器

    本文提出了一种基于答案驱动的视觉状态估计器，用于目标视觉内容的更新和问题生成，并在 GuessWhat?! 数据集上完成了问题生成和猜测任务，获得了最先进的表现。

    Oct, 2020