EMNLPSep, 2021

通过实体为基础的策略学习和增强猜测器来增强视觉对话问答系统

PDF
TL;DR在 Q-Bot-A-Bot 图像猜测游戏设置下，利用强化学习与监督学习等方式构建一个关于视觉对话问题的相关实体增强问答系统 (ReeQ) 和基于增强学习的可靠游戏者 (AugG)，这一方案在 VisDial v1.0 数据集上达到了最佳表现，能够提供更多视觉相关、丰富和连贯的问题。
发现论文，激发创造
  • 使用深度强化学习学习协作视觉对话代理

    本文介绍了一种基于深度强化学习的视觉问答和对话代理训练方法，通过协作游戏中的自然语言对话，演示了 'visual' 对话代理具有自主创建基于视觉属性的语言和沟通的能力，并发现强化学习有助于代理人的团队合作，促进信息交流和提高效率。

    Mar, 2017

  • 通过回答不同的问题，改进生成式视觉对话

    通过辅助目标激励 Qbot 多样性提问以减少重复，从而达到更好的视觉对话效果，在保证与前期研究同等图像相关性的同时，大大提升了对话的多样性、一致性、流畅度和细节。

    Sep, 2019

  • 语言引导的视觉问答：使用知识丰富的提示提升多模态语言模型

    对于图像中的问题，通过使用语言指导（LG）如解释、图像标题、场景图等方面的共识知识、世界知识和理解创意和概念来回答问题更准确；提出了一种多模态框架，使用 CLIP 和 BLIP 模型通过 A-OKVQA、Science-QA、VSR 和 IconQA 数据集的多选问题回答任务进行了基准测试，语言指导使得 CLIP 的性能提高了 7.6%，BLIP-2 的性能提高了 4.8%；使用所提出的语言指导在 Science-QA、VSR 和 IconQA 数据集上也观察到了持续的性能改进。

    Oct, 2023

  • 透过对抗学习实现有理据的视觉对话生成

    本文提出了一种基于强化学习和生成对抗网络的新方法，结合注意力机制为每个回答生成可解释的理由，从而在保持自然对话的一致性的同时回答正确地回答问题，取得了当前主要基准测试的最先进结果。

    Nov, 2017

  • 通过问问题学习检索视频

    提出了一种具备多轮对话交互能力的视频检索框架，该框架包括 AI agent、多模态问答生成器及信息指导监督器，实验表明其效果显著优于传统非交互方式的视频检索系统。

    May, 2022

  • ConVQG：带有多模态引导的对比式视觉问句生成

    通过使用对比可视化问题生成（ConVQG）方法，我们成功地提出了一种生成基于图像、文本约束以及知识的对比问题的方法，实验证明 ConVQG 在相关性、图像相关性和知识丰富性等方面优于现有方法，并通过人类评估显示对 ConVQG 问题的偏好。

    Feb, 2024

  • 使用对话信息奖励实现目标导向的视觉对话：我应该问什么？

    本文研究了目标导向的视觉对话任务，提出了一种结合强化学习和正则化信息增益的端到端目标导向视觉对话系统，并在 GuessWhat？！数据集上进行了测试，取得了优于当前最先进模型的显著结果。

    Jul, 2019

  • Co-VQA: 交互子问题序列回答

    本文提出了一个基于会话的视觉问答框架，包括三个组件：问话者，Oracle 和答案者，其中 ACVRM 用于答案者。通过对过程进行模拟，作者对每个问题建立了一个 SQS 来进行监督学习，实验结果表明这种方法在 VQA-CP v2 上实现了最新颖的性能。

    Apr, 2022

  • 基于图片 - 问题 - 答案协同的视觉对话网络

    本研究提出了一种图像 - 问题 - 答案协同网络来评估答案的作用，该网络将传统的一阶段解决方案扩展为两个阶段，并在 Visual Dialog v1.0 数据集中取得了最新的最高成果。

    Feb, 2019

  • 弱监督视觉问答生成

    本文提出一种弱监督视觉问答生成方法，从视觉信息和字幕中合成问答对，使用 ViLBERT 模型对其进行微调，实验结果在 VQA 数据集上表现显著优于其他先进技术。

    Jun, 2023