ICCVSep, 2023

在目标导向的视觉对话中指出人类答案错误

PDF
TL;DR通过分析以前未使用的人类错误数据集，展示了人类回答错误与问题类型和视觉对话中的问答轮次的相关性，并通过使用简单的 MLP 模型和视觉语言模型的实验，证明了这些因素对于模型准确性在指向人类错误任务中的有效性。
发现论文，激发创造
  • 视觉对话

    本文介绍了视觉对话任务，即通过图像、对话历史和问题，要求 AI 智能体以自然、对话式的语言与人类进行有意义的对话，并率先提出了一种基于视觉的通用测试方法以及一种新颖的二人聊天数据收集协议。在此基础上，利用 Latre Fusion、Hierarchical Recurrent Encoder 和 Memory Network 等三个编码器和两个解码器（生成式和判别式），超越了许多复杂的基准线，并采用了基于检索的评估协议，Quantify 了机器和人类在视觉对话任务上的性能差距，进而演示了第一款 “视觉聊天机器人”。

    Nov, 2016

  • 双人博弈：具有辨别式问题生成和回答的视觉对话

    展示了一个简单对称的辨别性基线，该基线可用于预测答案和问题，其性能与最先进的记忆网络方法相当。此外，首次在视觉对话数据集上评估了提问系统的性能，并展示了如何从辨别式问题生成和问题回答生成视觉对话。

    Mar, 2018

  • 使用对话信息奖励实现目标导向的视觉对话：我应该问什么？

    本文研究了目标导向的视觉对话任务，提出了一种结合强化学习和正则化信息增益的端到端目标导向视觉对话系统，并在 GuessWhat？！数据集上进行了测试，取得了优于当前最先进模型的显著结果。

    Jul, 2019

  • 询问无益：决定何时在指称视觉对话中猜测

    本文研究了如何将对话管理器的能力融入端到端的基于视觉的对话代理，通过增加一个决策组件来决定是否询问一个图像中的目标指代，可以减少冗余和不必要的问题，并且可能导致更高效和更自然的交互。

    May, 2018

  • 从 VQA 数据中学习视觉对话代理

    研究如何提高视觉对话代理的适应性，使其可以在不忘记如何与人交谈的情况下，高效地适应新任务。通过分解意图和语言，减少在新任务中语言漂移的情况，并通过定性结果、自动化指标和人类研究证明我们的模型可以适应新任务并保持语言质量。

    Jul, 2020

  • 人机对话学习

    本文探讨了使用增强学习的方式，通过与人类交互并接受其反馈来提高对话代理的能力，模拟了在人工环境中的各种学习情况，介绍了适用于此类学习的模型，并通过机械土耳其实验验证了此方法。

    Nov, 2016

  • 寻求确认：一种有效且类人的视觉对话策略

    在视觉对话任务中生成面向目标的问题是一个具有挑战性且长期存在的问题。本文提出了一种基于信息搜索和跨情境单词学习的认知文献的启发式模型 Confirm-it 来生成更自然和有效的问题，并在 GuessWhat?! 游戏上进行了案例研究。

    Sep, 2021

  • 通过回答不同的问题，改进生成式视觉对话

    通过辅助目标激励 Qbot 多样性提问以减少重复，从而达到更好的视觉对话效果，在保证与前期研究同等图像相关性的同时，大大提升了对话的多样性、一致性、流畅度和细节。

    Sep, 2019

  • 从知识增强到多任务学习：走向类人对话系统

    研究人工智能中的对话代理，探索深度学习技术如何提高人工对话代理水平。

    Nov, 2022

  • 透过对抗学习实现有理据的视觉对话生成

    本文提出了一种基于强化学习和生成对抗网络的新方法，结合注意力机制为每个回答生成可解释的理由，从而在保持自然对话的一致性的同时回答正确地回答问题，取得了当前主要基准测试的最先进结果。

    Nov, 2017