visual dialogue | BriefGPT - AI 论文速递

关键词visual dialogue

搜索结果 - 13

ICCV在目标导向的视觉对话中指出人类答案错误
通过分析以前未使用的人类错误数据集，展示了人类回答错误与问题类型和视觉对话中的问答轮次的相关性，并通过使用简单的 MLP 模型和视觉语言模型的实验，证明了这些因素对于模型准确性在指向人类错误任务中的有效性。
PDF10 months ago
ACL多模态增量变压器结合视觉定位生成视觉对话
该研究提出了一种多模态增量变形器（MITVG）的视觉指向方法，该方法可以显式地定位与文本实体相关的图像对象，从而帮助模型排除不需要关注的视觉内容，进而在多轮对话历史记录和视觉场景的基础上生成一致且连贯的响应。该模型在 VisDial v0.
PDF3 years ago
EMNLP寻求确认：一种有效且类人的视觉对话策略
在视觉对话任务中生成面向目标的问题是一个具有挑战性且长期存在的问题。本文提出了一种基于信息搜索和跨情境单词学习的认知文献的启发式模型 Confirm-it 来生成更自然和有效的问题，并在 GuessWhat?! 游戏上进行了案例研究。
PDF3 years ago
MMKBGN：基于知识桥接图网络的视觉 - 文本问答自适应推理
本文提出了一种新颖的知识桥梁图网络模型，该模型使用图形在细粒度上构建跨模式语义关系的桥梁，通过自适应信息选择模式检索所需的知识，从而清晰地提取视觉对话的推理线索，并通过实验结果在 VisDial v1.0 和 VisDial-Q 数据集上展
PDF4 years ago
IJCAIDAM: 在视觉对话中生成详细且不重复回复的思考、放弃和记忆网络
本文提出了一种新的生成解码结构，其中单词的生成被分解成一系列基于注意力的信息选择步骤。利用 Deliberation、Abandon 和 Memory 模块来进行适应性选择，结合了编码器捕获的响应级语义和为生成每个单词专门选择的单词级语义。
PDF4 years ago
AAAIDualVD：一种用于视觉对话中深度视觉理解的自适应双编码模型
该研究提出了一种新的模型来从视觉和语义两个角度描述图像，在多角度图像特征的基础上提出了特征选择框架，逐层适应性地捕捉问题相关信息，并在基准视觉对话数据集上取得了最先进的结果。更重要的是，通过可视化门控值，我们能够确定视觉和语义哪个模式在回答
PDF5 years ago
AAAI视觉对话状态跟踪及其应用于问题生成
该论文提出了一种基于视觉对话状态跟踪（VDST）的方法，用于生成关于图片中目标的问题，该方法将对话状态表示和跟踪作为重点。该方法利用分布和对象差异注意力等特征来生成问题，并通过 GuessWhat！数据集的实验结果证明其在减少重复问题等方面
PDF5 years ago
基于共识的对话游戏：强调视觉对话环境中的交流基础
本文介绍了一种通过协议达成共识的对话设置，除任务级别目标外，还有一个次要的、显式的目的 —— 达成对任务级别目标是否达成的共识 —— 使得会话参与者更关心彼此的理解，从而产生更丰富的数据以推导模型。
PDF5 years ago
AAAI基于反应式多阶段特征融合的多模态对话建模
本文提出了一种直观的机制，通过多个阶段融合特征和注意力以很好地集成多模式特征，以解决音频视觉场景感知对话任务，并进一步分析了各种最先进的模型在该任务上的泛化能力。
PDF5 years ago
没有视觉或对话的视觉对话
使用基于规范相关分析 (CCA) 的简单方法，我们对视觉对话进行了特征描述，并指出现有方法存在的问题。该方法忽略了视觉刺激和对话排序，不需要梯度，具有较少的参数数量和学习时间，并在标准数据集上达到了接近最先进的性能水平，进一步分析了数据集的
PDF6 years ago
如何提问？以不确定性为指导的目标导向问题
本篇论文提出了基于贝叶斯模型和不确定性感知的信息寻求模型，以解决视觉对话问题中 agent 提出问题的困难。实验结果表明，在两种挑战性的问题中，我们的方法都优于其它相应的方法。
PDF6 years ago
ECCV多跳特征调节视觉推理
本文提出了在卷积神经网络中多次迭代地生成 Feature-wise Linear Modulation（FiLM）层参数的方法，以更好地处理诸如对话等较长的输入序列，并在 GuessWhat？！视觉对话任务中显著优于之前的最新技术和单次 F
PDF6 years ago
透过对抗学习实现有理据的视觉对话生成
本文提出了一种基于强化学习和生成对抗网络的新方法，结合注意力机制为每个回答生成可解释的理由，从而在保持自然对话的一致性的同时回答正确地回答问题，取得了当前主要基准测试的最先进结果。
PDF7 years ago