CVPRApr, 2019

因子图注意力

PDF
TL;DR本研究提出了基于因子图的注意力机制，结合任意数量的数据工具对视觉对话进行建模，提高视觉对话系统的性能表现。实验结果表明，该方法在当前领先技术上提升了 1.1％和 2％的 MRR 分数，并且在 VisDial1.0 上的集成模型提高了超过 6％的 MRR 分数。
visual dialogattention mechanismdata utilitiesfactor graphvisdial datasets
发现论文，激发创造
  • 视觉对话的颗粒多模态注意力网络

    本研究提出了一种新的方法，即颗粒多模态注意力，以解决视觉对话任务时需要关注的正确颗粒度的问题。该方法在图像和文本关注网络中得到了改进，并提出了一种粒度多模态注意力网络，可以同时关注图像和文本颗粒，并展现出最佳的性能。该研究发现，获得颗粒注意力和进行穷尽的多模态注意力似乎是解决视觉对话问题时最好的方法。

    Oct, 2019

  • 利用注意力记忆进行视觉对话的视觉参考解析

    本文提出了一种新的基于关联关注记忆的注意力机制，用于解决视觉对话场景下的模糊引用问题，通过在一个新的合成数据集上的实验验证，表明该模型在解决视觉引用问题的重要场景下，比现有技术水平显著提高了 16%；此外，该模型在视觉对话数据集上的表现也优于原有基线模型，而且参数数量明显更少。

    Sep, 2017

  • 递归视觉注意力在视觉对话中的应用

    本文提出了一种名为 Recursive Visual Attention (RvA) 的新型注意力机制，用于解决视觉对话中的视觉协同参考问题，并在大规模的 VisDial v0.9 和 v1.0 数据集上进行了实验，结果表明 RvA 不仅超越了现有技术，而且在没有附加注释的情况下实现了合理的递归和可解释的注意力图。

    Dec, 2018

  • 基于多视角注意力网络的视觉对话

    论文旨在通过提出 Multi-View Attention Network (MVAN) 模型来解决视觉对话任务中的挑战性问题，该模型基于注意机制，利用多个视角来处理异构输入，并且通过序列对齐过程构建多模态表示，从而可以更好地捕捉到对话历史中与问题相关的信息，并在 VisDial v1.0 数据集上达到了最佳结果。

    Apr, 2020

  • 视觉对话中基于双重注意力机制的视觉参考解析网络

    本文通过引入 Dual Attention Networks （DAN）模型，提出了一种计算机视觉任务解决方法，用于对话历史和图像特征的信息匹配，通过考虑上下文信息和自我注意力机制的学习，解决了视觉指代消解问题，并在多个数据集上得到了显著的表现提升。

    Feb, 2019

  • 用于视觉对话的高效注意机制，可处理多个输入之间的所有交互

    本文提出了一种名为 LTMI 的神经网络结构，它可以有效地处理多个输入源之间的交互，从而在视觉对话任务中取得良好的表现，在 VisDial 数据集上将最佳 NDCG 得分从 57.59 提高到 60.92，使用多个模型可以提高到 66.53，采用微调可达到 74.88。

    Nov, 2019

  • 基于循环双重注意力的多步推理视觉对话

    本文介绍了一种新的视觉对话模型，称为 Recurrent Dual Attention Network（ReDAN），该模型使用多步推理来回答有关图像的一系列问题，通过迭代细化来定位上下文相关的视觉和文本线索，以逐步找到正确的答案。

    Feb, 2019

  • 视觉问答的互注意融合

    该研究提出了一种新的注意力机制，同时考虑视觉细节的两个层次，即物体实例和它们的部分，通过高效的张量分解方案，设计了分层融合多模态信息的模型并提高了已有模型达到了一个显著的提升。

    May, 2018

  • 通过语言化和图注意网络强化事实验证程序

    本研究提出了 ProgVGAT 框架，结合程序和执行到文本推理模型，通过程序执行的表现和结构、原文陈述和表格等不同证据，来实现基于结构化数据的事实验证，并通过使用基于距离的新训练策略来优化 ProgVGAT 中的程序选择模块，从而提供更精确的程序，检验结果最高达 74.4％的准确率。

    Oct, 2020

  • 基于注意力动态图的复杂协调模型

    DAGMIX 是一种基于图的值分解方法，通过注意机制在训练过程中生成动态图，在大规模场景中表现出色，并在其他任务中取得了有希望的结果。

    Dec, 2023