CVPRJun, 2019

视觉问答的深度模块化协同注意力网络

PDF
TL;DR本文提出了一种深度 Modular Co-Attention Network 模型，用于有效处理 Visual Question Answering 中的 co-attention 问题，并在评估中显示了显著优于其他方法的性能。
visual question answeringco-attentionmodular co-attention networkvqa-v2 datasetdeep learning
发现论文，激发创造
  • 级联自注意力和互注意力块的视觉问答

    本文提出了一种通过视觉和文本模态的密集交互来学习改进的多模态表示的模型，其 attention block 包含自我注意力和共注意力，旨在提高视觉问题回答任务的性能。该模型在 VQA2.0 和 TDIUC 数据集上经过基准测试，并通过消融分析实验证明了模型的关键组件和注意力模块级联的有效性。

    Feb, 2023

  • 视觉问答的层次化问题 - 图像协同注意力

    通过建立视觉注意力和问题注意力相结合的协作注意力模型，使用新型一维卷积神经网络来在分层结构中处理问题，从而使 VQA 数据集上的性能从 60.3％提高到 60.5％，并且在 COCO-QA 数据集上从 61.6％提高到 63.3％。在加入 ResNet 模型后，VQA 指标进一步提升至 62.1%，COCO-QA 指标达到 65.4%。

    May, 2016

  • 基于多路注意力网络的基于检索的问答和响应预测模型

    本文提出了一种新的组合特征增强模型 ——MCAN，将关注机制用于特征增强，适用于会话建模和问答排名等多种任务，此模型可以同时执行多个关注类型和变形种类等多种操作，并且在四个基准数据集上取得了最好的性能表现。

    Jun, 2018

  • 多模式统一关注网络用于视觉语言交互

    本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

    Aug, 2019

  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020

  • 注意力机制：视觉问答架构（VQA）

    通过开发十三种新的注意力机制和引入一种简化的分类器，基于首次在 VQA 挑战中获得第一名的模型进行改进，进行了 300 GPU 小时的大量超参数和架构搜索，我们能够实现 64.78％的评估分数，优于现有最先进的单个模型 63.15％的验证分数。

    Mar, 2018

  • ABC-CNN: 基于注意力的卷积神经网络用于视觉问答

    本研究提出一种注意力机制的卷积神经网络，可用于解决视觉问答任务，有效提升已有方法的准确率，并生成与问题相关的关注区域。

    Nov, 2015

  • 模块化混合注意力网络用于视频问答

    多模态机器学习中的网络结构复杂，通过连接可重用且可组合的神经单元，可以以更直观的方式完成多模态机器学习任务的网络构建，同时通过参数共享大大减少了空间复杂度。

    Nov, 2023

  • 探索多种方法在视觉问答中的应用

    本研究探讨了使用生成对抗网络（GANs）、自编码器和注意力机制改进视觉问答（VQA）的创新方法。研究发现，通过利用一个平衡的 VQA 数据集，GAN-based 方法提供了生成与图像和问题相关的答案嵌入的潜力，但在处理较复杂的任务时存在困难。相比之下，基于自编码器的技术专注于学习问题和图像的最佳嵌入，由于在处理复杂问题上能力更强，其结果与 GAN-based 方法相媲美。最后，注意力机制结合多模态紧凑双线性池化（MCB）来解决语言先验和注意力建模问题，但在复杂性和性能之间需要权衡。本研究强调了 VQA 领域的挑战和机遇，并提出了未来研究的方向，包括替代 GAN 的形式和注意力机制。

    Apr, 2024

  • 问、看、答：探索基于问题引导的空间关注用于视觉问答

    该论文探讨了图像和语言理解的问题，提出了一种基于神经网络的空间记忆网络模型，通过注意力机制进行推理，并在两个视觉问答数据集上取得了改进的结果。

    Nov, 2015