Apr, 2024

探索多种方法在视觉问答中的应用

PDF
TL;DR本研究探讨了使用生成对抗网络（GANs）、自编码器和注意力机制改进视觉问答（VQA）的创新方法。研究发现，通过利用一个平衡的 VQA 数据集，GAN-based 方法提供了生成与图像和问题相关的答案嵌入的潜力，但在处理较复杂的任务时存在困难。相比之下，基于自编码器的技术专注于学习问题和图像的最佳嵌入，由于在处理复杂问题上能力更强，其结果与 GAN-based 方法相媲美。最后，注意力机制结合多模态紧凑双线性池化（MCB）来解决语言先验和注意力建模问题，但在复杂性和性能之间需要权衡。本研究强调了 VQA 领域的挑战和机遇，并提出了未来研究的方向，包括替代 GAN 的形式和注意力机制。
发现论文，激发创造
  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020

  • 视觉问答算法分析

    本文分析了现有的视觉问答（VQA）算法，并使用一个新数据集进行了评估，提出了新的评估方案来补偿过度展示的问题类型，并研究了不同算法的优缺点和注意力机制的作用。

    Mar, 2017

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 用变分自编码器生成多样性问题的创造力

    本文提出了一种基于变分自动编码器和长短期记忆网络的视觉问题生成算法，能够生成大量多样的问题，实现了一种创造性的算法来生成逼真的问题。

    Apr, 2017

  • 生成式视觉问答

    本研究探讨了一种新的方法来创建先进的视觉问答（VQA）模型，可以在时间泛化上产生成功的结果。通过利用来自 VQAv2 和 MS-COCO 数据集的图像和标题，通过稳定扩散生成新图像。使用这个增强的数据集来测试七个基线和最新的 VQA 模型的组合。该研究的目的是调查几个成功的 VQA 模型的稳健性，评估它们对未来数据分布的性能。分析模型架构，识别改进时间分布偏移下的泛化能力的常见风格选择。这项研究突出了创建大规模未来偏移数据集的重要性，这些数据可以增强 VQA 模型的稳健性，使其未来的同行能够更好地适应时间分布的变化。

    Jul, 2023

  • 视觉问答技巧：2017 年挑战赛收获

    本文介绍了一个用于视觉问答（VQA）的最先进模型，这个模型在 2017 年的 VQA 挑战中获得了第一名。通过对超过 3,000 个 GPU 小时的架构和超参数的深入探索，我们发现了许多用于提高性能的 Tips and Tricks。我们详细地分析了它们的影响以协助其他人进行适当的选择。

    Aug, 2017

  • VQA-Machine：掌握使用现有视觉算法回答新问题的方法

    该研究提出了一种新的 co-attention 模型来利用现成的算法实现图像操作，从而达到居于最先进水平的视觉问答结果。

    Dec, 2016

  • 视觉问答最近进展综述

    该论文综述了不同方法来解决视觉问答的问题，特别是描述了各种算法提取图像特征和文本特征的方法，并讨论了评估 VQA 模型的实验，并报告了它们在各种数据集上的表现。

    Sep, 2017

  • 基于注意力模型的视觉问答算法分析

    本文批判性地审查和回顾了视觉问答算法的方法，例如文本语义的生成、物体的识别和采用共同关注的答案分类技术。

    May, 2023

  • 利用联合自监督学习的医学视觉问答

    本研究提出一种编码器 - 解码器框架，利用自注意机制跨图像文本双模态表示，并通过自监督多任务学习在大规模医学图像字幕数据集上进行预训练，并在小规模医学 VQA 数据集上进行微调，取得了比基线和 SOTA 方法更好的性能。

    Feb, 2023