WSDMNov, 2022

PiggyBack：为非深度学习专业人员提供的预训练视觉问答环境

PDF
TL;DR本文提出了 PiggyBack，一种视觉问答平台，允许用户轻松使用最先进的视觉 - 语言预训练模型。PiggyBack 支持全套视觉问答任务，提供易于使用的浏览器用户界面以及几个深度学习视语预训练模型。
发现论文，激发创造
  • 探索图像问答模型和数据

    本研究旨在通过新的模型和数据集解决基于图像的问答问题，使用神经网络和视觉语义嵌入预测有关图像的简单问题的答案，提出了一种将图片描述转化为问答格式的问题生成算法，为新的数据集提供了基线结果。

    May, 2015

  • FashionVQA：一种特定领域的视觉问答系统

    该论文训练了一个视觉问答系统，使用多种模态的数据来回答关于时尚照片中服装的自然语言问题。他们使用大规模的领域特定的多模态数据集来训练该系统，该数据集使用模板自动生成，模型的最高准确性超过了人类专家水平。

    Aug, 2022

  • 走向透明化的 AI 系统：解释视觉问答模型

    该论文探讨使用引导反向传播和遮挡等可视化技术，解释视觉问答（VQA）模型的工作过程，并发现即使没有显式注意机制，VQA 模型有时也会隐含地关注图像中的相关区域和问题中的适当单词。

    Aug, 2016

  • 主动寻求并学习实时数据

    本文介绍了一种基于元学习和数据检索的视觉问答方法，该方法不需要训练数据，能够使用外部数据来源来回答各种问题，实验表明该方法在 VQA-CP v2 基准测试中表现优异，并且对于迁移学习领域具有更强的稳健性。

    Apr, 2019

  • 通过自监督学习克服语言先验的视觉问答

    本研究介绍了一种自监督学习框架来解决视觉问答模型中固有数据偏差问题。我们利用自动生成的标签数据来平衡数据偏差，提出一种自监督辅助任务来减少语言先验的影响，从而提高 VQA 模型的准确性，无需引入额外的可视化注释。实验结果表明，我们的方法在常用基准 VQA-CP v2 上将整体准确性从 49.50％提高到 57.59％，可以将基于注释的方法的性能提高 16％，而无需使用外部注释。

    Dec, 2020

  • 基于端到端神经网络架构的视觉问答显式推理

    该论文提出了一种在视觉问答任务中使用通感推理的方法，该方法可以通过显式推理层来解决一些需要额外知识的问题，并提供可解释性的界面。该推理层采用了基于概率的软逻辑引擎，并运用了一篮子输入来进行推理。实验证实了该方法的有效性。

    Mar, 2018

  • 视觉问答的简单基线

    提出了用于视觉问题回答的简单词袋基线模型，使用来自问题的单词特征和图像的 CNN 特征进行拼接以预测答案并在挑战性的 VQA 数据集上显示了与许多最新方法使用递归神经网络相当的性能。同时提供了交互式 Web 演示和开源代码以探索模型的优缺点。

    Dec, 2015

  • 开放式视觉问答

    研究使用深度学习框架解决视觉问答任务的方法，探索 LSTM 网络和 VGG-16、K-CNN 卷积神经网络提取图像特征，将其与问题的词嵌入或句子嵌入相结合进行答案预测。在 Visual Question Answering Challenge 2016 中获得了 53.62％的准确率。

    Oct, 2016

  • 视觉问答技巧：2017 年挑战赛收获

    本文介绍了一个用于视觉问答（VQA）的最先进模型，这个模型在 2017 年的 VQA 挑战中获得了第一名。通过对超过 3,000 个 GPU 小时的架构和超参数的深入探索，我们发现了许多用于提高性能的 Tips and Tricks。我们详细地分析了它们的影响以协助其他人进行适当的选择。

    Aug, 2017

  • 医学视觉问答的自监督视觉语言预训练

    本文介绍了一种自我监督方法 - 对遮蔽图像建模、遮蔽语言建模、图像文本匹配和图像文本对齐进行对比学习的 M2I2 方法，应用于医学图像字幕数据集的预训练，并对下游医学 VQA 任务进行微调。该方法在三个公共医学 VQA 数据集上实现了最先进的性能。

    Nov, 2022