CVPRJun, 2018

视觉问答的跨数据集自适应

PDF
TL;DR本研究提出了一种新颖的域自适应算法，通过转换目标数据集的特征，减少统计分布上的差异，以训练源数据集的视觉问答模型，最大化对目标数据集上的问题正确回答的可能性。通过在几个热门的视觉问答数据集之间进行适应性调整的实证研究，发现所提出的方法优于没有适应和其他方法，并定量和 qualitatively 分析了适应性何时最为有效。
cross-dataset adaptationvisual question answeringdomain adaptationstatistical distributionempirical study
发现论文，激发创造
  • 基于多模态领域自适应的开放式视觉问答

    本文提出了一种新颖的 VQA 有监督多模态域自适应方法，通过考虑所有模态在一起以及单独处理每个单独模态来对齐源域和目标域的数据分布，以学习跨不同领域和模态的联合特征嵌入，通过在 VQA 2.0 和 VizWhiz 数据集上进行广泛实验，表明了我们所提出方法在这个具有挑战性的 VQA 域自适应设置中胜过了现有的最先进的方法。

    Nov, 2019

  • 无目标标签的多样数据集和方法的领域通用视觉问答模型

    本研究通过量化视觉问答（VQA）数据集在视觉和文本空间上的领域漂移，构建并测试不同家族的 VQA 方法（经典的两流，Transformer 和神经符号方法）的鲁棒性以及现有的领域自适应方法的适用性，并设计了一种新的跨越 VQA 领域差距的自适应方法。

    Mar, 2021

  • 基于问题分类的问答领域自适应

    我们提出了一个新的框架 QC4QA，利用自我监督的方法通过伪标签实现问题分类，最大化平均差异来减少源域和目标域之间的交叉差异，以及在同一问题类别的 QA 样本中最小化内部类别差异，该方法在多个数据集上比基准方法有了明显的改进。

    Sep, 2022

  • 基于有限文本语料库的对比领域自适应对话回答

    本研究提出了一种名为对比领域自适应问答（CAQA）的新型领域适应框架，该框架结合了问题生成和域不变学习技术，用于在文本语料库受限的情况下回答域外问题，并且相较于现有技术取得了显著的效果改善。

    Aug, 2021

  • 通向万能视觉问答模型之路：回答它们的全部问题！

    该论文研究了视觉问答算法，发现现有算法在自然图像理解和推理两个领域上不能很好地综合运用。作者提出了一种新的 VQA 算法，能够在这两个领域上达到或超越现有算法的水平。

    Mar, 2019

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • FashionVQA：一种特定领域的视觉问答系统

    该论文训练了一个视觉问答系统，使用多种模态的数据来回答关于时尚照片中服装的自然语言问题。他们使用大规模的领域特定的多模态数据集来训练该系统，该数据集使用模板自动生成，模型的最高准确性超过了人类专家水平。

    Aug, 2022

  • 领域无关的对抗训练问答

    本文提出一种采用对抗训练框架来解决深度学习中新领域适应问题的方法，将传统 QA 模型和判别器组合，以对抗的方式进行训练，从而实现 QA 模型学习到领域不变特征，并在 MRQA Shared Task 2019 中取得了优于基线模型的性能。

    Oct, 2019

  • 开放领域问答中领域自适应挑战与干预：调整或注释？

    研究开放领域问答（ODQA）中，当应用于广泛不同的领域时，此类模型的稳健性和应用性能。该研究提出了一个更现实和具有挑战性的领域转移评估环境，并研究了端到端的模型性能。他们发现，不仅模型在推广方面表现出失败，且高检索分数通常也不能提供准确的答案预测。最后，研究提出并评估了多种干预方法，其提高了端到端答案 F1 得分，最多可达 24 个点。

    Dec, 2022

  • 深度视觉域自适应

    本文系统概述了用于计算机视觉应用的深度域自适应方法，涵盖了深度架构在领域自适应中的运用、深度视觉域自适应的发展趋势，并介绍了可应用于这些模型的其他改进策略。

    Dec, 2020