Nov, 2018

从已知到未知：迁移知识以回答关于新视觉和语义概念的问题

PDF
TL;DR为了应对在 Open-world 情境下出现的语言和视觉上未知概念对 Visual Question Answering 系统的影响，我们提出了一种基于示例的方法，用于从先前的已知概念中转移学习，以回答有关未知概念的问题，此外，我们提出了一种高效的匹配方案，以有效处理大规模基准数据集中的高维示例信息。
visual question answeringopen-world scenarioexemplar-based approachjoint embedding spacesemantic concepts
发现论文，激发创造
  • 发掘未知的已知：将数据集中的隐式知识转化为视觉问答的显式训练样例

    本文提出了一种基于数据增强的方法 SimpleAug，在不增加人工标注数量的情况下，将数据集中隐含的知识显式化，以此加强针对多模态信息的视觉问答模型，并在两个基准数据集上取得了不错的表现。

    Sep, 2021

  • R-VQA: 通过语义关注学习视觉关系事实用于视觉问答

    通过构建 Relation-VQA 数据集，并采用新颖的多步注意力模型，该论文提出了一种更好地利用图像语义知识的视觉关系事实学习框架，从而在视觉问答任务中取得了最先进的性能。

    May, 2018

  • 将技能与概念分离以进行新颖视觉问答

    提出了一种基于视觉任务的方法，将 VQA 问题分解为技能和概念，并通过对对应的概念表示和技能编码的解耦实现模型内部的有效组合，从而提高了处理新组合任务的能力。

    Jul, 2021

  • 将视觉问答作为元学习任务

    本文提出了一种元学习的方法来解决图像问题回答（VQA）问题，并采用了原型网络和元网络两种技术，通过给定的例子来推理解决给定的问题，与现有技术相比，该方法能够产生具有更高罕见回答的召回率和更好的样本效率，是学习和推理基于视觉和语言的方法的重要一步。

    Nov, 2017

  • 精确赋能，过度分散：动态注入语言模型中的视觉问答知识

    通过提供来自知识图谱中提取的相关外部知识，我们通过增强问题并实现可变数量的三元组，为知识增强的视觉问答模型带来了平均 4.75％的准确匹配得分提升，并展示了其在推理能力和泛化能力方面的优势。

    Jun, 2024

  • 学习视觉问答的答案嵌入

    该研究提出了一种新的概率模型，用于视觉问答中的多项选择，将嵌入视觉、问答和回答，并考虑到回答之间的语义关系，从而提高了对新问题的表现。

    Jun, 2018

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 利用动态记忆网络结合外部知识回答开放式视觉问题

    本文提出了一种基于动态记忆网络和外部知识库的 VQA 算法，通过对外部知识的检索和动态记忆网络对知识和图像的关注与推理，有效地回答包括开放领域问题在内的更复杂问题，并在视觉问答任务中取得了最好的表现。

    Dec, 2017

  • 思考与观察的结合用于基于外部知识的视觉问答

    本文提出一种包含多模态编码器、文本编码器和答案解码器的新型框架，将跨模态空间约束到自然语言空间中，使得视觉特征直接保留在其中，并且从自然语言空间中获得更多的类型知识，实验证明其在多数情况下表现优异。

    May, 2023

  • 基于不确定性的视觉问答：估计图像与知识库间的语义不一致性

    本研究提出了一种基于语义不一致度量的新型外部知识同化方法，应用到知识型视觉问答中，旨在减少添加无关信息对问答的干扰并融合含蓄和显式知识，评估结果表明该方法具有最先进性能。

    Jul, 2022