Dec, 2020

以对象为中心的视觉推理诊断

HTML
PDF
TL;DR该研究旨在通过评估不同模型在视觉推理方面的表现来回答视觉问答模型是否在进行视觉推理，为此，研究使用了GQA数据集中提供的目标细粒度标注，提出了一种系统性的目标中心的视觉推理诊断方法，并开发了一个名为图形推理机的诊断模型，该模型使用概率场景图替代纯符号视觉表示，并对视觉推理模块进行了教师强制训练。
发现论文，激发创造
  • Visual7W：基于图像的问答系统

    通过物体级别的 grounding，在图像中建立了文本描述与图像区域的语义联系，提出了一种新型维度的视觉问答任务，并使用多个基线模型和带有空间注意力机制的 LSTM 模型来解决该任务。

    Nov, 2015

  • FigureQA：一份为视觉推理而注释的图像数据集

    FigureQA是一个视觉推理语料库，包含超过一百万个基于100,000张图像的问题-答案对。图像来自五个类别的合成科学式图形：线图、点线图、垂直和水平条形图以及饼状图。通过从15个模板中生成问题并提供用于训练机器学习模型的附属数据，FigureQA为开发可以直观地识别数据可视化中的模式的模型迈出了第一步。

    Oct, 2017

  • 透明度设计：在视觉推理中弥合性能与可解释性之间的差距

    本文提出一种可视化推理基元的方法，将其组合成一种能够通过显式可解释的方式执行复杂推理任务的模型，并在CLEVR数据集上取得了99.1%的准确度，同时有效地学习了泛化表示。

    Mar, 2018

  • 可解释的高阶视觉问答推理：一个新的基准和知识路由网络

    本研究提出了一个新的 HVQR 基准，用于评估 VQA 系统的解释能力和高阶推理能力，该基准具有多级推理、常识知识库和知识路由模块等特点，并通过大规模数据集进行验证。

    Sep, 2019

  • 神经符号视觉推理：将“视觉”与“推理”分离

    本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的GQA数据集上进行深入的分离比较，可以了解到众所周知的VQA模型参与的见解以及任务。

    Jun, 2020

  • 视觉问答的弱监督相对空间推理

    这篇研究报告探讨了视觉和语言推理需要对视觉概念、语义和语言基础以及两种模式之间的相互作用进行感知，并评估了现有的 Vision-and-language 模型对于空间理解的忠实度。研究者提出了两个目标，利用现成的深度估计器，设计了关于三维空间推理的代理任务来训练 Vision-and-language 模型，使得在视觉问答挑战中取得了显著的表现改善。

    Sep, 2021

  • 迈向无监督视觉推理：现成特征是否具备推理能力?

    本研究探索了通过视觉表征学习来评估对象信息如何被保留，例如它们的空间位置、视觉属性和相对关系，并介绍了一种用于评估视觉表征的协议，重点关注视觉推理的任务，比较了局部特征和面向对象的特征对于视觉推理的影响。

    Dec, 2022

  • 视觉推理与基础合理性：看、记住和推理

    该研究旨在通过模仿人类视觉问题解决中的“看、记住、推理”模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

    Jun, 2023

  • 通过推理监督实现可解释的视觉问答

    我们提出了一种新的视觉问答架构，通过常识推理作为监督信号来减轻模型在缺乏视觉基础的情况下的性能不足，并通过相似性损失将模型的视觉注意力引导到场景的重要元素，从而提高模型的视觉感知能力和性能。

    Sep, 2023

  • 目标中心的深度神经网络中的视觉推理：一种比较认知方法

    通过测试多个以对象为中心的模型的关系学习和泛化能力，我们发现这些模型能够在多种情况下区分场景中的不同对象，但在更困难的任务和条件下仍面临挑战，说明抽象视觉推理仍然是深度神经网络，包括以对象为中心的模型面临的一个难题。

    Feb, 2024