Jun, 2023

物体为中心的关系抽象的系统性视觉推理

PDF
TL;DR该研究描述了 Object-Centric Relational Abstraction（OCRA） 模型，其结合了具有抽象表征能力的目标提取和针对关系的归纳偏差，能够从图像输入中提取显式的对象和抽象关系，实现了关于复杂视觉展示的强系统化概括。
visual reasoningobject-centric representationsrelational abstractionsystematic generalizationabstract patterns
发现论文，激发创造
  • 目标中心的深度神经网络中的视觉推理：一种比较认知方法

    通过测试多个以对象为中心的模型的关系学习和泛化能力，我们发现这些模型能够在多种情况下区分场景中的不同对象，但在更困难的任务和条件下仍面临挑战，说明抽象视觉推理仍然是深度神经网络，包括以对象为中心的模型面临的一个难题。

    Feb, 2024

  • 对象为中心的表示、引导注意力和外部记忆对视觉关系泛化的作用

    本研究系统评估了深度神经网络（DNN）在视觉推理任务中的应用，发现虽然某些模型表现出在某些特定类型的图像上函数良好，但没有一个模型能够有效地推广到所有情况下，从而得出抽象视觉推理仍然是 DNN 面临的主要挑战。

    Apr, 2023

  • 以对象为中心的视觉推理诊断

    该研究旨在通过评估不同模型在视觉推理方面的表现来回答视觉问答模型是否在进行视觉推理，为此，研究使用了 GQA 数据集中提供的目标细粒度标注，提出了一种系统性的目标中心的视觉推理诊断方法，并开发了一个名为图形推理机的诊断模型，该模型使用概率场景图替代纯符号视觉表示，并对视觉推理模块进行了教师强制训练。

    Dec, 2020

  • 通过空间关系建模改进视觉语言推理

    通过构建空间关系图并设计两种预训练任务，即目标位置回归和空间关系分类，本研究提出的方法在 VCR、VQA 和 NLVR 三个视觉与语言推理任务中取得了最先进的结果。

    Nov, 2023

  • 槽位抽象器：朝着可扩展的抽象视觉推理

    通过结合不同方法的优势，提出了一种可扩展到包含大量对象和多个关系的问题的抽象可视化推理方法，在四个抽象可视化推理任务中展示了最先进的性能。

    Mar, 2024

  • 从识别到认知：视觉常识推理

    该研究论文旨在推进计算机视觉模型的视觉常识推理能力。研究者针对这一目标，提出一项包含 290k 多选题的新数据集 VCR，并使用基于对抗匹配的方法进行添加问题。通过引入新的推理引擎 - Recognition to Cognition 网络（R2C），该文章对计算机视觉模型的性能进行了分析，并提出未来研究的方向。

    Nov, 2018

  • 视觉推理与基础合理性：看、记住和推理

    该研究旨在通过模仿人类视觉问题解决中的 “看、记住、推理” 模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

    Jun, 2023

  • 通过诱导符号空间进行可解释的视觉推理

    该研究旨在通过目标 - 中心的组合式注意力模型（OCCAM）和符号概念空间，从与图像相关的问题 - 答案对中识别概念和它们的分层关系，并实现一个可解释的模型。该模型通过设计新的 OCCAM 框架执行视觉推理任务，并提出一种方法，从对象的视觉特征和问题词之间的注意力模式中使用线索，诱导对象和关系的概念。结果表明，OCCAM 在无需人类注释的功能程序的情况下取得了最新的技术水平，并且所诱导的概念精确而充足，在视觉特征或在引入的符号概念空间中表示的对象上都能够取得相当的性能。

    Nov, 2020

  • 迈向无监督视觉推理：现成特征是否具备推理能力？

    本研究探索了通过视觉表征学习来评估对象信息如何被保留，例如它们的空间位置、视觉属性和相对关系，并介绍了一种用于评估视觉表征的协议，重点关注视觉推理的任务，比较了局部特征和面向对象的特征对于视觉推理的影响。

    Dec, 2022

  • 学习如何在视觉对象上进行推理

    探究对象为中心的编码器和变换推理模块是否能提高图像推理任务的效果，并发现其比传统以 Raven 智力测试为基础的任务特定归纳偏见更全面适用。

    Mar, 2023