对象为中心的表示、引导注意力和外部记忆对视觉关系泛化的作用

Apr, 2023

对象为中心的表示、引导注意力和外部记忆对视觉关系泛化的作用

The role of object-centric representations, guided attention, and external memory on generalizing visual relations

Guillermo Puebla, Jeffrey S. Bowers

TL;DR本研究系统评估了深度神经网络（DNN）在视觉推理任务中的应用，发现虽然某些模型表现出在某些特定类型的图像上函数良好，但没有一个模型能够有效地推广到所有情况下，从而得出抽象视觉推理仍然是 DNN 面临的主要挑战。

Abstract

visual reasoning is a long-term goal of vision research. In the last decade, several works have attempted to apply deep neural networks (DNNs) to the task of learning visual relations from images, with modest res

visual reasoning deep neural networks abstract relations slot attention generalization

发现论文，激发创造

目标中心的深度神经网络中的视觉推理：一种比较认知方法

通过测试多个以对象为中心的模型的关系学习和泛化能力，我们发现这些模型能够在多种情况下区分场景中的不同对象，但在更困难的任务和条件下仍面临挑战，说明抽象视觉推理仍然是深度神经网络，包括以对象为中心的模型面临的一个难题。

Feb, 2024

深度神经网络可以学习可推广的同异视觉关系

经过深度神经网络的训练和微调，预训练的变换器可以学习到具有几乎完美准确度的在分布之外的同异关系，尤其针对缺乏纹理或颜色的抽象形状训练的模型表现最佳。

Oct, 2023

通过学习目标嵌入进行注意力，实现复杂的视觉推理

该文介绍了一种基于神经网络的动态视觉推理问题的更通用方法，通过学习物体中心表示、自我关注和自监督动力学学习，以实现三个不同领域的最先进表现，在每种情况下都优于针对任务特定定制的专用模块化方法。

Dec, 2020

以对象为中心的视觉推理诊断

该研究旨在通过评估不同模型在视觉推理方面的表现来回答视觉问答模型是否在进行视觉推理，为此，研究使用了 GQA 数据集中提供的目标细粒度标注，提出了一种系统性的目标中心的视觉推理诊断方法，并开发了一个名为图形推理机的诊断模型，该模型使用概率场景图替代纯符号视觉表示，并对视觉推理模块进行了教师强制训练。

Dec, 2020

无强先验条件下的视觉推理学习

通过条件批量归一化对 CLEVR 视觉推理基准进行训练，我们的方法在人工视觉推理方面实现了最先进的成果，这表明带有适当条件的通用架构可以有效地学习进行视觉推理。

Jul, 2017

迈向无监督视觉推理：现成特征是否具备推理能力？

本研究探索了通过视觉表征学习来评估对象信息如何被保留，例如它们的空间位置、视觉属性和相对关系，并介绍了一种用于评估视觉表征的协议，重点关注视觉推理的任务，比较了局部特征和面向对象的特征对于视觉推理的影响。

Dec, 2022

物体为中心的关系抽象的系统性视觉推理

该研究描述了 Object-Centric Relational Abstraction（OCRA）模型，其结合了具有抽象表征能力的目标提取和针对关系的归纳偏差，能够从图像输入中提取显式的对象和抽象关系，实现了关于复杂视觉展示的强系统化概括。

Jun, 2023

面向视觉识别与推理的统一神经网络架构

图像识别和推理是视觉理解的两个支柱，最近的研究表明，多任务变压器模型可以在视觉识别和推理中提供统一的神经网络架构，通过探索不同的识别任务、数据集和归纳偏好，我们发现对象检测对推理是最有益的任务。

Nov, 2023

视觉推理与基础合理性：看、记住和推理

该研究旨在通过模仿人类视觉问题解决中的 “看、记住、推理” 模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

Jun, 2023

神经符号视觉推理：将 “视觉” 与 “推理” 分离

本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

Jun, 2020