视觉预训练是否有助于端到端推理？

Jul, 2023

视觉预训练是否有助于端到端推理？

Does Visual Pretraining Help End-to-End Reasoning?

Chen Sun, Calvin Luo, Xingyi Zhou, Anurag Arnab, Cordelia Schmid

TL;DR本文旨在探究是否可以通过视觉预训练使通用神经网络实现视觉推理的端到端学习。我们提出了一个简单的自监督框架，并在两个视觉推理基准上进行了评估。结果表明预训练对于实现复合泛化是必要的，并且我们提出的框架明显优于传统的监督预训练。

Abstract

We aim to investigate whether end-to-end learning of visual reasoning can be achieved with general-purpose neural networks, with the help of visual pretraining. A positive result would refute the common belief th

visual reasoning neural networks visual pretraining self-supervised framework compositional generalization

发现论文，激发创造

无强先验条件下的视觉推理学习

通过条件批量归一化对 CLEVR 视觉推理基准进行训练，我们的方法在人工视觉推理方面实现了最先进的成果，这表明带有适当条件的通用架构可以有效地学习进行视觉推理。

Jul, 2017

面向视觉识别与推理的统一神经网络架构

图像识别和推理是视觉理解的两个支柱，最近的研究表明，多任务变压器模型可以在视觉识别和推理中提供统一的神经网络架构，通过探索不同的识别任务、数据集和归纳偏好，我们发现对象检测对推理是最有益的任务。

Nov, 2023

目标中心的深度神经网络中的视觉推理：一种比较认知方法

通过测试多个以对象为中心的模型的关系学习和泛化能力，我们发现这些模型能够在多种情况下区分场景中的不同对象，但在更困难的任务和条件下仍面临挑战，说明抽象视觉推理仍然是深度神经网络，包括以对象为中心的模型面临的一个难题。

Feb, 2024

对象为中心的表示、引导注意力和外部记忆对视觉关系泛化的作用

本研究系统评估了深度神经网络（DNN）在视觉推理任务中的应用，发现虽然某些模型表现出在某些特定类型的图像上函数良好，但没有一个模型能够有效地推广到所有情况下，从而得出抽象视觉推理仍然是 DNN 面临的主要挑战。

Apr, 2023

学习如何在视觉对象上进行推理

探究对象为中心的编码器和变换推理模块是否能提高图像推理任务的效果，并发现其比传统以 Raven 智力测试为基础的任务特定归纳偏见更全面适用。

Mar, 2023

组合视觉推理基准测试

该论文介绍了一个新的视觉推理基准测试，Compositional Visual Relations (CVR)，以推动更加数据高效的学习算法的开发，并发现卷积神经网络比变压器架构在大多数数据方案上表现更好，但所有计算模型都比人类更不数据高效。

Jun, 2022

通过学习目标嵌入进行注意力，实现复杂的视觉推理

该文介绍了一种基于神经网络的动态视觉推理问题的更通用方法，通过学习物体中心表示、自我关注和自监督动力学学习，以实现三个不同领域的最先进表现，在每种情况下都优于针对任务特定定制的专用模块化方法。

Dec, 2020

朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员

通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。

Jan, 2024

神经符号视觉推理：将 “视觉” 与 “推理” 分离

本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

Jun, 2020

从 Patches 到对象：利用空间推理以获得更好的视觉表现

本文提出了一种基于空间推理的新辅助预训练方法，使用对比学习的灵活公式引入空间推理作为判别自监督方法的辅助任务，从而实现更详细和复杂的内部表征的学习，实验结果表明，在线性评估中下游性能得到了显著改善。

May, 2023