Nov, 2023

面向视觉识别与推理的统一神经网络架构

PDF
TL;DR图像识别和推理是视觉理解的两个支柱，最近的研究表明，多任务变压器模型可以在视觉识别和推理中提供统一的神经网络架构，通过探索不同的识别任务、数据集和归纳偏好，我们发现对象检测对推理是最有益的任务。
recognitionreasoningvisual understandingneural architectureobject detection
发现论文，激发创造
  • 通过学习目标嵌入进行注意力，实现复杂的视觉推理

    该文介绍了一种基于神经网络的动态视觉推理问题的更通用方法，通过学习物体中心表示、自我关注和自监督动力学学习，以实现三个不同领域的最先进表现，在每种情况下都优于针对任务特定定制的专用模块化方法。

    Dec, 2020

  • 神经符号视觉推理：将 “视觉” 与 “推理” 分离

    本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

    Jun, 2020

  • 图像理解中的知识和推理整合

    本文综述了各种代表性的推理机制、知识整合方法及其相应的图像理解应用，讨论了结合外部知识与神经网络的关键技术，并探讨了提高推理能力的潜在途径。

    Jun, 2019

  • 目标中心的深度神经网络中的视觉推理：一种比较认知方法

    通过测试多个以对象为中心的模型的关系学习和泛化能力，我们发现这些模型能够在多种情况下区分场景中的不同对象，但在更困难的任务和条件下仍面临挑战，说明抽象视觉推理仍然是深度神经网络，包括以对象为中心的模型面临的一个难题。

    Feb, 2024

  • 视觉推理与基础合理性：看、记住和推理

    该研究旨在通过模仿人类视觉问题解决中的 “看、记住、推理” 模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

    Jun, 2023

  • 迈向无监督视觉推理：现成特征是否具备推理能力？

    本研究探索了通过视觉表征学习来评估对象信息如何被保留，例如它们的空间位置、视觉属性和相对关系，并介绍了一种用于评估视觉表征的协议，重点关注视觉推理的任务，比较了局部特征和面向对象的特征对于视觉推理的影响。

    Dec, 2022

  • 对象为中心的表示、引导注意力和外部记忆对视觉关系泛化的作用

    本研究系统评估了深度神经网络（DNN）在视觉推理任务中的应用，发现虽然某些模型表现出在某些特定类型的图像上函数良好，但没有一个模型能够有效地推广到所有情况下，从而得出抽象视觉推理仍然是 DNN 面临的主要挑战。

    Apr, 2023

  • 将常识推理和知识获取结合，为机器人的深度学习提供指导

    该论文提出了一种基于认知系统的深度网络模型，以探索深度网络模型内部表示和推理机制的知识表示、推理和学习挑战，并通过使用空间关系的接地和递增式的学习，以及基于非单调逻辑推理和基础常识域知识的决策，实现对场景中物品遮挡和稳定性的推理，通过识别与任务相关的图像区域训练深度网络模型来提高决策的可靠性和减少相关的训练工作量。

    Jan, 2022

  • 视觉预训练是否有助于端到端推理？

    本文旨在探究是否可以通过视觉预训练使通用神经网络实现视觉推理的端到端学习。我们提出了一个简单的自监督框架，并在两个视觉推理基准上进行了评估。结果表明预训练对于实现复合泛化是必要的，并且我们提出的框架明显优于传统的监督预训练。

    Jul, 2023

  • 以对象为中心的视觉推理诊断

    该研究旨在通过评估不同模型在视觉推理方面的表现来回答视觉问答模型是否在进行视觉推理，为此，研究使用了 GQA 数据集中提供的目标细粒度标注，提出了一种系统性的目标中心的视觉推理诊断方法，并开发了一个名为图形推理机的诊断模型，该模型使用概率场景图替代纯符号视觉表示，并对视觉推理模块进行了教师强制训练。

    Dec, 2020