Mar, 2024

槽位抽象器：朝着可扩展的抽象视觉推理

PDF
TL;DR通过结合不同方法的优势，提出了一种可扩展到包含大量对象和多个关系的问题的抽象可视化推理方法，在四个抽象可视化推理任务中展示了最先进的性能。
发现论文，激发创造
  • 物体为中心的关系抽象的系统性视觉推理

    该研究描述了 Object-Centric Relational Abstraction（OCRA） 模型，其结合了具有抽象表征能力的目标提取和针对关系的归纳偏差，能够从图像输入中提取显式的对象和抽象关系，实现了关于复杂视觉展示的强系统化概括。

    Jun, 2023

  • 尺度局部化的抽象推理

    该研究提出了一种多尺度架构，用于处理抽象关系推理任务中的空间和语义关系，其优于现有技术在所有基准测试中的成功表明来自多种创新，包括：在多个解析度中搜索关系模式，优化每个分辨率的推理网络并构建一个新的 RAVEN-FAIR 数据集。

    Sep, 2020

  • 学习如何在视觉对象上进行推理

    探究对象为中心的编码器和变换推理模块是否能提高图像推理任务的效果，并发现其比传统以 Raven 智力测试为基础的任务特定归纳偏见更全面适用。

    Mar, 2023

  • 对象为中心的表示、引导注意力和外部记忆对视觉关系泛化的作用

    本研究系统评估了深度神经网络（DNN）在视觉推理任务中的应用，发现虽然某些模型表现出在某些特定类型的图像上函数良好，但没有一个模型能够有效地推广到所有情况下，从而得出抽象视觉推理仍然是 DNN 面临的主要挑战。

    Apr, 2023

  • 视频的推理增强的物体中心学习

    通过设计一种名为 STATM 的新型推理模块，可以显著增强基于插槽的视频模型的物体中心学习能力。

    Mar, 2024

  • 矢量符号化架构中基于学习规则的视觉抽象推理的概率推断

    学习向量符号体系在解决抽象推理问题 (Raven's progressive matrices) 方面具有高效性和预测准确性。

    Jan, 2024

  • 视觉抽象推理任务的深度非单调推理

    本文提出了一种非单调计算方法来解决视觉抽象推理任务，使用 RAVEN 数据集进行测试，并与现有单调深度学习模型进行比较，结果表明，该方法比现有单调深度学习模型更加有效。

    Feb, 2023

  • RelViT: 用于视觉关系推理的概念引导视觉 Transformer

    本文利用视觉转换器 (ViTs) 作为我们视觉推理的基本模型，通过优化定义为物体实体及其关系概念，推动 ViTs 的推理能力，并介绍了一种新的概念特征字典，以促进全局关系推理和促进语义对象特定一一对应关系学习的局部任务。结果显示，我们的模型 Concept-guided Vision Transformer（或 RelViT）在 HICO 和 GQA 上的性能均优于先前的方法，并充分考虑了 ViT 变体和超参数的稳健性。

    Apr, 2022

  • 基于插槽注意力的目标中心学习

    本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

    Jun, 2020

  • Abstractors: 符号消息传递和关系推理的 Transformer 模块

    该论文提出了一个框架，它将关系学习转化为变形器，借助关系交叉注意机制实现感觉状态和抽象状态之间的绑定。

    Apr, 2023