Oct, 2023

SlotGNN：无监督发现多物体表示和视觉动态

PDF
TL;DR利用无监督技术从视觉数据中学习多对象动态是一项具有挑战性的任务。本文提出一种新的框架，通过机器人交互学习可以学到稳健的对象表示的两个新架构：SlotTransport 用于从 RGB 图像中发现对象表示，SlotGNN 用于从 RGB 图像和机器人交互中预测它们的集体动态。
发现论文，激发创造
  • SlotFormer: 使用以物体为中心的模型进行无监督视觉动态模拟

    本文介绍了一种基于 SlotFormer 的 Transformer 自回归模型，利用学习到的目标中心表示来模拟物体间的关系，成功地应用于视频预测和 VQA 等多个领域，并表明它作为模型为基础的规划世界模型的能力与针对该任务专门设计的方法相媲美。

    Oct, 2022

  • 基于插槽注意力的目标中心学习

    本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

    Jun, 2020

  • 不变槽注意力机制：基于槽中心参考系的物体发现

    本文介绍了一种通过基于槽的神经网络、空间对称和基于槽的参考帧来提高目标探测的数据效率的方法，并通过多个合成和真实场景以及挑战性的数据集进行了评估和实验。

    Feb, 2023

  • 区别性对比网络：一种表示对象的对比方法

    本文介绍了一种无监督抽取物体的方法，在机器学习中具有重要意义。该方法不使用标签，通过利用物体的运动来学习区分每个对象，并使用新的量化评估指标，在 20 个 Atari 游戏中对其性能进行评估。

    Jul, 2020

  • SlotDiffusion: 以扩散模型实现以物体为中心的生成建模

    本研究聚焦于提高物体图像生成的关键点到图像解码，为了达到高质量的视觉生成，提出了一种基于对象中心潜在扩散模型 SlotDiffusion，该模型在六个数据集上表现优异，并可用于现有的用于视频预测质量和下游时间推理任务的对象中心动力学模型，同时还展示了该模型和自监督预训练图像编码器在非约束性现实数据集上的可扩展性。

    May, 2023

  • 掩码式多查询槽注意力用于无监督对象发现

    通过利用 DINO ViT 特征的集合查询表示来重建输入特征，我们提出了一种基于物体为中心的方法，通过遮罩输入特征，有选择性地忽略背景区域，以便模型在重建阶段更关注显著对象。此外，我们将 slot attention 拓展为多查询方法，使模型学习多套槽，产生更稳定的遮罩。我们在 PASCAL-VOC 2012 数据集上的实验结果和验证显示了每个组件的重要性，并突出了它们的组合如何不断改善物体定位。

    Apr, 2024

  • 槽位结构化世界模型

    感知和推理个体物体及其相互作用是构建智能人工系统的目标，而 Slot Structured World Models 是一种结合基于 Slot Attention 的物体中心化编码器和潜在图形动力学模型的世界模型，用于解决当前方法在提取物体表示和区分相似物体方面存在的问题。

    Jan, 2024

  • 利用语义分组进行自监督视觉表示学习

    本文探讨了从无标签场景中心数据中学习视觉表示的问题，提出了一种的基于对比学习和数据驱动语义槽的语义聚类和表示学习方法，通过此方法能够更好的区分特征和语义相符的像素点，以此来有效地分解场景中的像素群组，并显著提高目标检测、实例分割和语义分割等下游应用的效果。

    May, 2022

  • 音频中无监督的音乐对象发现

    我们提出了一种新的方法，将 SlotAttention 结构应用于音频领域，实现了无监督的音乐分解。我们介绍了一个基于频谱图的多对象音乐数据集，用于评估西方调性音乐上的对象中心学习。MusicSlots 在无监督的音符发现上表现良好，并在监督音符属性预测任务上优于几种常用对比方法。

    Nov, 2023

  • 基于对象的学习与槽混合模块

    本研究提出一种基于高斯混合模型的可学习聚类方法，将物体中心化情景建模，显著优于 Slot Attention 方法，在集合属性预测任务中取得了最先进的效果。

    Nov, 2023