基于概率槽注意力的可识别物体中心表示学习

Jun, 2024

基于概率槽注意力的可识别物体中心表示学习

Identifiable Object-Centric Representation Learning via Probabilistic Slot Attention

Avinash Kori, Francesco Locatello, Ainkaran Santhirasekaram, Francesca Toni, Ben Glocker...

TL;DR学习模块化的物体中心表示对于系统化的泛化至关重要。现有的方法在经验上显示出有前景的物体绑定能力，但理论上的可识别性保证相对较少。理解何时可以在理论上识别物体中心表示对于按槽位进行高维图像的扩展方法具有重要意义且具有正确性保证。为此，我们提出了一种概率化的槽位注意力算法，通过在物体中心化槽位表示上施加聚合混合先验，从而在没有监督的情况下提供槽位可识别性保证，达到等价关系。我们通过简单的二维数据和高分辨率成像数据集进行了我们的理论可识别性结果的实证验证。

Abstract

Learning modular object-centric representations is crucial for systematic generalization. Existing methods show promising object-binding capabilities empirically, but theoretical identifiability guarantees remain

modular object-centric representations identifiability guarantees slot-based methods probabilistic slot-attention algorithm high-resolution imaging datasets

发现论文，激发创造

基于插槽注意力的目标中心学习

本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

Jun, 2020

无监督的条件槽注意力用于对象为中心的学习

本研究提出了一种基于无监督条件化槽注意力和概率槽字典（PSD）的方法，利用抽象的物体属性向量作为关键字、参数化高斯分布作为相应值，来学习特定的物体级别条件分布，并在多个下游任务中展示了其在物体发现、组合场景生成和组合视觉推理方面的优势。在物体发现任务中，我们的方法表现出相似或更好的性能，并在组合视觉推理的少样本适应性任务中显著提高了场景构成能力。

Jul, 2023

基于对象的学习与槽混合模块

本研究提出一种基于高斯混合模型的可学习聚类方法，将物体中心化情景建模，显著优于 Slot Attention 方法，在集合属性预测任务中取得了最先进的效果。

Nov, 2023

优化查询以改善对象中心学习

本论文提出了一种新方法 Bi-level Optimized Query Slot Attention，利用可学习的查询初始化 Slot-Attention，配合双层优化方法，实现了在无监督图像分割和重构中最先进的结果，并展示了其在概念绑定和零样本学习中的巨大潜力。

Oct, 2022

不变槽注意力机制：基于槽中心参考系的物体发现

本文介绍了一种通过基于槽的神经网络、空间对称和基于槽的参考帧来提高目标探测的数据效率的方法，并通过多个合成和真实场景以及挑战性的数据集进行了评估和实验。

Feb, 2023

聚焦注意力：具有空间局部性先验的强健物体中心学习

本文提出了一种在现实和合成数据集中具有显著改进的物体分割方法，称为对象中心视觉，它在现有模型中引入了空间局部性先验，并模拟了人类视觉注意力的功能。

May, 2023

面向对象的架构实现高效因果表示学习

利用因果表征学习和面向物体的学习相结合，通过修改 Slot Attention 架构，开发出了一种利用稀疏扰动进行弱监督的物体中心化架构，以更少的扰动成功解缠多个物体的属性。

Oct, 2023

语义与时间关联：视频中自监督目标中心学习

自我监督方法在学习高层语义和低层时间对应方面取得了显著进展，本文在此基础上进一步探索了整合这两个特征以增强以对象为中心的表示的可能性。我们提出了一种新颖的语义感知遮蔽插槽注意力模型，通过融合语义特征和对应关系图，有效地识别多个对象实例，达到了在无监督视频对象发现和密集标签传播任务上的有希望结果，展示了以对象为中心的分析的潜力。

Aug, 2023

自适应槽注意力机制：动态槽位目标发现

基于对象的学习（OCL）通过使用槽来提取对象的表征，提供了灵活性和可解释性的卓越结合，以抽象化低级感知特征。在 OCL 中被广泛采用的方法是槽注意机制，它利用注意机制迭代地改进槽的表示。然而，大多数基于对象的模型，包括槽注意机制，在很大程度上依赖于预定义槽的数量。为了克服这一基本限制，我们提出了一种新颖的适应性自动编码器框架，其中引入了一种自适应槽注意机制（AdaSlot），根据数据的内容动态确定最佳槽的数量。我们的框架在各种数据集上进行了广泛测试，表现出与顶级固定槽模型相当甚至超过的性能。此外，我们的分析证实，我们的方法能够根据每个实例的复杂性动态调整槽的数量，为槽注意研究提供了进一步的探索潜力。

Jun, 2024

迈向可解释的目标中心学习的可控性

通过引入自增强图像策略的槽位注意力方法（SlotAug），本文探索了一种学习可解释的自控槽位的可能性，在计算机视觉领域中的物体中心学习（OCL）的研究中取得了显著的进展，并且通过引入辅助身份操作和槽位一致性损失，提出了可控槽位的可持续性概念。广泛的实证研究和理论验证证实了我们方法的有效性，为可解释和可持续控制对象表示提供了一种新的能力。

Oct, 2023