不变槽注意力机制:基于槽中心参考系的物体发现
学习模块化的物体中心表示对于系统化的泛化至关重要。现有的方法在经验上显示出有前景的物体绑定能力,但理论上的可识别性保证相对较少。理解何时可以在理论上识别物体中心表示对于按槽位进行高维图像的扩展方法具有重要意义且具有正确性保证。为此,我们提出了一种概率化的槽位注意力算法,通过在物体中心化槽位表示上施加聚合混合先验,从而在没有监督的情况下提供槽位可识别性保证,达到等价关系。我们通过简单的二维数据和高分辨率成像数据集进行了我们的理论可识别性结果的实证验证。
Jun, 2024
本论文提出了一种新方法 Bi-level Optimized Query Slot Attention,利用可学习的查询初始化 Slot-Attention,配合双层优化方法,实现了在无监督图像分割和重构中最先进的结果,并展示了其在概念绑定和零样本学习中的巨大潜力。
Oct, 2022
本研究提出了一种基于无监督条件化槽注意力和概率槽字典(PSD)的方法,利用抽象的物体属性向量作为关键字、参数化高斯分布作为相应值,来学习特定的物体级别条件分布,并在多个下游任务中展示了其在物体发现、组合场景生成和组合视觉推理方面的优势。在物体发现任务中,我们的方法表现出相似或更好的性能,并在组合视觉推理的少样本适应性任务中显著提高了场景构成能力。
Jul, 2023
本文提出了一种在现实和合成数据集中具有显著改进的物体分割方法,称为对象中心视觉,它在现有模型中引入了空间局部性先验,并模拟了人类视觉注意力的功能。
May, 2023
自我监督方法在学习高层语义和低层时间对应方面取得了显著进展,本文在此基础上进一步探索了整合这两个特征以增强以对象为中心的表示的可能性。我们提出了一种新颖的语义感知遮蔽插槽注意力模型,通过融合语义特征和对应关系图,有效地识别多个对象实例,达到了在无监督视频对象发现和密集标签传播任务上的有希望结果,展示了以对象为中心的分析的潜力。
Aug, 2023
基于对象的学习(OCL)通过使用槽来提取对象的表征,提供了灵活性和可解释性的卓越结合,以抽象化低级感知特征。在 OCL 中被广泛采用的方法是槽注意机制,它利用注意机制迭代地改进槽的表示。然而,大多数基于对象的模型,包括槽注意机制,在很大程度上依赖于预定义槽的数量。为了克服这一基本限制,我们提出了一种新颖的适应性自动编码器框架,其中引入了一种自适应槽注意机制(AdaSlot),根据数据的内容动态确定最佳槽的数量。我们的框架在各种数据集上进行了广泛测试,表现出与顶级固定槽模型相当甚至超过的性能。此外,我们的分析证实,我们的方法能够根据每个实例的复杂性动态调整槽的数量,为槽注意研究提供了进一步的探索潜力。
Jun, 2024
我们的工作使用聚类算法对感知输入特征进行初始化,设计了置换不变和置换等变版本的插槽初始化层,并利用均值漂移聚类自动确定给定场景的插槽数量。在各种数据集上进行对象发现和新视角合成任务的评估结果显示,我们的方法在复杂场景下始终表现优于先前的工作。
Aug, 2023
通过利用 DINO ViT 特征的集合查询表示来重建输入特征,我们提出了一种基于物体为中心的方法,通过遮罩输入特征,有选择性地忽略背景区域,以便模型在重建阶段更关注显著对象。此外,我们将 slot attention 拓展为多查询方法,使模型学习多套槽,产生更稳定的遮罩。我们在 PASCAL-VOC 2012 数据集上的实验结果和验证显示了每个组件的重要性,并突出了它们的组合如何不断改善物体定位。
Apr, 2024
本研究提出一种基于高斯混合模型的可学习聚类方法,将物体中心化情景建模,显著优于 Slot Attention 方法,在集合属性预测任务中取得了最先进的效果。
Nov, 2023