分离关注力：具有上下文语境的无监督多物体发现

Apr, 2023

分离关注力：具有上下文语境的无监督多物体发现

Divided Attention: Unsupervised Multi-Object Discovery with Contextually Separated Slots

Dong Lao, Zhengyang Hu, Francesco Locatello, Yanchao Yang, Stefano Soatto

TL;DR本文介绍了一种无监督学习方法，通过将视觉场景分割为独立运动区域并生成多模式表示，来实现多物体运动分割。该方法基于 Slot Attention 进行生成对抗网络设计，其优于最近的无监督多物体分割方法，同时速度快且不需要显式正则化。

Abstract

We introduce a method to segment the visual field into independently moving regions, trained with no ground truth or supervision. It consists of an adversarial conditional encoder-decoder architecture based on Slot Attention, modified to use the image as context to decode optical flow

visual field motion segmentation multi-modal representation attention slots unsupervised learning

发现论文，激发创造

基于上下文信息分离的无监督移动物体检测

提出了一种基于对抗上下文模型的无监督学习方法，在使用深度神经网络预测图像中某个区域的光流时利用其他区域的上下文信息，并通过优化上下文信息使得变量之间自然地竞争而不需要显式的正则化或超参数调整，该方法能够在无需任何监督的情况下胜过多种预训练于大型标注数据集的方法，可看作是经典区域分割的广义推广。

Jan, 2019

掩码式多查询槽注意力用于无监督对象发现

通过利用 DINO ViT 特征的集合查询表示来重建输入特征，我们提出了一种基于物体为中心的方法，通过遮罩输入特征，有选择性地忽略背景区域，以便模型在重建阶段更关注显著对象。此外，我们将 slot attention 拓展为多查询方法，使模型学习多套槽，产生更稳定的遮罩。我们在 PASCAL-VOC 2012 数据集上的实验结果和验证显示了每个组件的重要性，并突出了它们的组合如何不断改善物体定位。

Apr, 2024

基于注意力机制和软最大值的无监督多目标分割

利用平移等变性注意机制进行的无监督物体中心表示学习和多物体检测与分割架构，其中使用注意机制来预测场景中物体的坐标并为每个物体关联一个特征向量。

May, 2022

基于插槽注意力的目标中心学习

本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

Jun, 2020

自适应槽注意力机制：动态槽位目标发现

基于对象的学习（OCL）通过使用槽来提取对象的表征，提供了灵活性和可解释性的卓越结合，以抽象化低级感知特征。在 OCL 中被广泛采用的方法是槽注意机制，它利用注意机制迭代地改进槽的表示。然而，大多数基于对象的模型，包括槽注意机制，在很大程度上依赖于预定义槽的数量。为了克服这一基本限制，我们提出了一种新颖的适应性自动编码器框架，其中引入了一种自适应槽注意机制（AdaSlot），根据数据的内容动态确定最佳槽的数量。我们的框架在各种数据集上进行了广泛测试，表现出与顶级固定槽模型相当甚至超过的性能。此外，我们的分析证实，我们的方法能够根据每个实例的复杂性动态调整槽的数量，为槽注意研究提供了进一步的探索潜力。

Jun, 2024

无监督的条件槽注意力用于对象为中心的学习

本研究提出了一种基于无监督条件化槽注意力和概率槽字典（PSD）的方法，利用抽象的物体属性向量作为关键字、参数化高斯分布作为相应值，来学习特定的物体级别条件分布，并在多个下游任务中展示了其在物体发现、组合场景生成和组合视觉推理方面的优势。在物体发现任务中，我们的方法表现出相似或更好的性能，并在组合视觉推理的少样本适应性任务中显著提高了场景构成能力。

Jul, 2023

具有可变形注意力的自主视频目标分割中蒸馏学习

基于可变形注意力的自监督视频对象分割方法在学习对象表示时能够有效地适应时间变化，通过将可变形注意力集成到蒸馏损失中，我们在自监督学习框架下训练了该方法，并在包括 DAVIS 2016/2017 和 YouTube-VOS 2018/2019 等基准数据集上对其进行了定性和定量评估，实验证实了其在性能和内存使用方面的优越性。

Jan, 2024

音频中无监督的音乐对象发现

我们提出了一种新的方法，将 SlotAttention 结构应用于音频领域，实现了无监督的音乐分解。我们介绍了一个基于频谱图的多对象音乐数据集，用于评估西方调性音乐上的对象中心学习。MusicSlots 在无监督的音符发现上表现良好，并在监督音符属性预测任务上优于几种常用对比方法。

Nov, 2023

优化查询以改善对象中心学习

本论文提出了一种新方法 Bi-level Optimized Query Slot Attention，利用可学习的查询初始化 Slot-Attention，配合双层优化方法，实现了在无监督图像分割和重构中最先进的结果，并展示了其在概念绑定和零样本学习中的巨大潜力。

Oct, 2022

基于对象的学习与槽混合模块

本研究提出一种基于高斯混合模型的可学习聚类方法，将物体中心化情景建模，显著优于 Slot Attention 方法，在集合属性预测任务中取得了最先进的效果。

Nov, 2023