ICCVAug, 2023

语义与时间关联：视频中自监督目标中心学习

PDF
TL;DR自我监督方法在学习高层语义和低层时间对应方面取得了显著进展，本文在此基础上进一步探索了整合这两个特征以增强以对象为中心的表示的可能性。我们提出了一种新颖的语义感知遮蔽插槽注意力模型，通过融合语义特征和对应关系图，有效地识别多个对象实例，达到了在无监督视频对象发现和密集标签传播任务上的有希望结果，展示了以对象为中心的分析的潜力。
发现论文，激发创造
  • 视频的自监督目标中心学习

    本文提出了第一个完全无监督的方法，用于在真实场景的序列中分割多个对象，通过空间绑定对象并将这些槽联系起来，在高级语义特征空间中重建中间帧，解决了效率和规范化问题，成功地在 YouTube 视频中分割了复杂且多变的类别的多个实例。

    Oct, 2023

  • 掩码式多查询槽注意力用于无监督对象发现

    通过利用 DINO ViT 特征的集合查询表示来重建输入特征，我们提出了一种基于物体为中心的方法，通过遮罩输入特征，有选择性地忽略背景区域，以便模型在重建阶段更关注显著对象。此外，我们将 slot attention 拓展为多查询方法，使模型学习多套槽，产生更稳定的遮罩。我们在 PASCAL-VOC 2012 数据集上的实验结果和验证显示了每个组件的重要性，并突出了它们的组合如何不断改善物体定位。

    Apr, 2024

  • 利用语义分组进行自监督视觉表示学习

    本文探讨了从无标签场景中心数据中学习视觉表示的问题，提出了一种的基于对比学习和数据驱动语义槽的语义聚类和表示学习方法，通过此方法能够更好的区分特征和语义相符的像素点，以此来有效地分解场景中的像素群组，并显著提高目标检测、实例分割和语义分割等下游应用的效果。

    May, 2022

  • 优化查询以改善对象中心学习

    本论文提出了一种新方法 Bi-level Optimized Query Slot Attention，利用可学习的查询初始化 Slot-Attention，配合双层优化方法，实现了在无监督图像分割和重构中最先进的结果，并展示了其在概念绑定和零样本学习中的巨大潜力。

    Oct, 2022

  • 基于插槽注意力的目标中心学习

    本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

    Jun, 2020

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • 无监督的条件槽注意力用于对象为中心的学习

    本研究提出了一种基于无监督条件化槽注意力和概率槽字典（PSD）的方法，利用抽象的物体属性向量作为关键字、参数化高斯分布作为相应值，来学习特定的物体级别条件分布，并在多个下游任务中展示了其在物体发现、组合场景生成和组合视觉推理方面的优势。在物体发现任务中，我们的方法表现出相似或更好的性能，并在组合视觉推理的少样本适应性任务中显著提高了场景构成能力。

    Jul, 2023

  • 通过预测时间特征相似性实现面向实际世界视频的对象中心学习

    本文提出了一种基于无监督学习、自主学习特征的物体中心学习方法，以及如何使用时间特征相似性损失来发现运动目标，并在视频数据集上取得了最先进的表现。

    Jun, 2023

  • 基于概率槽注意力的可识别物体中心表示学习

    学习模块化的物体中心表示对于系统化的泛化至关重要。现有的方法在经验上显示出有前景的物体绑定能力，但理论上的可识别性保证相对较少。理解何时可以在理论上识别物体中心表示对于按槽位进行高维图像的扩展方法具有重要意义且具有正确性保证。为此，我们提出了一种概率化的槽位注意力算法，通过在物体中心化槽位表示上施加聚合混合先验，从而在没有监督的情况下提供槽位可识别性保证，达到等价关系。我们通过简单的二维数据和高分辨率成像数据集进行了我们的理论可识别性结果的实证验证。

    Jun, 2024

  • 将视觉与运动联系起来，实现自监督的以物为中心的感知

    本研究采用自监督的物体中心视觉模型，只使用 RGB 视频和车辆姿态作为输入，实现了物体分解，并在 Waymo 开放感知数据集上展示了正面的结果。

    Jul, 2023