Feb, 2022

使用归一化切割的自监督 Transformers 进行无监督目标发现

PDF
TL;DR本文提出了一种基于自监督学习训练的 Transformer 模型特征的基于图的对象发现方法，在图中进行规范化的图割以分组具有相似性区域的前景物体。该方法可以显著提高无监督对象发现的性能，也可以扩展到无监督凸显性检测和弱监督对象检测领域。
self-supervised learningtransformersobject discoverygraph-cutunsupervised saliency detection
发现论文，激发创造
  • 使用自监督 Transformer 和归一化割分割图像和视频中的对象

    本研究采用基于图形的算法，通过利用自我监督变压器获得的特征来检测和分割图像和视频中的显着对象，并最终通过经典的归一化割算法解决检测和分割问题，并在多个常见的图像和视频检测和分割任务中实现了最新的结果。

    Sep, 2022

  • LOCATE：基于流引导图割和自主引导自训练的自监督目标发现

    利用动态信息和外观信息，我们提出了一种自我监督的目标发现方法，该方法能够生成高质量的目标分割遮罩，并在多个基准测试中取得与现有方法相媲美甚至超越的结果。

    Aug, 2023

  • 无监督 Transformer 定位物体

    本文提出了一种不需要昂贵的注释活动的图像集合中的目标本地化的简单方法（称为 LOST），该方法利用了以自我监督方式预训练的视觉转换器的激活特征，同时在 PASCAL VOC 2012 上的实验表明，该方法优于最先进的目标发现方法最高可达 8 CorLoc 点。此外，我们还展示了在发现对象的基础上训练一个不具有类别属性的检测器可以再次提高 7 个点，此外，我们在无监督对象发现任务上也展示了有希望的结果。

    Sep, 2021

  • 被注意力背叛：一种简洁而有效的自监督视频对象分割方法

    我们提出了一个简单而有效的方法来进行自监督视频对象分割 (VOS)。我们的关键观点是，DINO 预训练的 Transformer 中具有的固有结构依赖性可以用于建立视频中的稳健时空对应关系。此外，利用这种对应线索进行简单的聚类就足以产生具有竞争力的分割结果。我们开发了一个简化的架构来应对这些挑战，利用 DINO 预训练的 Transformer 中新兴的对象性，避免了使用额外的多模态或槽关注的需要。我们的方法在多个无监督 VOS 基准测试中展示了最先进的性能，特别在复杂的现实世界多对象视频分割任务中表现出色，如 DAVIS-17-Unsupervised 和 YouTube-VIS-19。

    Nov, 2023

  • 自监督学习在利用 Transformer 进行物体检测方面的实证研究

    研究使用自监督学习中的图像重构、遮蔽图像建模和拼图等方法来训练物体检测转换器的编码器，以实现预训练和多任务学习，并在 iSAID 数据集上进行了初步实验。

    May, 2022

  • CuVLER：通过详尽的自我监督变换增强无监督对象发现

    通过 VoteCut 和 CuVLER 方法，在多个无监督设置中，利用多个自我监督模型的特征表示进行归一化切割、聚类和像素投票，实现了显著的改进，为图像分割领域的未来发展铺平了道路。

    Mar, 2024

  • 使用自监督 Transformer 进行多目标定位的目标发现

    本文提出了使用自监督学习训练的 Transformer 网络定位多个物体的方法 MOST，并通过分形分析检测出前景补丁上的代币，将代币聚类生成边界框，最终在 PASCAL-VOC 07、12 和 COCO20k 数据集上表现优于其他方法，同时表明 MOST 可以用于目标检测的自监督预训练，并在全、半监督目标检测和非监督区域提议生成方面获得一致的改进。

    Apr, 2023

  • 无监督目标定位：观察背景发现物体

    从背景入手，在不需要强烈假设对象本身的情况下，提出了一个基于特征检测的模型 FOUND，用于无监督的显著性检测和对象发现，并在这些任务上取得了国际领先的成果。

    Dec, 2022

  • DiPS: 自监督变换器鉴别性伪标签采样用于弱监督目标定位

    引入了判别伪标签采样（DiPS）来利用无监督模型生成的类别无关地图进行弱监督目标定位（WSOL），并设计了基于 Transformer 的 WSOL 模型，使用 DiPS 生成的伪标签进行分类和定位任务训练，实验结果表明该架构与 Transformer 的建议相结合可以比现有方法获得更好的定位性能。

    Oct, 2023

  • 掩码式多查询槽注意力用于无监督对象发现

    通过利用 DINO ViT 特征的集合查询表示来重建输入特征，我们提出了一种基于物体为中心的方法，通过遮罩输入特征，有选择性地忽略背景区域，以便模型在重建阶段更关注显著对象。此外，我们将 slot attention 拓展为多查询方法，使模型学习多套槽，产生更稳定的遮罩。我们在 PASCAL-VOC 2012 数据集上的实验结果和验证显示了每个组件的重要性，并突出了它们的组合如何不断改善物体定位。

    Apr, 2024