Mar, 2024

DINO-Tracker：单视频中自监督点追踪的 DINO 驯化

PDF
TL;DRDINO-Tracker 是一种新的视频长期密集跟踪框架，通过在单个视频上进行测试时间训练，并结合预训练的 DINO-ViT 模型中学到的强大的局部语义特征，从而适应测试视频的动态观察，同时训练一种直接利用改进特征的跟踪器，通过自监督损失和正则化的组合实现端到端训练，并在已知基准测试中取得了最先进的结果；DINO-Tracker 在长期遮挡跟踪的挑战性案例中显著优于自监督方法，而且在竞争中超越了最先进的监督跟踪器。
发现论文，激发创造
  • 时域 DINO: 提升动作预测的自监督视频策略

    研究论文介绍了一种新颖的自监督视频策略，通过 Temporal-DINO 方法在行动预测方面取得了显著改进，提高了背景骨干网络捕捉长期依赖性的能力。

    Aug, 2023

  • DenseDINO: 通过基于 Token 的点级一致性提高密集型自监督学习

    本文提出了一种名为 DenseDINO 的简单且高效的自监督学习的 transformer 框架，用于学习密集视觉表示。通过跨视图引入基于 token 的点级监督来利用密集预测任务需要但被现有自监督 transformer 所忽略的空间信息。与 vanilla DINO 相比，在 ImageNet 的分类评估中获得了有竞争力的表现，并在 PascalVOC 上的语义分割中在线性探测协议下实现了大幅度的提升 (+7.2％mIoU)。

    Jun, 2023

  • 被注意力背叛：一种简洁而有效的自监督视频对象分割方法

    我们提出了一个简单而有效的方法来进行自监督视频对象分割 (VOS)。我们的关键观点是，DINO 预训练的 Transformer 中具有的固有结构依赖性可以用于建立视频中的稳健时空对应关系。此外，利用这种对应线索进行简单的聚类就足以产生具有竞争力的分割结果。我们开发了一个简化的架构来应对这些挑战，利用 DINO 预训练的 Transformer 中新兴的对象性，避免了使用额外的多模态或槽关注的需要。我们的方法在多个无监督 VOS 基准测试中展示了最先进的性能，特别在复杂的现实世界多对象视频分割任务中表现出色，如 DAVIS-17-Unsupervised 和 YouTube-VIS-19。

    Nov, 2023

  • 利用深层 ViT 特征作为密集的视觉描述符

    本文研究使用预训练的 Vision Transformer (ViT) 提取的深度特征作为密集的视觉描述符，提出了基于无监督 DINO-ViT 模型提取特征的简单方法，可用于各种领域的相关应用，包括共分割、语义对应等。经过大量定量和定性分析得出了符合竞争性的结果，并且较之前的无监督方法有了很大的提高。

    Dec, 2021

  • DINOv2: 无监督学习强韧可靠的视觉特征

    本文提出了一种基于预训练和自监督方法的计算机视觉模型，该模型使用大量的数据自动构建一种多样的图像数据集，能够在各种任务和图像的情况下快速、高效地生成功能强大的视觉特征。

    Apr, 2023

  • CLIP-DINOiser: 教授 CLIP 一些 DINO 的技巧

    我们提出了一种零样本开放词汇语义分割方法，无需任何注释，通过从自监督特征中提取出的定位先验来局部改进密集的 MaskCLIP 特征，从而显著提升 MaskCLIP 的性能并产生平滑的输出。

    Dec, 2023

  • 从一段长的无标签视频中学习强大的图像编码器，ImageNet 是否值得？

    通过研究第一人称视频和引入 “漫步旅行” 数据集，本文介绍了一种新颖的适用于连续视频学习的自监督图像预训练方法，称为 DoRA 方法，通过跟踪和学习来发现和追踪对象，使得单个 “漫步旅行” 视频在多个图像和视频下游任务中成为 ImageNet 的强有力竞争者。

    Oct, 2023

  • 自监督视觉 Transformer 中的新兴特性

    本研究探讨自监督学习是否为 Vision Transformer (ViT) 提供了与卷积网络 (convnets) 相比更为突出的新特性，发现自监督 ViT 特征明确包含图像的语义分割信息，在 ImageNet 数据集中取得了 78.3% 的 top-1 准确率，并将这些发现用于自监督方法 DINO 中，通过线性评估，使 ViT-Base 在 ImageNet 数据集中取得了 80.1% 的 top-1 准确率。

    Apr, 2021

  • 无监督深度跟踪

    该论文提出了一种无监督视觉跟踪方法，使用 CNN 模型和监督学习相反，采用大规模未标记视频进行无监督训练，采用多帧验证方法和成本敏感损失来促进无监督学习，取得了与完全监督追踪器相当的基准精度，同时展示了利用未标记或弱标记数据进一步提高跟踪精度的潜力。

    Apr, 2019

  • 分析自监督视觉变压器的局部表征

    自本文中，我们对各种自监督视觉变换器（ViTs）进行了比较分析，重点研究了它们的局部代表能力。我们设计了一个评估框架，分析了在少样本语义分割、实例识别、目标检索和跟踪等背景下的局部表示质量。我们发现，基于对比学习的方法如 DINO 产生了更通用的局部表示，可以立即应用于无参数调整的下游任务，而掩蔽图像建模的方法中学习的嵌入具有高方差特征，对于大多数下游任务没有有用信息。此外，通过对本工作的基准和 Scale-MAE 的分析，我们证明了移除这些高方差特征对 k-NN 算法的改进。最后，我们发现 DINOv2 在多训练数量级的数据上预训练的模型在物体实例检索方面表现比计算消耗较小的 DINO 模型更差。

    Dec, 2023