Jun, 2023

通过预测时间特征相似性实现面向实际世界视频的对象中心学习

PDF
TL;DR本文提出了一种基于无监督学习、自主学习特征的物体中心学习方法，以及如何使用时间特征相似性损失来发现运动目标，并在视频数据集上取得了最先进的表现。
unsupervised learningobject-centric learningself-supervised featurestemporal feature similaritymotion bias
发现论文，激发创造
  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • 视频的自监督目标中心学习

    本文提出了第一个完全无监督的方法，用于在真实场景的序列中分割多个对象，通过空间绑定对象并将这些槽联系起来，在高级语义特征空间中重建中间帧，解决了效率和规范化问题，成功地在 YouTube 视频中分割了复杂且多变的类别的多个实例。

    Oct, 2023

  • 面向复杂和自然视频的简单无监督物体中心学习

    提出了 STEVE，一种基于无监督学习的视频物体聚焦模型，通过使用基于 Transformer 的图像解码器进行重建观察来实现了对复杂和自然视频的有效性验证，并取得了显著的改进效果。

    May, 2022

  • 野外视频中的表示学习：以对象为中心的方法

    该篇论文提出了一种从未加工过的视频中学习图像表示的方法，该方法将来自现成物体检测器的监督损失和自我监督损失相结合，取得了在 19 个迁移学习任务中有竞争力的结果，其中包括 18/19 的少样本学习任务和 8/8 的数据集泛化任务。

    Oct, 2020

  • 面向对象的多目标跟踪

    该研究提出了一种视频基于物体为中心的模型，通过适应物体为中心的插槽以及构建完整物体原型来处理遮挡，仅需要稀疏的检测标签进行物体定位和特征绑定，无需 ID 标签，并通过自我监督的期望最大化损失函数实现物体关联，实验证明了该方法在物体为中心的学习领域的卓越性能。

    Sep, 2023

  • 语义与时间关联：视频中自监督目标中心学习

    自我监督方法在学习高层语义和低层时间对应方面取得了显著进展，本文在此基础上进一步探索了整合这两个特征以增强以对象为中心的表示的可能性。我们提出了一种新颖的语义感知遮蔽插槽注意力模型，通过融合语义特征和对应关系图，有效地识别多个对象实例，达到了在无监督视频对象发现和密集标签传播任务上的有希望结果，展示了以对象为中心的分析的潜力。

    Aug, 2023

  • 以物体为中心的视频表示对长期行动预测

    本文旨在建立面向视频中长期动作预测的物体中心表示。我们提出利用视觉 - 语言预训练模型构建物体中心视频表示，通过 “物体提示” 从通用预训练模型中提取任务特定的物体中心表示。我们使用基于 Transformer 的神经架构来识别和预测人 - 物交互，并在 Ego4D、50Salads 和 EGTEA Gaze + 基准测试上进行了广泛评估，定量和定性结果证实了我们提出方法的有效性。

    Oct, 2023

  • 无监督的时间数据特征学习

    该研究旨在探讨基于无监督学习的视频数据特征学习，利用自编码器技术和慢特征学习，提出一种更为时空连贯、语义更为相似的度量标准。

    Apr, 2015

  • 无监督学习时空一致度量

    本文研究在没有监督训练下在时间上连续的视频数据中进行无监督特征学习的方法，主要包含自编码器、时间和稀疏性正则化、缓慢特征学习和度量学习，最终得到一个更具有时间和语义一致性的度量方法。

    Dec, 2014