Jun, 2020

基于视频序列的无监督物体表示基准测试

PDF
TL;DR研究了四种基于物体的表征方法的感知能力，设计了一个基准测试集来评估物体检测、分割和跟踪的基本感知能力，并发现具有非约束潜在表征的架构比基于空间变换器的架构具有更强的物体感知能力。
object-centric representationsunsupervised learningtrackingbenchmarkperceptual abilities
发现论文，激发创造
  • 野外视频中的表示学习：以对象为中心的方法

    该篇论文提出了一种从未加工过的视频中学习图像表示的方法，该方法将来自现成物体检测器的监督损失和自我监督损失相结合，取得了在 19 个迁移学习任务中有竞争力的结果，其中包括 18/19 的少样本学习任务和 8/8 的数据集泛化任务。

    Oct, 2020

  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 利用空间不变性进行可扩展的无监督物体跟踪

    提出了一种能够应对大场景和多物体的无监督对象跟踪体系结构，包括空间不变运算（卷积和空间注意）和本地对象表示方案，在多个实验中展现了在有多个物体的混乱场景中跟踪对象比其他方法更好，并且能够很好地推广到训练时未遇到的更大，物体更多的视频中。

    Nov, 2019

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • 视频的自监督目标中心学习

    本文提出了第一个完全无监督的方法，用于在真实场景的序列中分割多个对象，通过空间绑定对象并将这些槽联系起来，在高级语义特征空间中重建中间帧，解决了效率和规范化问题，成功地在 YouTube 视频中分割了复杂且多变的类别的多个实例。

    Oct, 2023

  • 通过预测时间特征相似性实现面向实际世界视频的对象中心学习

    本文提出了一种基于无监督学习、自主学习特征的物体中心学习方法，以及如何使用时间特征相似性损失来发现运动目标，并在视频数据集上取得了最先进的表现。

    Jun, 2023

  • 从多个视角学习多对象场景的基于对象的表征

    MulMON 基于多视角学习，旨在实现准确和脱耦的多对象场景的目标结构化，克服了单视角方法在物体场景表示中遇到的问题。

    Nov, 2021

  • 面向对象的多目标跟踪

    该研究提出了一种视频基于物体为中心的模型，通过适应物体为中心的插槽以及构建完整物体原型来处理遮挡，仅需要稀疏的检测标签进行物体定位和特征绑定，无需 ID 标签，并通过自我监督的期望最大化损失函数实现物体关联，实验证明了该方法在物体为中心的学习领域的卓越性能。

    Sep, 2023

  • 多目标跟踪的分层视觉表示

    我们提出了一种新的多对象跟踪的视觉分层表示范式，并通过关注对象的组合性视觉区域和与背景的对比背景信息，不仅仅局限于语义可视线索（如边界框），而是更有效地区分对象。这种组合性 - 语义 - 上下文层次结构灵活地集成到不同的基于外观的多对象跟踪方法中。我们还提出了一种基于注意力的视觉特征模块来融合分层视觉表示。该方法在多个多对象跟踪基准中实现了最先进的准确性和时间效率。

    Feb, 2024

  • 以物体为中心的视频表示对长期行动预测

    本文旨在建立面向视频中长期动作预测的物体中心表示。我们提出利用视觉 - 语言预训练模型构建物体中心视频表示，通过 “物体提示” 从通用预训练模型中提取任务特定的物体中心表示。我们使用基于 Transformer 的神经架构来识别和预测人 - 物交互，并在 Ego4D、50Salads 和 EGTEA Gaze + 基准测试上进行了广泛评估，定量和定性结果证实了我们提出方法的有效性。

    Oct, 2023