Jun, 2022

SAVi++：面向真实世界视频的端到端物体中心学习

PDF
TL;DRSAVi++ 是一种基于深度信号的物体中心视频模型，可以通过对复杂的动态场景进行对象分割和跟踪。
visual sceneobject-centric learningslot-based modeldepth signalsemergent object segmentation
发现论文，激发创造
  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • 视频的自监督目标中心学习

    本文提出了第一个完全无监督的方法，用于在真实场景的序列中分割多个对象，通过空间绑定对象并将这些槽联系起来，在高级语义特征空间中重建中间帧，解决了效率和规范化问题，成功地在 YouTube 视频中分割了复杂且多变的类别的多个实例。

    Oct, 2023

  • 面向复杂和自然视频的简单无监督物体中心学习

    提出了 STEVE，一种基于无监督学习的视频物体聚焦模型，通过使用基于 Transformer 的图像解码器进行重建观察来实现了对复杂和自然视频的有效性验证，并取得了显著的改进效果。

    May, 2022

  • 将视觉与运动联系起来，实现自监督的以物为中心的感知

    本研究采用自监督的物体中心视觉模型，只使用 RGB 视频和车辆姿态作为输入，实现了物体分解，并在 Waymo 开放感知数据集上展示了正面的结果。

    Jul, 2023

  • 通过预测时间特征相似性实现面向实际世界视频的对象中心学习

    本文提出了一种基于无监督学习、自主学习特征的物体中心学习方法，以及如何使用时间特征相似性损失来发现运动目标，并在视频数据集上取得了最先进的表现。

    Jun, 2023

  • 通过基于物体的分层表示进行移动物体分割

    本篇论文介绍了一个基于对象中心的分割模型，借助变压器架构对光流进行处理来实现视频中的多个运动对象发现、追踪与分割。同时，采用可伸缩管线生成多对象合成训练数据，以及深度学习模型的全面验证研究，并证明其在表现、预测能力等方面都具备领先水平。

    Jul, 2022

  • 连接现实世界物体中心学习的鸿沟

    该研究提出了一种无监督学习的方法，即利用自监督训练的模型来重构特征，从而在完全无监督的情况下出现物体为中心的表示形式，在模拟数据和实际数据集上表现良好，显示出竞争力。

    Sep, 2022

  • 以物体为中心的视频表示对长期行动预测

    本文旨在建立面向视频中长期动作预测的物体中心表示。我们提出利用视觉 - 语言预训练模型构建物体中心视频表示，通过 “物体提示” 从通用预训练模型中提取任务特定的物体中心表示。我们使用基于 Transformer 的神经架构来识别和预测人 - 物交互，并在 Ego4D、50Salads 和 EGTEA Gaze + 基准测试上进行了广泛评估，定量和定性结果证实了我们提出方法的有效性。

    Oct, 2023

  • 从相机运动和视频对象分割学习物体深度

    本论文致力于解决如何从摄像机测量的数据中，使用视频目标分割技术学习估计物体深度的问题，为此我们首先引入了一个多样化的，可扩展的数据集，其次设计了一种新颖的深度学习网络，该网络仅使用分割掩模和不合格的摄像机运动即可估计物体深度，我们的方法可以通过机器人和车载摄像头，在不同领域进行定位目标和避开障碍物的实验。

    Jul, 2020

  • 面向对象的多目标跟踪

    该研究提出了一种视频基于物体为中心的模型，通过适应物体为中心的插槽以及构建完整物体原型来处理遮挡，仅需要稀疏的检测标签进行物体定位和特征绑定，无需 ID 标签，并通过自我监督的期望最大化损失函数实现物体关联，实验证明了该方法在物体为中心的学习领域的卓越性能。

    Sep, 2023