ICCVSep, 2023

重新思考从学习有监督信号与以对象为中心的表示进行的非物质视频分割

PDF
TL;DR视频模态分割是计算机视觉中一个具有挑战性的任务，本文提出了一种基于对象中心表示的高效模态分割方法，利用运动流和多视图信息相互融合，引入三维信息以提升特征质量，并通过对象插槽和注意机制完成充分的对象表示，实现对物体的全遮罩分割。
发现论文，激发创造
  • 视频的自监督目标中心学习

    本文提出了第一个完全无监督的方法，用于在真实场景的序列中分割多个对象，通过空间绑定对象并将这些槽联系起来，在高级语义特征空间中重建中间帧，解决了效率和规范化问题，成功地在 YouTube 视频中分割了复杂且多变的类别的多个实例。

    Oct, 2023

  • 通过基于物体的分层表示进行移动物体分割

    本篇论文介绍了一个基于对象中心的分割模型，借助变压器架构对光流进行处理来实现视频中的多个运动对象发现、追踪与分割。同时，采用可伸缩管线生成多对象合成训练数据，以及深度学习模型的全面验证研究，并证明其在表现、预测能力等方面都具备领先水平。

    Jul, 2022

  • 基于外貌的目标中心运动分割优化

    通过引入外观优化方法和视频流的时间一致性，我们提出了一种能够独立发现、分割和跟踪复杂视觉场景中独立移动物体的方法。该方法通过简单的选择机制识别准确的光流预测掩码，并基于示例信息优化有问题的掩码。我们的模型在多个视频分割基准上的性能表现验证了其在单个物体分割上的竞争力，并在更具挑战性的多物体分割问题上明显优于现有模型。最后，我们研究了将我们的模型用作逐帧 Segment Anything 模型的提示的好处。

    Dec, 2023

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • 通过运动分组的自监督视频目标分割

    本研究介绍了一种基于运动线索的分割方法，使用 Transformer 网络结构，采用自我监督的方法进行训练，结果在公共基准测试中表现优异，证明在现有视频分割模型中，对于运动线索的重要性，以及对视觉外观存在潜在偏差的可能性。

    Apr, 2021

  • 无关视角实体分割

    本文提出并验证了一种基于标准模态实例分割注释来训练模型进行非模态实例分割的新方法。同时定性和定量证明了该方法的有效性。

    Apr, 2016

  • 物体性质的出现：从视频中学习零样本分割

    该研究通过对视频中连续的视觉观察进行分组和运动建模，并在不需要外部监督的情况下通过区域流来自动学习区域分割和流估计，实现了从视频中全新的零样本目标分割。

    Nov, 2021

  • 感知无形：无需提案的全视野不论提取分割

    本文提出了一种无需预测提议、将 amodal mask 分配到不同层级、通过在每一层独立地进行 amodal 实例回归来预测交通参与者及其语义标签的 proposal-free 多标签多类别无缝分割网络，并采用共享骨干和不对称双解码器的 et 架构以及 amodal mask refiner，其在 BDD100K-APS 和 KITTI-360-APS 数据集上的测试表明超越了现有技术水平。

    May, 2022

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017

  • 野外环境下的无偏实态和补全

    我们研究的问题是不完全图像分割：预测包括可见和不可见（被遮挡）部分的完整对象分割掩膜。我们使用 3D 数据构建了一个自动管道来确定真实的部分遮挡对象的不完全真值分割掩膜，并通过两种架构变体探索了在野外处理不完全完成任务的方法。我们的方法在包括 COCOA 和我们的新 MP3D-Amodal 数据集在内的不完全分割数据集上取得了最新的最好性能。

    Dec, 2023