Nov, 2023

视频实例抠图

PDF
TL;DR视频实例抠图领域研究近期的课题主要集中在视频序列中每个实例的阿尔法抠图的精准性和时间一致性，提出了 Mask Sequence Guided Video Instance Matting（MSG-VIM）作为视频实例抠图的基线模型，通过混合掩膜增强方法和时间特征引导提升了抠图预测的准确性和一致性，新建了包含多个人实例的 VIM50 数据集用于评估模型性能，采用 Video Instance-aware Matting Quality（VIMQ）作为评价指标，MSG-VIM 在 VIM50 数据集上表现出色并大幅超越现有方法。
video instance mattingalpha mattesvideo sequencemsg-vimvim50
发现论文，激发创造
  • MaGGIe: 掩码引导渐进式人体实例抠图

    我们提出了一种新的框架 MaGGIe，即遮蔽引导逐渐人物实例抠图（Masked Guided Gradual Human Instance Matting），该框架能够在保持计算成本、精确度和一致性的同时逐步预测每个人物实例的透明度抠图。我们的方法利用现代架构，如 Transformer 注意力和稀疏卷积，同时输出所有实例的抠图，而不会发生内存和延迟问题。尽管在多实例情景下保持恒定的推理成本，我们的框架在我们提出的综合基准测试中实现了稳健而灵活的性能。通过使用更高质量的图像和视频抠图基准，引入了来自公开可用源的新型多实例综合方法，以增加模型在现实世界场景中的泛化能力。

    Apr, 2024

  • 通过相互引导和多实例细化进行人类实例抠图

    提出了一种称为人物实例抠图（HIM）的新型抠图任务，旨在自动预测每个人物实例的精确 alpha 抠图。通过引入名为 InstMatt 的人物实例抠图框架，并使用新颖的互相指导策略以及多实例细化模块应对复杂的情况，本文提高了抠图的质量和准确性。我们还提出了一种新的实例抠图质量度量标准（IMQ），并构建了 HIM 基准测试集，包括合成和自然图像。

    May, 2022

  • 视频蒙版变换器：用于高质量视频实例分割

    本文提出了一种名为 Video Mask Transfiner (VMT) 的方法，该方法可以利用高效的视频转换器结构来提取细粒度的高分辨率特征，并运用局部和实例级线索来优化视频中每个轨迹的稀疏易出错的时空区域。文中还介绍了一个自动注释细化方法，并通过 HQ-YTVIS 数据集对本文提出的方法进行了实验验证。实验结果表明，该方法可以有效地分割复杂和动态的物体，捕捉精细的细节。

    Jul, 2022

  • 一步式三分图视频抠像

    本文提出了一种 One-Trimap 视频抠图网络 (OTVM)，该网络能够在只使用一个用户注释的 trimap 的情况下，鲁棒地执行视频抠图，并通过联合建模 trimap 传播和 alpha 预测来实现。其中，alpha 预测与 trimap 传播网络以及 alpha-trimap 细化模块的结合，极大地提高了模型的时序稳定性，而采用的端到端训练策略，则能充分发挥联合模型的优势，创造出了在两个最新视频抠图基准上的最佳表现。

    Jul, 2022

  • 基于注意力引导的时间连续视频对象抠图

    该论文提出了一种基于深度学习的新型视频对象抠图方法，能够实现时间上连贯的抠图效果，并使用注意力机制的时间聚合模块在特征空间中计算相邻像素沿时间轴的时序相关性，同时利用带有稀疏用户注释关键帧的先进视频对象分割网络进行细调以解决抠图问题。实验结果表明，该方法能够生成适用于各种视频的高质量阿尔法抠图。

    May, 2021

  • 通过时空对齐和聚合的深度视频抠图

    本文介绍了一个深度学习的视频抠图框架，使用了一种新颖和有效的时空特征聚合模块 (ST-FAM)，同时引入了一种轻量级的交互式 trimap 传播网络，配合一个大规模的视频抠图数据集进行评估，实验结果表明，该框架在具有多帧时间信息的视频中，在定量和定性实验中均显著优于传统视频抠图和应用于视频的深度图像抠图方法。

    Apr, 2021

  • 视频实例分割

    本论文提出了一个新的计算机视觉任务，名为视频实例分割，目标是同时检测、分割和跟踪视频帧中的实例。为了便于研究，提出了一个大规模基准数据集 YouTube-VIS 和一个新算法 MaskTrack R-CNN。实验表明，这个算法优于强基线，并为未来研究提供了启示。

    May, 2019

  • PM-VIS: 高性能有框标注视频实例分割

    通过多个角度利用实例框注释生成高质量的伪实例掩码，并引入两种基于高质量伪实例掩码的真实数据过滤方法，以提高训练数据集质量并改善完全监督的 VIS 方法性能。通过整合掩码损失到 IDOL-BoxInst 中，我们的 PM-VIS 模型在实例掩码预测方面表现出较强能力，在 YouTube-VIS 2019、YouTube-VIS 2021 和 OVIS 验证集上取得了最新的最佳性能，显著缩小了基于框监督和完全监督的 VIS 方法之间的差距。

    Apr, 2024

  • 端到端人体实例抠图

    该论文提出了一种新的端到端人体实例分割（E2E-HIM）框架，用于更高效地进行多实例分割。该框架通过使用图像特征提取、空间注意力、语义嵌入等技术，同时生成所有实例级别的 alpha 轮廓图，相较于现有方法在人体实例分割上降低了 50％的错误率并提升了 5 倍的速度。在多个数据集上的实验证明了该方法的竞争性能。

    Mar, 2024

  • 任意抠像

    提出了 Matting Anything Model（MAM），一种高效且通用的框架，用于估计图像中任何实例的 alpha 掩模，该框架具有灵活和交互式的视觉或语言提示，可以处理各种类型的图像抠图​​，并且相比于其他专门化的图像抠图网络具有优势，并成功应用于不同的图像抠图基准测试中。

    Jun, 2023