CVPRApr, 2024

MaGGIe: 掩码引导渐进式人体实例抠图

PDF
TL;DR我们提出了一种新的框架 MaGGIe，即遮蔽引导逐渐人物实例抠图（Masked Guided Gradual Human Instance Matting），该框架能够在保持计算成本、精确度和一致性的同时逐步预测每个人物实例的透明度抠图。我们的方法利用现代架构，如 Transformer 注意力和稀疏卷积，同时输出所有实例的抠图，而不会发生内存和延迟问题。尽管在多实例情景下保持恒定的推理成本，我们的框架在我们提出的综合基准测试中实现了稳健而灵活的性能。通过使用更高质量的图像和视频抠图基准，引入了来自公开可用源的新型多实例综合方法，以增加模型在现实世界场景中的泛化能力。
human mattingimage and video processingframeworkmaggiealpha mattes
发现论文，激发创造
  • 通过相互引导和多实例细化进行人类实例抠图

    提出了一种称为人物实例抠图（HIM）的新型抠图任务，旨在自动预测每个人物实例的精确 alpha 抠图。通过引入名为 InstMatt 的人物实例抠图框架，并使用新颖的互相指导策略以及多实例细化模块应对复杂的情况，本文提高了抠图的质量和准确性。我们还提出了一种新的实例抠图质量度量标准（IMQ），并构建了 HIM 基准测试集，包括合成和自然图像。

    May, 2022

  • 端到端人体实例抠图

    该论文提出了一种新的端到端人体实例分割（E2E-HIM）框架，用于更高效地进行多实例分割。该框架通过使用图像特征提取、空间注意力、语义嵌入等技术，同时生成所有实例级别的 alpha 轮廓图，相较于现有方法在人体实例分割上降低了 50％的错误率并提升了 5 倍的速度。在多个数据集上的实验证明了该方法的竞争性能。

    Mar, 2024

  • 视频实例抠图

    视频实例抠图领域研究近期的课题主要集中在视频序列中每个实例的阿尔法抠图的精准性和时间一致性，提出了 Mask Sequence Guided Video Instance Matting（MSG-VIM）作为视频实例抠图的基线模型，通过混合掩膜增强方法和时间特征引导提升了抠图预测的准确性和一致性，新建了包含多个人实例的 VIM50 数据集用于评估模型性能，采用 Video Instance-aware Matting Quality（VIMQ）作为评价指标，MSG-VIM 在 VIM50 数据集上表现出色并大幅超越现有方法。

    Nov, 2023

  • 通过渐进式精化网络进行 Mask 引导背景抠像

    我们提出了一种名为 Mask Guided Matting 的稳健抠图框架，它以一般粗略掩膜为指导，利用 PRN 网络设计逐步优化不确定区域，同时通过一系列指导掩膜扰动操作增强其对外部指导的稳健性。我们重新审视了前景色预测问题，提出了一个简单的改进方案以解决数据集问题。在真实和合成基准测试中，我们证明了 MG Matting 利用各种类型的指导输入实现了最先进的性能。

    Dec, 2020

  • 使用一致性引导细节正则化学习多个表示的蒙版引导抠像

    我们提出了一个新颖的辅助学习框架，利用语义分割、边缘检测和背景线检测等三个辅助任务，从不同类型的数据和注释中学习不同而有效的表示，以解决合成遮罩数据所带来的过拟合、对复杂结构对象和实际场景的泛化不足、以及背景线或纹理的干扰等挑战，我们还提出了高质量的 matting 基准，Plant-Mat，实验结果表明我们的方法优于现有的 mask-guided 方法。

    Mar, 2024

  • 分层与渐进式图像抠像

    本文提出了一种层级与渐进式的注重力抠图网络（HAttMatting++）以更好地从单个 RGB 图像预测前景的不透明度，同时介绍了一个具有挑战性的图像抠图数据集并采用多种损失函数引导网络进行训练，此网络可以捕捉复杂的前景结构并实现单个 RGB 图像作为输入的最佳性能。

    Oct, 2022

  • 语义人像抠图

    本文提出了一种自动的人像抠图算法（SHM），以数据学习的隐式语义约束为基础，利用深度卷积神经网络同时拟合语义信息和高质量细节，经实验证明，该算法效果与互动抠图方法相当，并构建了一个包含 35,513 个前景图的高质量注释数据集。

    Sep, 2018

  • 利用粗略标注提升语义人像抠图

    本文提出了一种使用粗略标注数据和精细标注数据的混合数据来提高端到端语义人物抠图的方法。通过使用一个掩模预测网络来估计粗略的语义掩模，再利用一个掩模优化网络来统一之前粗略掩模的质量。最终使用抠图细化网络和输入图片来预测最终的阿尔法码。该方法在细化公共 coarse annotated dataset，对比其他最新方法表现一致。

    Apr, 2020

  • 图像抠像的多尺度信息融合

    本文提出了一个名为 MSIA-matte 的多尺度信息组装框架，旨在从单个 RGB 图像中提取高质量的 alpha mattes。通过提取高级语义作为主题内容和保留初始 CNN 特征来编码不同级别的前景表达，然后通过设计良好的信息组装策略将它们组合在一起。实验表明，所提出的方法可以达到最先进的性能水平，与大多数现有的抠除网络相比，取得了很好的效果。

    Jan, 2021

  • 感应式引导滤波器：移动设备上基于弱标记蒙版的实时深度图像抠图

    本文提出了一种基于深度学习和引导滤波的高效图像抠图方法，称为归纳引导滤波，可在移动设备上实现实时的一般图像抠图任务，并在复杂纹理的图像抠图中使用 Gabor 损失进行网络训练。实验结果表明，我们的方法大大减少了运行时间并保证了良好的准确性。

    May, 2019