CVPRMay, 2022

通过相互引导和多实例细化进行人类实例抠图

PDF
TL;DR提出了一种称为人物实例抠图（HIM）的新型抠图任务，旨在自动预测每个人物实例的精确 alpha 抠图。通过引入名为 InstMatt 的人物实例抠图框架，并使用新颖的互相指导策略以及多实例细化模块应对复杂的情况，本文提高了抠图的质量和准确性。我们还提出了一种新的实例抠图质量度量标准（IMQ），并构建了 HIM 基准测试集，包括合成和自然图像。
发现论文，激发创造
  • 端到端人体实例抠图

    该论文提出了一种新的端到端人体实例分割（E2E-HIM）框架，用于更高效地进行多实例分割。该框架通过使用图像特征提取、空间注意力、语义嵌入等技术，同时生成所有实例级别的 alpha 轮廓图，相较于现有方法在人体实例分割上降低了 50％的错误率并提升了 5 倍的速度。在多个数据集上的实验证明了该方法的竞争性能。

    Mar, 2024

  • MaGGIe: 掩码引导渐进式人体实例抠图

    我们提出了一种新的框架 MaGGIe，即遮蔽引导逐渐人物实例抠图（Masked Guided Gradual Human Instance Matting），该框架能够在保持计算成本、精确度和一致性的同时逐步预测每个人物实例的透明度抠图。我们的方法利用现代架构，如 Transformer 注意力和稀疏卷积，同时输出所有实例的抠图，而不会发生内存和延迟问题。尽管在多实例情景下保持恒定的推理成本，我们的框架在我们提出的综合基准测试中实现了稳健而灵活的性能。通过使用更高质量的图像和视频抠图基准，引入了来自公开可用源的新型多实例综合方法，以增加模型在现实世界场景中的泛化能力。

    Apr, 2024

  • 语义人像抠图

    本文提出了一种自动的人像抠图算法（SHM），以数据学习的隐式语义约束为基础，利用深度卷积神经网络同时拟合语义信息和高质量细节，经实验证明，该算法效果与互动抠图方法相当，并构建了一个包含 35,513 个前景图的高质量注释数据集。

    Sep, 2018

  • 视频实例抠图

    视频实例抠图领域研究近期的课题主要集中在视频序列中每个实例的阿尔法抠图的精准性和时间一致性，提出了 Mask Sequence Guided Video Instance Matting（MSG-VIM）作为视频实例抠图的基线模型，通过混合掩膜增强方法和时间特征引导提升了抠图预测的准确性和一致性，新建了包含多个人实例的 VIM50 数据集用于评估模型性能，采用 Video Instance-aware Matting Quality（VIMQ）作为评价指标，MSG-VIM 在 VIM50 数据集上表现出色并大幅超越现有方法。

    Nov, 2023

  • 向标签有效的人物抠图迈进：无需辅助轮廓线的弱监督简易基线

    本研究提出了一种新的实用人像抠图训练方法，通过精细的像素级人体区域识别和大量繁重的标注来实现。为了降低标注成本，现有的抠图方法通常依赖于图像合成来增加数据集。然而，合成训练图像的不自然性给自然图像带来了新的领域泛化挑战。为了解决这个挑战，我们引入了一种新的学习范式，弱半监督人像抠图（WSSHM），它利用少量昂贵的抠图标签和大量经济实惠的分割标签来节省标注成本和解决领域泛化问题。为了实现 WSSHM 的目标，我们提出了一种简单有效的训练方法，称为抠图标签融合（MLB），仅选择性地将分割和抠图数据的有益知识引导到抠图模型。通过详细分析的大量实验表明，我们的方法能够在使用少量抠图数据和大量分割数据的情况下显著提高抠图模型的鲁棒性。我们的训练方法也适用于实时模型，并具有竞争力的准确性和极快的推理速度（在 NVIDIA V100 GPU 上为 328 FPS）。实现代码可在 https://github.com/clovaai/WSSHM 获得。

    Apr, 2024

  • 任意抠像

    提出了 Matting Anything Model（MAM），一种高效且通用的框架，用于估计图像中任何实例的 alpha 掩模，该框架具有灵活和交互式的视觉或语言提示，可以处理各种类型的图像抠图​​，并且相比于其他专门化的图像抠图网络具有优势，并成功应用于不同的图像抠图基准测试中。

    Jun, 2023

  • 利用粗略标注提升语义人像抠图

    本文提出了一种使用粗略标注数据和精细标注数据的混合数据来提高端到端语义人物抠图的方法。通过使用一个掩模预测网络来估计粗略的语义掩模，再利用一个掩模优化网络来统一之前粗略掩模的质量。最终使用抠图细化网络和输入图片来预测最终的阿尔法码。该方法在细化公共 coarse annotated dataset，对比其他最新方法表现一致。

    Apr, 2020

  • 深度自动自然图像抠图

    提出了一种基于端到端的自动图像抠图网络，通过注意力机制和预测通用 Trimap 的方法，在无需辅助输入（如 Trimap）的情况下从任意自然图像中估计软前景，可用于图像编辑，该方法在 AIM-500 数据集上的实验结果表明，在客观和主观上均优于现有方法。

    Jul, 2021

  • 上下文抠图

    使用同类前景图像的参考图像和引导先验，提出了上下文抠图的新任务设置。为了克服精确前景匹配的关键挑战，引入了 IconMatting，一种基于预训练文本到图像扩散模型构建的上下文抠图模型。在 ICM-57 测试集上的定量和定性结果表明，IconMatting 在保持自动化抠图水平的同时，与基于 trimap 的抠图方法相媲美。

    Mar, 2024

  • 通过实时用户点击和不确定性估计改进图像抠图

    本文提出了一种基于深度学习的图像抠图方法，不需要传统的 trimap，只需少量用户交互即可消除模糊性，同时引入了不确定性估计模块和本地细化模块，能够精确地预测需要进一步调整的区域，取得了与传统抠图方法相当的效果。

    Dec, 2020