通过渐进式精化网络进行 Mask 引导背景抠像

CVPRDec, 2020

通过渐进式精化网络进行 Mask 引导背景抠像

Mask Guided Matting via Progressive Refinement Network

Qihang Yu, Jianming Zhang, He Zhang, Yilin Wang, Zhe Lin...

TL;DR我们提出了一种名为 Mask Guided Matting 的稳健抠图框架，它以一般粗略掩膜为指导，利用 PRN 网络设计逐步优化不确定区域，同时通过一系列指导掩膜扰动操作增强其对外部指导的稳健性。我们重新审视了前景色预测问题，提出了一个简单的改进方案以解决数据集问题。在真实和合成基准测试中，我们证明了 MG Matting 利用各种类型的指导输入实现了最先进的性能。

Abstract

We propose Mask Guided (MG) Matting, a robust matting framework that takes a general coarse mask as guidance. MG Matting leverages a network (PRN) design which encourages the matting model to provide self-guidance to progressively refine the uncertain regions through the decoding process. A series of guidance mask perturbation operations are also introduced

mask guided matting network design guidance mask perturbation foreground color prediction state-of-the-art performance

发现论文，激发创造

感应式引导滤波器：移动设备上基于弱标记蒙版的实时深度图像抠图

本文提出了一种基于深度学习和引导滤波的高效图像抠图方法，称为归纳引导滤波，可在移动设备上实现实时的一般图像抠图任务，并在复杂纹理的图像抠图中使用 Gabor 损失进行网络训练。实验结果表明，我们的方法大大减少了运行时间并保证了良好的准确性。

May, 2019

MGMap: 面向在线矢量化高精度地图构建的掩码引导学习

提出了一种名为 MGMap 的面具引导方法，通过引入学习到的面具实现了精确的地图元素定位，从而解决了当前的检测框架在定位相关特征范围和预测细节结构时存在的模糊性和丢失问题。

Apr, 2024

MaGGIe: 掩码引导渐进式人体实例抠图

我们提出了一种新的框架 MaGGIe，即遮蔽引导逐渐人物实例抠图（Masked Guided Gradual Human Instance Matting），该框架能够在保持计算成本、精确度和一致性的同时逐步预测每个人物实例的透明度抠图。我们的方法利用现代架构，如 Transformer 注意力和稀疏卷积，同时输出所有实例的抠图，而不会发生内存和延迟问题。尽管在多实例情景下保持恒定的推理成本，我们的框架在我们提出的综合基准测试中实现了稳健而灵活的性能。通过使用更高质量的图像和视频抠图基准，引入了来自公开可用源的新型多实例综合方法，以增加模型在现实世界场景中的泛化能力。

Apr, 2024

使用一致性引导细节正则化学习多个表示的蒙版引导抠像

我们提出了一个新颖的辅助学习框架，利用语义分割、边缘检测和背景线检测等三个辅助任务，从不同类型的数据和注释中学习不同而有效的表示，以解决合成遮罩数据所带来的过拟合、对复杂结构对象和实际场景的泛化不足、以及背景线或纹理的干扰等挑战，我们还提出了高质量的 matting 基准，Plant-Mat，实验结果表明我们的方法优于现有的 mask-guided 方法。

Mar, 2024

对抗引导下的人像抠图

本研究利用预训练的转换器模型（StyleMatte）为基于 StyleGAN3 的网络（StyleMatteGAN）提供图像 - 掩码对，这个网络可用于无监督训练并生成高分辨率的带透明通道的肖像，适用于各种图像合成任务。

May, 2023

高效自然图像抠图

本研究提出了一种基于卷积神经网络的轻量级无裁剪自然图像抠图方法，通过构建分割网络和抠图精炼网络实现像素分类和细节信息提取，该方法具有可比较的性能但只使用大型模型约 1% 的参数 (344k)。

Oct, 2021

连接复合与真实：朝向端到端的深度图像抠图

本文提出了一种新颖的前景抠图模型 GFM，采用了共享编码器和两个独立解码器，在高级语义分割和低级细节抠图之间分别进行学习，以实现自然图像的端到端抠图。同时，我们通过对合成图像和真实世界图像之间的区别进行了系统的分析，提出了一种 RSSN 组合路径，以便更好地提高模型的泛化能力。实验结果表明，GFM 模型在真实世界图像上的泛化性能得到了有效提高。

Oct, 2020

基于引导上下文注意力的自然图像抠图

使用指导上下文关注模块的全新的端到端方法，以解决通过利用周围信息来估计本地不透明度的问题，并利用深度神经网络学习的丰富特征，成功地优于自然图像抠图中最先进的方法。

Jan, 2020

PP-Matting：高精度自然图像抠图

本文提出了一种名为 PP-Matting 的无 TriMap 自然图像抠图架构，可以实现高精度的自然图像抠图，利用高清分支和语义上下文分支防止前景背景歧义和局部不确定性，与现有方法相比表现优异。

Apr, 2022

利用粗略标注提升语义人像抠图

本文提出了一种使用粗略标注数据和精细标注数据的混合数据来提高端到端语义人物抠图的方法。通过使用一个掩模预测网络来估计粗略的语义掩模，再利用一个掩模优化网络来统一之前粗略掩模的质量。最终使用抠图细化网络和输入图片来预测最终的阿尔法码。该方法在细化公共 coarse annotated dataset，对比其他最新方法表现一致。

Apr, 2020