端到端人体实例抠图
提出了一种称为人物实例抠图(HIM)的新型抠图任务,旨在自动预测每个人物实例的精确 alpha 抠图。通过引入名为 InstMatt 的人物实例抠图框架,并使用新颖的互相指导策略以及多实例细化模块应对复杂的情况,本文提高了抠图的质量和准确性。我们还提出了一种新的实例抠图质量度量标准(IMQ),并构建了 HIM 基准测试集,包括合成和自然图像。
May, 2022
本文提出了一种自动的人像抠图算法(SHM),以数据学习的隐式语义约束为基础,利用深度卷积神经网络同时拟合语义信息和高质量细节,经实验证明,该算法效果与互动抠图方法相当,并构建了一个包含 35,513 个前景图的高质量注释数据集。
Sep, 2018
我们提出了一种新的框架 MaGGIe,即遮蔽引导逐渐人物实例抠图(Masked Guided Gradual Human Instance Matting),该框架能够在保持计算成本、精确度和一致性的同时逐步预测每个人物实例的透明度抠图。我们的方法利用现代架构,如 Transformer 注意力和稀疏卷积,同时输出所有实例的抠图,而不会发生内存和延迟问题。尽管在多实例情景下保持恒定的推理成本,我们的框架在我们提出的综合基准测试中实现了稳健而灵活的性能。通过使用更高质量的图像和视频抠图基准,引入了来自公开可用源的新型多实例综合方法,以增加模型在现实世界场景中的泛化能力。
Apr, 2024
本文提出 HDMatt,第一个用于高分辨率输入的基于深度学习的图像抠图方法,采用一种新的模块设计以解决不同片段之间的上下文依赖性和一致性问题,并在 Adobe 图像抠图和 AlphaMatting 基准上取得了新的最先进性能和更高分辨率图像的出色视觉效果。
Sep, 2020
本文提出了一种层级与渐进式的注重力抠图网络(HAttMatting++)以更好地从单个 RGB 图像预测前景的不透明度,同时介绍了一个具有挑战性的图像抠图数据集并采用多种损失函数引导网络进行训练,此网络可以捕捉复杂的前景结构并实现单个 RGB 图像作为输入的最佳性能。
Oct, 2022
本文提出一种基于深度学习的图像抠图算法,使用深度卷积编码器 - 解码器网络和卷积网络相结合,提高了前景和背景颜色相似或纹理复杂的图像抠图效果,并生成了一个大规模的图像抠图数据集,实验结果表明该算法优于之前的方法。
Mar, 2017
本研究提出了一种新的实用人像抠图训练方法,通过精细的像素级人体区域识别和大量繁重的标注来实现。为了降低标注成本,现有的抠图方法通常依赖于图像合成来增加数据集。然而,合成训练图像的不自然性给自然图像带来了新的领域泛化挑战。为了解决这个挑战,我们引入了一种新的学习范式,弱半监督人像抠图(WSSHM),它利用少量昂贵的抠图标签和大量经济实惠的分割标签来节省标注成本和解决领域泛化问题。为了实现 WSSHM 的目标,我们提出了一种简单有效的训练方法,称为抠图标签融合(MLB),仅选择性地将分割和抠图数据的有益知识引导到抠图模型。通过详细分析的大量实验表明,我们的方法能够在使用少量抠图数据和大量分割数据的情况下显著提高抠图模型的鲁棒性。我们的训练方法也适用于实时模型,并具有竞争力的准确性和极快的推理速度(在 NVIDIA V100 GPU 上为 328 FPS)。实现代码可在 https://github.com/clovaai/WSSHM 获得。
Apr, 2024
本研究旨在提出一种上下文感知的自然图像抠图方法,通过使用两个编码器网络来提取本地特征和全局上下文信息,以同时估计前景和 alpha 遮罩。
Sep, 2019
本文提出了一个名为 AdaMatting 的新的端到端抠图框架,该框架将传统的抠图过程分解为两个子任务:Trimap 适应和 Alpha 估计,通过单个深度卷积神经网络 (CNN) 分别处理这两个子任务,实现了更好的性能表现。
Sep, 2019
本文提出了一种使用粗略标注数据和精细标注数据的混合数据来提高端到端语义人物抠图的方法。通过使用一个掩模预测网络来估计粗略的语义掩模,再利用一个掩模优化网络来统一之前粗略掩模的质量。最终使用抠图细化网络和输入图片来预测最终的阿尔法码。该方法在细化公共 coarse annotated dataset,对比其他最新方法表现一致。
Apr, 2020