语义人像抠图
本文提出了一种使用粗略标注数据和精细标注数据的混合数据来提高端到端语义人物抠图的方法。通过使用一个掩模预测网络来估计粗略的语义掩模,再利用一个掩模优化网络来统一之前粗略掩模的质量。最终使用抠图细化网络和输入图片来预测最终的阿尔法码。该方法在细化公共 coarse annotated dataset,对比其他最新方法表现一致。
Apr, 2020
本文提出使用语义分类的前景语境信息以及语义 trimap 对自然图像抠图进行改进,并就此进行了大规模实验,获得了当下具有最高竞争力的性能表现。同时,我们提供了一个考虑不同语义类别平衡的大型语义图像抠图数据集。
Apr, 2021
本研究提出了一种新的实用人像抠图训练方法,通过精细的像素级人体区域识别和大量繁重的标注来实现。为了降低标注成本,现有的抠图方法通常依赖于图像合成来增加数据集。然而,合成训练图像的不自然性给自然图像带来了新的领域泛化挑战。为了解决这个挑战,我们引入了一种新的学习范式,弱半监督人像抠图(WSSHM),它利用少量昂贵的抠图标签和大量经济实惠的分割标签来节省标注成本和解决领域泛化问题。为了实现 WSSHM 的目标,我们提出了一种简单有效的训练方法,称为抠图标签融合(MLB),仅选择性地将分割和抠图数据的有益知识引导到抠图模型。通过详细分析的大量实验表明,我们的方法能够在使用少量抠图数据和大量分割数据的情况下显著提高抠图模型的鲁棒性。我们的训练方法也适用于实时模型,并具有竞争力的准确性和极快的推理速度(在 NVIDIA V100 GPU 上为 328 FPS)。实现代码可在 https://github.com/clovaai/WSSHM 获得。
Apr, 2024
提出了一种称为人物实例抠图(HIM)的新型抠图任务,旨在自动预测每个人物实例的精确 alpha 抠图。通过引入名为 InstMatt 的人物实例抠图框架,并使用新颖的互相指导策略以及多实例细化模块应对复杂的情况,本文提高了抠图的质量和准确性。我们还提出了一种新的实例抠图质量度量标准(IMQ),并构建了 HIM 基准测试集,包括合成和自然图像。
May, 2022
本文提出了一种名为 PP-Matting 的无 TriMap 自然图像抠图架构,可以实现高精度的自然图像抠图,利用高清分支和语义上下文分支防止前景背景歧义和局部不确定性,与现有方法相比表现优异。
Apr, 2022
该论文提出了一种新的端到端人体实例分割(E2E-HIM)框架,用于更高效地进行多实例分割。该框架通过使用图像特征提取、空间注意力、语义嵌入等技术,同时生成所有实例级别的 alpha 轮廓图,相较于现有方法在人体实例分割上降低了 50%的错误率并提升了 5 倍的速度。在多个数据集上的实验证明了该方法的竞争性能。
Mar, 2024
本文提出一种基于深度学习的图像抠图算法,使用深度卷积编码器 - 解码器网络和卷积网络相结合,提高了前景和背景颜色相似或纹理复杂的图像抠图效果,并生成了一个大规模的图像抠图数据集,实验结果表明该算法优于之前的方法。
Mar, 2017
提出了一种基于端到端的自动图像抠图网络,通过注意力机制和预测通用 Trimap 的方法,在无需辅助输入(如 Trimap)的情况下从任意自然图像中估计软前景,可用于图像编辑,该方法在 AIM-500 数据集上的实验结果表明,在客观和主观上均优于现有方法。
Jul, 2021
本文提出 HDMatt,第一个用于高分辨率输入的基于深度学习的图像抠图方法,采用一种新的模块设计以解决不同片段之间的上下文依赖性和一致性问题,并在 Adobe 图像抠图和 AlphaMatting 基准上取得了新的最先进性能和更高分辨率图像的出色视觉效果。
Sep, 2020
本文提出了一种虚拟多模态前景抠图方法,该方法使用自我监督多模态算法来学习人 - 物体交互前景。通过将输入图像分解成估计的深度图、分割遮罩和交互热力图,然后进行补充学习和交换可靠的梯度,在没有标签的情况下预测偏差概率图。我们证明了该模型优于现有最先进的方法。
Oct, 2021