Aug, 2024

无须Alpha标签的抠图模型训练

HTML
PDF
TL;DR本研究针对深度图像抠图中的标签困难问题，提出使用粗略标注（如前景/背景的修整图）作为指导。通过引入方向距离一致性损失（DDC损失），促进已知区域的语义信息与假设抠图规则的合作，从而有效推断过渡区域的alpha值。实验结果表明，该方法在使用粗略标注的情况下，训练出的模型在性能上与细标签监督的基线相当，甚至在某些情况下超越了人类标注的真实值。
发现论文，激发创造
  • 深度图像抠图

    本文提出一种基于深度学习的图像抠图算法，使用深度卷积编码器-解码器网络和卷积网络相结合，提高了前景和背景颜色相似或纹理复杂的图像抠图效果，并生成了一个大规模的图像抠图数据集，实验结果表明该算法优于之前的方法。

    Mar, 2017

  • 解耦图像抠像

    本文提出了一个名为AdaMatting的新的端到端抠图框架，该框架将传统的抠图过程分解为两个子任务：Trimap适应和Alpha估计，通过单个深度卷积神经网络(CNN)分别处理这两个子任务，实现了更好的性能表现。

    Sep, 2019

  • 上下文感知图像抠像：同时估计前景和 Alpha 值

    本研究旨在提出一种上下文感知的自然图像抠图方法，通过使用两个编码器网络来提取本地特征和全局上下文信息，以同时估计前景和 alpha 遮罩。

    Sep, 2019

  • 智能涂鸦图像拼接

    本文提出了一种交互式的框架，称为smart scribbles，以指导用户在输入图像上绘制少量的scribbles，从而生成高质量的alpha mattes，它可以在没有大规模matting数据集的情况下进行优化，并在实际情况下显示出更多的普适性。

    Mar, 2021

  • 深度自动自然图像抠图

    提出了一种基于端到端的自动图像抠图网络，通过注意力机制和预测通用Trimap的方法，在无需辅助输入（如Trimap）的情况下从任意自然图像中估计软前景，可用于图像编辑，该方法在AIM-500数据集上的实验结果表明，在客观和主观上均优于现有方法。

    Jul, 2021

  • 通过上下文聚合和强数据增强提高图像抠像的稳健性

    提出了一种基于深度学习和强数据增强的图像抠图方法，通过多级上下文组装和强大的数据增强提高了模型的稳健性和泛化能力，该方法在多个基准测试中具有更好的性能。

    Jan, 2022

  • 图像抠图的解耦预训练

    提出了一种自我监督的预训练方法，用于图像抠图任务的初始化，从而提高抠图的性能，并证明该方法优于现有的抠图方法和其他自我监督的初始化方法。

    Apr, 2023

  • 深度图像抠图：综合调查

    本论文综述了深度学习时代中图像抠图的最新进展及其在自动和人工辅助下的任务和网络结构，评估了代表性抠图方法的性能，并讨论了应用和挑战，同时维护了一个公共资源库来跟踪深度图像抠图的快速发展。

    Apr, 2023

  • 向标签有效的人物抠图迈进：无需辅助轮廓线的弱监督简易基线

    本研究提出了一种新的实用人像抠图训练方法，通过精细的像素级人体区域识别和大量繁重的标注来实现。为了降低标注成本，现有的抠图方法通常依赖于图像合成来增加数据集。然而，合成训练图像的不自然性给自然图像带来了新的领域泛化挑战。为了解决这个挑战，我们引入了一种新的学习范式，弱半监督人像抠图（WSSHM），它利用少量昂贵的抠图标签和大量经济实惠的分割标签来节省标注成本和解决领域泛化问题。为了实现WSSHM的目标，我们提出了一种简单有效的训练方法，称为抠图标签融合（MLB），仅选择性地将分割和抠图数据的有益知识引导到抠图模型。通过详细分析的大量实验表明，我们的方法能够在使用少量抠图数据和大量分割数据的情况下显著提高抠图模型的鲁棒性。我们的训练方法也适用于实时模型，并具有竞争力的准确性和极快的推理速度（在NVIDIA V100 GPU上为328 FPS）。实现代码可在https://github.com/clovaai/WSSHM获得。

    Apr, 2024

  • 提升真实世界图像中基于无定界边缘的抠图技术

    在本文中，我们定义显著对象为前景，并提出了一个名为MFC-Net的多特征融合的粗到精的网络，它完全整合了多个特征以获得准确完整的alpha遮罩。此外，我们引入图像协调方法来填补合成图像和真实图像之间的差距。最重要的是，我们建立了迄今为止最大的通用抠图数据集（Real-19k）。实验证明，我们的方法在合成图像和真实世界图像上都显著有效，并且在真实世界数据集上的性能远远优于现有的无抠图方法。我们的代码和数据将很快发布。

    May, 2024