May, 2024

提升真实世界图像中基于无定界边缘的抠图技术

PDF
TL;DR在本文中，我们定义显著对象为前景，并提出了一个名为 MFC-Net 的多特征融合的粗到精的网络，它完全整合了多个特征以获得准确完整的 alpha 遮罩。此外，我们引入图像协调方法来填补合成图像和真实图像之间的差距。最重要的是，我们建立了迄今为止最大的通用抠图数据集（Real-19k）。实验证明，我们的方法在合成图像和真实世界图像上都显著有效，并且在真实世界数据集上的性能远远优于现有的无抠图方法。我们的代码和数据将很快发布。
发现论文，激发创造
  • 通过实时用户点击和不确定性估计改进图像抠图

    本文提出了一种基于深度学习的图像抠图方法，不需要传统的 trimap，只需少量用户交互即可消除模糊性，同时引入了不确定性估计模块和本地细化模块，能够精确地预测需要进一步调整的区域，取得了与传统抠图方法相当的效果。

    Dec, 2020

  • 语义图像抠图

    本文提出使用语义分类的前景语境信息以及语义 trimap 对自然图像抠图进行改进，并就此进行了大规模实验，获得了当下具有最高竞争力的性能表现。同时，我们提供了一个考虑不同语义类别平衡的大型语义图像抠图数据集。

    Apr, 2021

  • 深度自动自然图像抠图

    提出了一种基于端到端的自动图像抠图网络，通过注意力机制和预测通用 Trimap 的方法，在无需辅助输入（如 Trimap）的情况下从任意自然图像中估计软前景，可用于图像编辑，该方法在 AIM-500 数据集上的实验结果表明，在客观和主观上均优于现有方法。

    Jul, 2021

  • 解耦图像抠像

    本文提出了一个名为 AdaMatting 的新的端到端抠图框架，该框架将传统的抠图过程分解为两个子任务：Trimap 适应和 Alpha 估计，通过单个深度卷积神经网络 (CNN) 分别处理这两个子任务，实现了更好的性能表现。

    Sep, 2019

  • 背景抠像：让世界成为你的绿幕

    该论文提出了一种使用手持相机在日常环境中通过拍摄照片或视频来创建人物的 alpha 通道。论文使用基于深度学习的对抗性损失训练了两个抠图网络，能够有效地自动抠图，而无需使用绿幕或手动抠图，相比已有的抠图方法取得了显著的改进。

    Apr, 2020

  • 连接复合与真实：朝向端到端的深度图像抠图

    本文提出了一种新颖的前景抠图模型 GFM，采用了共享编码器和两个独立解码器，在高级语义分割和低级细节抠图之间分别进行学习，以实现自然图像的端到端抠图。同时，我们通过对合成图像和真实世界图像之间的区别进行了系统的分析，提出了一种 RSSN 组合路径，以便更好地提高模型的泛化能力。实验结果表明，GFM 模型在真实世界图像上的泛化性能得到了有效提高。

    Oct, 2020

  • 深度图像抠图

    本文提出一种基于深度学习的图像抠图算法，使用深度卷积编码器 - 解码器网络和卷积网络相结合，提高了前景和背景颜色相似或纹理复杂的图像抠图效果，并生成了一个大规模的图像抠图数据集，实验结果表明该算法优于之前的方法。

    Mar, 2017

  • PP-Matting：高精度自然图像抠图

    本文提出了一种名为 PP-Matting 的无 TriMap 自然图像抠图架构，可以实现高精度的自然图像抠图，利用高清分支和语义上下文分支防止前景背景歧义和局部不确定性，与现有方法相比表现优异。

    Apr, 2022

  • TransMatting: 使用 Transformer 增强透明对象抠图

    这篇文章提出了一种基于 Transformer 的网络 ——TransMatting，能够模拟具有大感受野的透明对象。文章重新设计了 trimap，使用三个可学习的三元标记，以引入高级语义特征到自注意机制中。作者还使用一个小型卷积网络来利用全局特征和非背景掩模，指导从编码器到解码器的多尺度特征传播，以维护透明对象的纹理结构。此外，作者还创建了一个高分辨率的透明对象抠图数据集。实验表明，与当前最先进的方法相比，作者提出的方法具有显著的优越性。

    Aug, 2022

  • 视觉特效的无需训练神经抠图提取

    提出了一种针对视觉效果制作的、基于深度图先验的、免训练高质量的神经抠图方法，利用深度神经网络的表示来插值不完整的约束，处理视频时具有时间上的一致性且相当简单和有效。

    Jun, 2023