Mar, 2024

使用一致性引导细节正则化学习多个表示的蒙版引导抠像

PDF
TL;DR我们提出了一个新颖的辅助学习框架，利用语义分割、边缘检测和背景线检测等三个辅助任务，从不同类型的数据和注释中学习不同而有效的表示，以解决合成遮罩数据所带来的过拟合、对复杂结构对象和实际场景的泛化不足、以及背景线或纹理的干扰等挑战，我们还提出了高质量的 matting 基准，Plant-Mat，实验结果表明我们的方法优于现有的 mask-guided 方法。
mask-guided matting networkssemantic segmentationedge detectionbackground line detectionplant-mat
发现论文，激发创造
  • 感应式引导滤波器：移动设备上基于弱标记蒙版的实时深度图像抠图

    本文提出了一种基于深度学习和引导滤波的高效图像抠图方法，称为归纳引导滤波，可在移动设备上实现实时的一般图像抠图任务，并在复杂纹理的图像抠图中使用 Gabor 损失进行网络训练。实验结果表明，我们的方法大大减少了运行时间并保证了良好的准确性。

    May, 2019

  • 通过渐进式精化网络进行 Mask 引导背景抠像

    我们提出了一种名为 Mask Guided Matting 的稳健抠图框架，它以一般粗略掩膜为指导，利用 PRN 网络设计逐步优化不确定区域，同时通过一系列指导掩膜扰动操作增强其对外部指导的稳健性。我们重新审视了前景色预测问题，提出了一个简单的改进方案以解决数据集问题。在真实和合成基准测试中，我们证明了 MG Matting 利用各种类型的指导输入实现了最先进的性能。

    Dec, 2020

  • MaGGIe: 掩码引导渐进式人体实例抠图

    我们提出了一种新的框架 MaGGIe，即遮蔽引导逐渐人物实例抠图（Masked Guided Gradual Human Instance Matting），该框架能够在保持计算成本、精确度和一致性的同时逐步预测每个人物实例的透明度抠图。我们的方法利用现代架构，如 Transformer 注意力和稀疏卷积，同时输出所有实例的抠图，而不会发生内存和延迟问题。尽管在多实例情景下保持恒定的推理成本，我们的框架在我们提出的综合基准测试中实现了稳健而灵活的性能。通过使用更高质量的图像和视频抠图基准，引入了来自公开可用源的新型多实例综合方法，以增加模型在现实世界场景中的泛化能力。

    Apr, 2024

  • 利用掩模引导的自适应一致性约束改善神经室内表面重建

    通过两阶段训练过程、解耦视角相关与视角无关颜色、借助两个新的一致性约束来提高详细重建性能，同时引入关键的掩码方案以自适应地影响监督约束的选择，从而改善自我监督范式下的性能，在合成和真实世界数据集上的实验证明了降低先验估计错误干扰和实现高质量场景重建的能力，并保留了丰富的几何细节。

    Sep, 2023

  • 半监督语义分割遇到遮蔽建模：保真细粒度地域学习在一致性规范化中的重要性

    通过提出一种新的框架，即 MaskMatch，并应用多尺度集成策略，实现了对半监督语义分割任务中细粒度局部语义的更好感知和更准确的分割。

    Dec, 2023

  • 语义图像抠图

    本文提出使用语义分类的前景语境信息以及语义 trimap 对自然图像抠图进行改进，并就此进行了大规模实验，获得了当下具有最高竞争力的性能表现。同时，我们提供了一个考虑不同语义类别平衡的大型语义图像抠图数据集。

    Apr, 2021

  • 连接复合与真实：朝向端到端的深度图像抠图

    本文提出了一种新颖的前景抠图模型 GFM，采用了共享编码器和两个独立解码器，在高级语义分割和低级细节抠图之间分别进行学习，以实现自然图像的端到端抠图。同时，我们通过对合成图像和真实世界图像之间的区别进行了系统的分析，提出了一种 RSSN 组合路径，以便更好地提高模型的泛化能力。实验结果表明，GFM 模型在真实世界图像上的泛化性能得到了有效提高。

    Oct, 2020

  • GuidedMix-Net：使用标记的图像作为参考学习改进伪掩码

    本文提出了一种基于混合数据的指导式半监督分割方法 GuidedMix-Net，并利用标记数据指导未标记数据的学习，该方法采用特征对齐和互信息传输的方法进行特征融合，同时提出伪标签生成模块用于生成高质量伪标签，联合训练标记数据和伪标签，实验验证了该方法在各种数据集中取得了具有竞争力的分割精度和显着改进的 mIoU。

    Jun, 2021

  • 通用图像抠图的双重上下文聚合

    提出了一种名为 Dual-Context Aggregation Matting (DCAM) 的简单且通用的抠图框架，它能够在任意引导或无引导的情况下实现稳健的图像抠图。通过全局轮廓分割和局部边界细化，DCAM 对各种类型的引导和对象都表现出较强的鲁棒性。在五个抠图数据集上的实验结果表明，所提出的 DCAM 在自动抠图和交互式抠图任务中优于现有的抠图方法，突显了 DCAM 的强大普适性和高性能。

    Feb, 2024

  • 基于引导上下文注意力的自然图像抠图

    使用指导上下文关注模块的全新的端到端方法，以解决通过利用周围信息来估计本地不透明度的问题，并利用深度神经网络学习的丰富特征，成功地优于自然图像抠图中最先进的方法。

    Jan, 2020