ECCVAug, 2022

TransMatting: 使用 Transformer 增强透明对象抠图

PDF
TL;DR这篇文章提出了一种基于 Transformer 的网络 ——TransMatting，能够模拟具有大感受野的透明对象。文章重新设计了 trimap，使用三个可学习的三元标记，以引入高级语义特征到自注意机制中。作者还使用一个小型卷积网络来利用全局特征和非背景掩模，指导从编码器到解码器的多尺度特征传播，以维护透明对象的纹理结构。此外，作者还创建了一个高分辨率的透明对象抠图数据集。实验表明，与当前最先进的方法相比，作者提出的方法具有显著的优越性。
发现论文，激发创造
  • 语义图像抠图

    本文提出使用语义分类的前景语境信息以及语义 trimap 对自然图像抠图进行改进，并就此进行了大规模实验，获得了当下具有最高竞争力的性能表现。同时，我们提供了一个考虑不同语义类别平衡的大型语义图像抠图数据集。

    Apr, 2021

  • F, B, Alpha 抠图

    该论文提出了一种低成本的改进方法，以预测前景和背景的颜色，进而实现图像抠图和透明区域补色，并通过多种方法对深度学习网络进行了训练，实现在 Adobe Composition-1k 数据集和 alphamatting.com 的在线评估中达到了最佳性能。

    Mar, 2020

  • 提升真实世界图像中基于无定界边缘的抠图技术

    在本文中，我们定义显著对象为前景，并提出了一个名为 MFC-Net 的多特征融合的粗到精的网络，它完全整合了多个特征以获得准确完整的 alpha 遮罩。此外，我们引入图像协调方法来填补合成图像和真实图像之间的差距。最重要的是，我们建立了迄今为止最大的通用抠图数据集（Real-19k）。实验证明，我们的方法在合成图像和真实世界图像上都显著有效，并且在真实世界数据集上的性能远远优于现有的无抠图方法。我们的代码和数据将很快发布。

    May, 2024

  • 深度图像抠图

    本文提出一种基于深度学习的图像抠图算法，使用深度卷积编码器 - 解码器网络和卷积网络相结合，提高了前景和背景颜色相似或纹理复杂的图像抠图效果，并生成了一个大规模的图像抠图数据集，实验结果表明该算法优于之前的方法。

    Mar, 2017

  • TOM-Net: 从单张图片学习透明物体抠图

    本文提出了一种基于深度学习的透明物体抠图方法，将透明物体抠图问题作为一种折射流估计问题进行建模，并借助 TOM-Net 框架提出了一种快速、精确的抠图方法。通过构建合成数据集和真实数据集测试表明了该方法的有效性。

    Mar, 2018

  • 解耦图像抠像

    本文提出了一个名为 AdaMatting 的新的端到端抠图框架，该框架将传统的抠图过程分解为两个子任务：Trimap 适应和 Alpha 估计，通过单个深度卷积神经网络 (CNN) 分别处理这两个子任务，实现了更好的性能表现。

    Sep, 2019

  • 基于引导上下文注意力的自然图像抠图

    使用指导上下文关注模块的全新的端到端方法，以解决通过利用周围信息来估计本地不透明度的问题，并利用深度神经网络学习的丰富特征，成功地优于自然图像抠图中最先进的方法。

    Jan, 2020

  • MatteFormer: 基于先验 Token 的 Transformer 图像抠图

    本文提出了一种基于 transformer 的图像抠图模型 MatteFormer，利用 trimap 信息；方法采用优先标记，并在每个块的自注意机制中使用全局先验，评估结果表明其可以在基准数据集上实现最领先的性能表现。

    Mar, 2022

  • 分层与渐进式图像抠像

    本文提出了一种层级与渐进式的注重力抠图网络（HAttMatting++）以更好地从单个 RGB 图像预测前景的不透明度，同时介绍了一个具有挑战性的图像抠图数据集并采用多种损失函数引导网络进行训练，此网络可以捕捉复杂的前景结构并实现单个 RGB 图像作为输入的最佳性能。

    Oct, 2022

  • 深度自动自然图像抠图

    提出了一种基于端到端的自动图像抠图网络，通过注意力机制和预测通用 Trimap 的方法，在无需辅助输入（如 Trimap）的情况下从任意自然图像中估计软前景，可用于图像编辑，该方法在 AIM-500 数据集上的实验结果表明，在客观和主观上均优于现有方法。

    Jul, 2021