Aug, 2022

自监督抠像人像增强与生成

PDF
TL;DR本文提出了利用 GAN 模型的潜在空间中的语义图片转换，在不改变人像图片本质特征的前提下，通过针对性的损失函数对 StyleGAN 的多个潜在向量进行优化，以提高任意 matting 算法从未知人像背景中去除背景物体的性能，并利用 StyleGAN 生成的数据解决手动 alpha matting 标注的问题。
alpha mattinglatent spacegan modelsimage transformationsautomatic alpha matting
发现论文，激发创造
  • 对抗引导下的人像抠图

    本研究利用预训练的转换器模型（StyleMatte）为基于 StyleGAN3 的网络（StyleMatteGAN）提供图像 - 掩码对，这个网络可用于无监督训练并生成高分辨率的带透明通道的肖像，适用于各种图像合成任务。

    May, 2023

  • 单输入生成人像抠图 Alpha Matte

    本论文提出了一种无需提供附加输入的方法进行人物抠图，将任务分为分割和 alpha matte 预测两个子任务，利用图像和分割图来预测 alpha matte，并通过引入分割编码块来避免分割信息的消失。该方法在四个基准数据集上表现优异，且结果可与需要附加输入的方法相媲美。

    Jun, 2021

  • AlphaGAN: 自然图像抠图的生成式对抗网络

    通过构建生成对抗网络的方式，训练了一个具有良好分类性能的判别器对自然图像进行抠图，并采用扩张卷积来提取全局上下文信息，从而实现了对头发等细微结构进行有效抠图。

    Jul, 2018

  • 图像抠图的解耦预训练

    提出了一种自我监督的预训练方法，用于图像抠图任务的初始化，从而提高抠图的性能，并证明该方法优于现有的抠图方法和其他自我监督的初始化方法。

    Apr, 2023

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • 上下文感知图像抠像：同时估计前景和 Alpha 值

    本研究旨在提出一种上下文感知的自然图像抠图方法，通过使用两个编码器网络来提取本地特征和全局上下文信息，以同时估计前景和 alpha 遮罩。

    Sep, 2019

  • 分层与渐进式图像抠像

    本文提出了一种层级与渐进式的注重力抠图网络（HAttMatting++）以更好地从单个 RGB 图像预测前景的不透明度，同时介绍了一个具有挑战性的图像抠图数据集并采用多种损失函数引导网络进行训练，此网络可以捕捉复杂的前景结构并实现单个 RGB 图像作为输入的最佳性能。

    Oct, 2022

  • 基于引导上下文注意力的自然图像抠图

    使用指导上下文关注模块的全新的端到端方法，以解决通过利用周围信息来估计本地不透明度的问题，并利用深度神经网络学习的丰富特征，成功地优于自然图像抠图中最先进的方法。

    Jan, 2020

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024