CVPRMar, 2021

交互式图像合成和编辑的 Anycost GANs

PDF
TL;DR本文提出了可以按照不同成本预算执行的 Anycost GAN，通过多分辨率训练、自适应通道训练和生成器有条件的鉴别器，能够在不同配置下进行评估，并且相比单独训练的模型获得更好的图像质量，并且借鉴现代渲染软件的灵感，使其能够进行交互式自然图像编辑并实现较高速度的实时渲染。
generative adversarial networksimage editingelastic resolutionsmulti-resolution trainingcomputation reduction
发现论文，激发创造
  • EditGAN: 高精度语义图像编辑

    提出一种新的方法 EditGAN，通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑，同时利用生成对抗网络和条件潜空间优化来实现编辑。

    Nov, 2021

  • 基于有条件的 GAN 的高分辨率图像合成和语义操作

    使用条件生成对抗网络（conditional GANs）从语义标签图中合成高分辨率照片般真实的图像，并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构，生成 2048x1024 的视觉吸引力结果。此外，我们将我们的框架扩展到与两个额外功能的交互式视觉操作，它们是：将对象实例分割信息整合进去以进行对象操作（如删除 / 添加对象和更改对象类别），以及提出一种方法，可以在给定相同输入的情况下，生成不同的结果，允许用户交互式地编辑对象外观。人的意见研究表明，我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。

    Nov, 2017

  • 面向高保真度小样本图像合成的更快更稳定的 GAN 训练

    本文提出了一种轻量级的 GAN 结构，通过跳过层通道智能激发模块和自监督判别器训练作为特征编码器，实现少量样本进行高保真度图像的合成与生成。与 StyleGAN2 相比，本模型在数据和计算预算有限的情况下具有卓越的性能表现。

    Jan, 2021

  • StudioGAN：图像合成 GAN 的分类和基准

    该研究提出了一个基于 7 种 GAN 架构、9 种调节方法、4 种对抗性损失以及 13 种正则化模块、3 种可微增强方法、7 种评估指标和 5 种评估指标的开源库 StudioGAN，通过在多种数据集和三种不同的评估骨干 (InceptionV3，SwAV 和 Swin Transformer) 上训练基于 BigGAN，StyleGAN2 和 StyleGAN3 等最新生成模型的统一训练流水线中的可代表性 GAN，并使用 7 种评估指标量化生成性能的大规模基准测评了各种前沿的生成模型，提供了预训练权重的 GAN 实现、训练和评估脚本。

    Jun, 2022

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • MobileStyleGAN: 一种用于高保真图像合成的轻量级卷积神经网络

    本篇论文的研究目的是探讨如何在边缘设备上使用风格生成网络，并引入 MobileStyleGAN 结构，其参数量和计算复杂度分别为 StyleGAN2 的 1/3.5 和 1/9.5，同时提供可比较的生成质量。

    Apr, 2021

  • 时间上一致的语义视频编辑

    本文提出一种简单而有效的方法来实现一致性视频编辑，通过优化潜在编码和预先训练的生成器，减少时间光度不一致，并在不同领域和 GAN 逆推技术上得到了有利的结果。

    Jun, 2022

  • 风格化投影 GAN：一种快速且逼真的图像生成新结构

    利用转移学习将生成和真实样本投影到预训练的特征空间中，提出了优化后的结构化投影生成式对抗网络 Stylized Projected GANs，用于解决生成图像中出现的问题。

    Jul, 2023

  • 内容感知 GAN 压缩

    该研究提出了用于无条件 GAN 压缩的一种新方法。 该方法结合了通道修剪，知识蒸馏和内容感知，使模型在保持图像质量的同时具有更高的压缩率，可应用于各种图像生成和编辑任务。

    Apr, 2021

  • 一阶段训练生成对抗网络

    通过引入一种新的梯度分解方法，将生成式对抗网络（GANs）分为对称 GAN 和非对称 GAN 并进行统一，在一个阶段内有效地训练了两者，以此减轻了训练的工作量，并在各种数据集和网络架构上实验证明了 1.5 倍的加速效果。

    Feb, 2021