AAAIDec, 2023

HyperEditor: 通过超网络在图像编辑中实现真实性和跨领域能力

PDF
TL;DR一种新颖的图像编辑方法 HyperEditor，通过利用由超网络生成的权重因子重新分配预训练的 StyleGAN2 生成器的权重，结合 CLIP 的跨模态图像 - 文本语义对齐，实现了真实属性编辑和跨域风格转换的同时能力，且在效率上得到改善。
image editingcross-domain editinghypereditorweight factorshypernetworks
发现论文，激发创造
  • HyperStyle: 采用 HyperNetworks 实现的 StyleGAN 反演技术用于真实图像编辑

    本文提出了 HyperStyle 方法，它利用 hypernetwork 对 StyleGAN 网络进行加权调整，从而可以将一幅图像忠实地表达为 latent space 中可调整的部分，使得该方法可以用于实现像素到像素的图像编辑工作，并且在编辑出不同于训练过的图像时，也能取得较好的效果。

    Nov, 2021

  • HyperInverter: 通过超网络改进 StyleGAN 逆向

    本研究提供了一种基于编码器和超网络的方法以实现高重构质量、可编辑性和快速推理的 GAN 反演，并在两个具有挑战性的数据集上进行了广泛的实验以证明其优越性。

    Dec, 2021

  • 通过潜空间导航的可控 GAN 用于图像编辑

    本研究提出了一种新的控制图像属性的编辑方法，通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑，并保留图像身份和真实感。此外，提出了客观评价标准以衡量模型性能，结果表明该模型在目标图像操作方面达到了最先进水平。

    Feb, 2021

  • 编辑：示例域感知的图像到图像翻译

    通过多领域多样本的花式创作，将图像转化为具有不同风格的目标图像，同时保留原图的内容特征，并实现了在一个统一的简洁模型上灵活有效地处理多个域和任意样本，相比其他现有技术在实验中显示出显著进步。

    Nov, 2019

  • 通过 CLIP 实现反事实图像处理

    通过 Contrastive-Language-Image- Pretraining (CLIP) 进行对抗操作，利用预定义的 CLIP 空间方向指导编辑，并将文本嵌入显式地转换为潜在空间，以实现准确的编码和编辑。

    Jul, 2022

  • 基于内视对抗网络的神经图片编辑

    该论文介绍了一种利用神经生成网络在现有图像上进行大规模、语义连贯的变化的交互式接口，并通过多种图像数据验证了 Introspective Adversarial Network 及其组成部分 (weight-shared dilated convolutions、Orthogonal Regularization) 的优越性。

    Sep, 2016

  • UniHDA：走向通用的混合领域自适应图像生成模型

    提出了 UniHDA，一个统一且多用途的混合领域适应框架，利用来自多个领域的多模态参考将生成器适应到新的目标领域，并提出了一种新颖的跨领域空间结构（CSS）损失来保持源生成器与目标生成器之间的详细空间结构信息，实验证明该适应后的生成器能够综合具有不同属性组成的逼真图像。

    Jan, 2024

  • 被扭曲的 GAN：使用非配对数据进行语义属性编辑

    本文利用平滑变形场学习如何进行语义图像编辑，并应用生成对抗网络的最新进展使模型能够使用不成对的数据进行训练，实现了高分辨率（4K 图像）的人脸编辑。同时，还展示了在 Cub200 鸟类数据集上进行的高质量图像编辑结果，并且采用的方法更好地保留了原始图片中主体的信息。

    Nov, 2018

  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • EditGAN: 高精度语义图像编辑

    提出一种新的方法 EditGAN，通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑，同时利用生成对抗网络和条件潜空间优化来实现编辑。

    Nov, 2021