Jan, 2024

CIMGEN：有限数据下基于预训练生成模型的受控图像操纵

PDF
TL;DR提出的方法通过修改语义图像来灵活地生成和编辑图像，利用预先训练的图像到图像转换 GAN 进行改进，并展示了在图像伪造和图像编辑领域中的性能和应用，以及对抗深度学习图像取证技术的有效性和开发鲁棒且可推广的图像取证工具的紧迫需求。
发现论文，激发创造
  • 具有生成图像先验的语义照片处理

    本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

    May, 2020

  • 基于有条件的 GAN 的高分辨率图像合成和语义操作

    使用条件生成对抗网络（conditional GANs）从语义标签图中合成高分辨率照片般真实的图像，并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构，生成 2048x1024 的视觉吸引力结果。此外，我们将我们的框架扩展到与两个额外功能的交互式视觉操作，它们是：将对象实例分割信息整合进去以进行对象操作（如删除 / 添加对象和更改对象类别），以及提出一种方法，可以在给定相同输入的情况下，生成不同的结果，允许用户交互式地编辑对象外观。人的意见研究表明，我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。

    Nov, 2017

  • 通过 SegVAE 进行可控图像合成

    SegVAE 是一个基于变分自编码器的条件图像生成网络，快速合成逼真的语义地图，为各种图像处理、编辑应用提供了良好的基础。

    Jul, 2020

  • EditGAN: 高精度语义图像编辑

    提出一种新的方法 EditGAN，通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑，同时利用生成对抗网络和条件潜空间优化来实现编辑。

    Nov, 2021

  • 用户指定内容的条件图像生成与操作

    提出了一种单一的文本到图像生成和操纵的流程，其中在我们的流程的第一部分，介绍了 TextStyleGAN 这个在文本上进行训练的模型；第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵，并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵，并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展，其中包含了人脸及相应的文本描述。

    May, 2020

  • 使用场景图进行语义图像处理

    本文主要探讨了基于场景图像进行图像编辑的问题，介绍了一种无需直接监督训练的空间 - 语义场景图网络，并通过实验验证了其能够实现在保留原始语义和风格的情况下生成新的图像构成和实现图像编辑。

    Apr, 2020

  • 利用对抗生成网络进行语义生成操作

    本文提出了一种对物体进行语义操纵的新的生成对抗网络方法，使用对比对抗目标而不是直接将合成样本接近目标数据，以生成具有高可视度和合理的对象语义的操作结果，并在多个语义操作任务上展示了我们的模型的优越性。

    Aug, 2017

  • 学习操控艺术图像

    本文提出了一种基于任意风格图像操作网络（SIM-Net）的方法，该方法利用无语义信息作为指导并采用自我监督策略中的区域传输策略进行图像生成。定性和定量实验证明了我们的方法相较于现有方法的优越性。

    Jan, 2024

  • 弱监督图像生成中的风格和语义控制

    我们提出了一种弱监督方法，实现复杂场景下的有条件图像生成，在该方法中，用户可以对场景中出现的对象进行精细控制。我们利用稀疏语义地图来控制对象的形状和类别，以及文本描述或属性来控制局部和全局风格，同时引入语义注意力模块来支持文本描述的条件，该模块的计算成本与图像分辨率无关。为了进一步增强场景的可控性，我们提出了一个两步生成方案来分解背景和前景。我们使用大词汇目标检测器产生的标签地图来训练模型，这使我们能够访问未注释的数据，并提供结构化实例信息。在这样的设置下，我们报告了比全监督设置更好的 FID 得分。我们还展示了我们的模型在 COCO 和 Visual Genome 等复杂数据集上操作场景的能力。

    Dec, 2019

  • 解锁预训练的图像骨干网络用于语义图像合成

    提出了一种新型的基于特征骨干网络和交叉注意力机制的生成对抗网络（GAN）辨别器，用于语义图像合成，实现了在 ADE-20K，COCO-Stuff 和 Cityscapes 数据集上与输入标签地图的图像质量和一致性方面的最先进结果，相较于最近的扩散模型，在推理过程中计算量减少了两个数量级。

    Dec, 2023