Nov, 2018

具有内部表示合成的可空间控制图像拼贴

PDF
TL;DR本研究提出了一种新的基于卷积神经网络的图像编辑策略，允许用户通过操作图像在训练好的 GAN 模型中的特征空间表示来改变图像的语义信息，并介绍了两种变体策略：空间条件批量归一化和特征混合，可用于编辑人工图像和真实图像，并可以与任何具有条件规范化层的 GAN 一起使用。
cnn-based image editing strategyfeature-space representationgan modelspatial conditional batch normalizationfeature-blending
发现论文，激发创造
  • 语义合成图像

    提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

    Sep, 2021

  • 基于有条件的 GAN 的高分辨率图像合成和语义操作

    使用条件生成对抗网络（conditional GANs）从语义标签图中合成高分辨率照片般真实的图像，并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构，生成 2048x1024 的视觉吸引力结果。此外，我们将我们的框架扩展到与两个额外功能的交互式视觉操作，它们是：将对象实例分割信息整合进去以进行对象操作（如删除 / 添加对象和更改对象类别），以及提出一种方法，可以在给定相同输入的情况下，生成不同的结果，允许用户交互式地编辑对象外观。人的意见研究表明，我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。

    Nov, 2017

  • 可控的文本到图像生成

    该论文提出了一种新颖的可控文本到图像生成对抗网络 (ControlGAN)，它能够有效地合成高质量图像并根据自然语言描述控制图像的生成。该方法采用词级空间和通道注意力机制对不同的视觉属性进行分离，并通过词级鉴别器提供细粒度的监督反馈，使生成器能够对特定的视觉属性进行操作。通过大量的实验证明，我们的方法优于现有的最先进技术，并能够通过自然语言描述有效地操作合成图像。

    Sep, 2019

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • 具有空间自适应规范化的语义图像合成

    通过使用自适应规范化层来调整激活函数，我们提出了一种简单但有效的方法来合成具有输入语义布局的逼真图像，这种方法可以提高视觉保真度和与输入布局的对齐度，并允许用户控制语义和风格。

    Mar, 2019

  • 通过潜空间导航的可控 GAN 用于图像编辑

    本研究提出了一种新的控制图像属性的编辑方法，通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑，并保留图像身份和真实感。此外，提出了客观评价标准以衡量模型性能，结果表明该模型在目标图像操作方面达到了最先进水平。

    Feb, 2021

  • 学习预测布局到图像的条件卷积，用于语义图像合成

    通过在生成器中条件化卷积核以更好地利用语义布局，提出一种特征金字塔语义嵌入判别器的多尺度生成对抗网络方法，该方法在各种语义分割数据集上实现了优秀的量化指标和主观评估。

    Oct, 2019

  • 编辑风格：揭示 GAN 的本地语义

    本文介绍了一种基于 StyleGAN 的语义编辑方法，可以局部移植另一张图像的特征，而不需要额外的监督或复杂的操作，实现了对 GAN 图像的语义编辑，并提高了图像的真实感。

    Apr, 2020

  • 具有生成图像先验的语义照片处理

    本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

    May, 2020

  • 利用生成对抗网络在本地控制图像生成来装饰你自己的卧室

    本文提出一种能够支持 GAN 生成图像的局部编辑的有效方法，称为 LoGAN，利用内容调制，风格调制与优先级掩码来精确控制生成特征，在卧室合成等实验中展示了局部编辑图像的巨大潜力，可为多功能图像编辑提供模板。

    May, 2021