ECCVJul, 2020

通过可区分裂片检索实现图像合成的 RetrieveGAN

PDF
TL;DR该论文提出一种利用场景描述和参考补丁合成图像的方法，并使用可微分检索模块实现端到端的培训，以学习更好的特征嵌入用于检索，并通过附加目标函数鼓励选择相互兼容的补丁。经过广泛的定量和定性实验表明，该方法可以生成逼真多样的图像，检索的补丁合理且相互兼容。
image generationscene descriptionreference patchesdifferentiable retrieval moduleend-to-end trainable
发现论文，激发创造
  • TextureGAN：使用纹理贴片控制深度图像合成

    本文介绍了一种通过草图、颜色和纹理生成深层次图像的方法。通过引入纹理控制来实现用户对输出纹理的控制，我们的生成网络可以学习到如何根据用户的纹理想法生成与之一致的对象，并且在实验中得到了验证。

    Jun, 2017

  • 针对素描检索的对抗训练

    本研究采用生成对抗网络，从无监督数据中学习出良好的表征，并应用于图像生成、场景分类以及像象形文字这类草图检索。我们提出了一种与草图检索搭配的新型 GAN 结构，并通过对比传统 GAN 结构的表现，证明本研究的草图 GAN 可用于草图的检索，并且相比标准 GAN 结构具有更高的旋转、缩放以及平移稳定性。

    Jul, 2016

  • SketchyGAN：多样化逼真的草图到图像合成

    本研究提出了一种新的生成对抗网络 (GAN) 方法，利用数据增强及信息流构建模块等技术，在摩托车、马和沙发等 50 类别的草图上合成逼真的图像，并在 Inception 分数上取得显著的改进。

    Jan, 2018

  • 基于补丁的 3D 自然场景从单个示例生成

    提出一种基于 3D Patch 的生成模型，用于生成高质量通用自然场景，解决了训练数据量小、场景特征变化等问题。

    Apr, 2023

  • DermGAN：临床皮肤病理图像的合成生成

    本研究使用生成式对抗网络（GAN）创建临床图像合成，提出了适应于特定皮肤病状的 DermGAN，并使用合成图像作为数据增强技术，提高了皮肤病分类器的性能。

    Nov, 2019

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 具有生成图像先验的语义照片处理

    本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

    May, 2020

  • 重新思考生成式零样本学习：一种基于集成学习的视觉图块识别方法

    使用生成模型从文本描述中生成区域特征以及使用加权投票策略的修正。

    Jul, 2020

  • 合成训练图像的未实现承诺：使用检索的真实图像性能更好

    通过对比采用生成模型生成的人工数据和来自真实数据的有针对性图像进行微调，在任务上针对性生成的合成数据被真实数据普遍匹配或超越，这表明合成图像中存在生成器伪像和不准确的任务相关视觉细节。总体而言，我们认为在使用合成数据进行训练时，检索是一个必须考虑的关键基线。

    Jun, 2024

  • 基于生成对抗网络的基于补丁的图像修复

    本文提出了一种基于生成对抗网络（GAN）框架的图像修复方法，该方法利用全局 GAN（G-GAN）架构和 PatchGAN 方法结合进行鉴别器网络的构建，可较好地实现图像贴图的局部连续性和全局特征。经大量评估发现，与最新的现有技术相比，该框架在视觉和数量评估方面均取得了显著的改进。

    Mar, 2018