CVPRApr, 2021

IMAGINE: 图像引导模型反演的图像合成

PDF
TL;DR介绍了一种基于图像反演的方法 --IMAge-Guided model INvErsion（IMAGINE），通过匹配经过训练的分类器中的多层特征表示和外部鉴别器的对抗训练，来从单一训练样本生成高质量和多样化的图像，实现了在维持语义特性约束的同时生成逼真图像，并且可以让用户直观地控制生成过程。经过大量实验证明，在对象、场景和纹理这三个不同的图像域中，IMAGINE 都比现有的基于 GAN 或基于反演的方法表现更好。
发现论文，激发创造
  • NaturalInversion: 无数据图像合成，改善真实世界一致性

    NaturalInversion 是一种基于模型反演的新颖方法，能够在不使用真实数据的情况下生成与原始数据分布非常吻合的图像，并在 CIFAR-10/100 分类器上生成的图像在可视化和其他分析中表现出更好的一致性和效果。

    Jun, 2023

  • 循环一致性反向生成对抗网络用于文本到图像合成

    本文提出了一种新颖的循环一致性逆向生成对抗网络 (CI-GAN) 框架，用于文本到图像生成和文本引导下的图像操作任务，在该框架中，我们采用循环一致性训练来学习更加稳健一致的潜变量，并通过学习文本表示与潜变量之间的相似度模型，在文本引导的优化模块中生成具有所需语义属性的图像，实验证明该框架具有良好的性能。

    Aug, 2021

  • 基于伪多视角优化的高保真三维 GAN 反演

    提出了一种高保真的三维对抗生成网络，可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立，有效解决了三维反演中的几何纹理平衡问题，并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改，因此有望被广泛应用于人工智能生成的三维内容领域。

    Nov, 2022

  • 基于样例的图像到图像翻译的多 GAN 反演

    本研究提出了一种名为多重 GAN 反演的方法，以解决基于样本的图像到图像翻译中存在的对未对齐图像元组输入和泛化能力不足的问题，并通过实验验证了其相比现有技术的优势。

    Mar, 2021

  • 基于条件隐式极大似然估计的多模态图像合成

    本文提出了基于 IMLE 的新型多模式条件图像合成方法，并在两个任务中演示了更好的多模式图像合成性能，即单幅图像超分辨率和从场景布局中的图像合成。

    Apr, 2020

  • 基于扩散驱动的 GAN 反向传递用于多模态人脸图像生成

    我们提出了一种新的多模态人脸图像生成方法，通过将文本提示和视觉输入转化为逼真的人脸图像，结合了生成对抗网络和扩散模型的优势，并通过简单映射和风格调节网络将两个模型结合起来，将特征图和注意力图中的有意义的表示转化为潜空间编码。使用预训练的生成对抗网络的翻转，可以生成 2D 或 3D 感知的面部图像。我们进一步提出了一种多步骤训练策略，将文本和结构表示反映到生成的图像中。我们的方法生成逼真的 2D、多视图和风格化的人脸图像，并与输入对齐。我们使用预训练的 2D 和 3D 生成对抗网络验证了我们的方法，结果优于现有方法。

    May, 2024

  • 视觉想象的生成模型

    本文使用变分自动编码器来实现以视觉为基础的想象，并提出了新的训练目标和推理网络，并提出了可衡量视觉想象的分别代表正确性，覆盖率和组合性的评价指标，最后通过将方法应用于两种数据集进行详细比较。

    May, 2017

  • JoIN: 联合 GAN 逆向用于固有图像分解

    该研究提出使用 GAN 作为先验来解决不适定的反演成像问题，并将方法应用于面部和材料的固有图像分解。该方法建立在 GAN 成功捕捉复杂图像分布的基础上，并展示了通过逆转多个 GAN 来维持分布先前的可能性，其是模块化的，可以成功地分解合成和真实图像，并利用 GAN 潜在空间的属性，提供了额外的优势，如图像重照。

    May, 2023

  • 黑盒解密：基于置信度的模型反演攻击与分布转移

    本文提出了一种称为 CG-MI 的置信度引导模型反演攻击方法，利用预训练的可公开获取的生成对抗网络（GAN）的潜在空间作为先验信息和无梯度优化器，在不同数据分布的黑盒设置中实现了高分辨率的模型反演攻击。实验证明，我们的方法在 Celeba 和 Facescrub 的不同分布设置中，比 SOTA 黑盒 MIA 的攻击效果提高了超过 49％和 58％。此外，我们的方法能够生成与白盒攻击产生的质量相当的高质量图像。我们的方法为黑盒模型反演攻击提供了实用而有效的解决方案。

    Feb, 2024

  • 多视角反演的三维感知生成对抗网络

    当前针对人头的 3D GAN 反演方法通常只使用一个正面图像来重建整个 3D 头部模型，从而忽略了多视角数据或动态视频时的有意义信息。本研究基于现有先进的 3D GAN 反演技术，允许一致且同时地反演同一主体的多个视角。我们采用多潜变量扩展来处理动态人脸视频中的不一致性，从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了有关目标主体的额外信息，我们观察到在几何精度和图像质量方面显著提高，尤其是在宽视角下的渲染。此外，我们展示了反演 3D 渲染的可编辑性，这使它们与基于 NeRF 的场景重建有所区别。

    Dec, 2023