Apr, 2023

PREIM3D: 从单张图像实现一致精确的 3D 图像属性编辑

PDF
TL;DR本文研究了 3D 感知图像属性编辑问题，提出了一种多视图身份损失和交替训练方案的方法来维持 3D 一致性和主体身份，使用 GAN 模型的反演流形进行编辑，比以前的工作更准确地编辑图像并生成了更具 3D 一致性的图像。
3d-aware image attribute editingshared encodermulti-view identity lossinversion manifoldgan models
发现论文，激发创造
  • 高保真 GAN 反演用于图像属性编辑

    本研究提出了一种新颖的高保真生成对抗网络（GAN）反演框架，可以进行带有图像特定细节（例如背景、外观和照明）的属性编辑，并使用扭曲一致性咨询和自适应扭曲对齐模块来提高反演和编辑质量。

    Sep, 2021

  • 通过潜空间导航的可控 GAN 用于图像编辑

    本研究提出了一种新的控制图像属性的编辑方法，通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑，并保留图像身份和真实感。此外，提出了客观评价标准以衡量模型性能，结果表明该模型在目标图像操作方面达到了最先进水平。

    Feb, 2021

  • 使用姿态优化的 3D GAN 反演

    本研究提出了一种通用的 3D GAN 反演方法，可以同时计算相机视角和潜变量代码，从而实现多视角一致的语义图像编辑。其关键在于利用预训练的估算器用于更好的初始化，并利用从 NeRF 参数计算的像素深度来更好地重构给定的图像。

    Oct, 2022

  • 通过属性特定提示学习实现高效的三维感知人脸图像编辑

    提出了一种基于属性特定的提示学习的高效、即插即用的三维感知人脸编辑框架，该框架利用可学习的样式令牌和样式映射器，通过预先训练的视觉语言模型在任何预先训练的三维感知生成对抗网络的潜在空间中找到以文本为导向的属性特定编辑方向，并将其转化为三维潜在空间。通过多个三维感知的身份和姿势保持损失，保证了视角一致性和身份保持。实验证明，该方法能够生成具有三维感知和视角一致性的高质量图像，同时保持属性特定的特征。

    Jun, 2024

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 可控肖像图像动画的 3D GAN 反向推导

    本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。

    Mar, 2022

  • 为 StyleGAN 图像操作设计编码器

    本文研究 StyleGAN 的潜在空间，提出了两个设计编码器的原则，以平衡畸变 - 可操作性和畸变 - 知觉的权衡，从而为真实图片的编辑提供了更好的方法。

    Feb, 2021

  • 稳健的 GAN 倒置

    通过在本身潜在空间中调节生成器网络来恢复缺失的图像细节，我们的方法在重建质量和计算效率方面优于传统方法，具有更低的失真和 4 倍少的参数数量。

    Aug, 2023

  • MulGAN：基于样例的人脸属性编辑

    本文中提出的基于属性标签限制的模型，可以通过在预定义的潜在特征空间中直接应用属性标签并使用属性分类损失，从图像中提取属性相关信息，以实现用于编辑多个属性的面部属性传输，同时通过设计新的模型结构来提高属性传输能力。在 CelebA 数据集上的实验结果表明，该方法有效地克服了其他方法存在的三个限制。

    Dec, 2019

  • Compress3D：来自单张图像的 3D 生成的压缩潜空间

    通过使用 triplane 自编码器将 3D 模型编码为紧凑的 triplane 潜空间，本文提出了一种有效压缩 3D 几何和纹理信息的方法，并引入了 3D 感知交叉注意机制，从高分辨率的 3D 特征体积中查询特征，提高了潜空间的表示能力。同时利用图像嵌入和形状嵌入作为条件，通过扩散先验模型估计形状嵌入，实现了优于现有算法的性能，且仅在单个 A100 GPU 上耗时 7 秒。

    Mar, 2024