CVPRMay, 2022

StyLandGAN: 基于 StyleGAN 和深度图的风景图像合成

PDF
TL;DR提出了一种名为 StyLandGAN 的新型框架，它使用深度图像合成所需的景观图像，并提出了一个 '2 相推理 ' 管道，以生成多样的深度地图和平移局部部分，从而更容易地反映用户的意图。与现有语义图像合成模型相比，实验结果表明，我们的方法在质量、多样性和深度精度方面优于现有方法。
发现论文，激发创造
  • DeepLandscape：风景视频的对抗建模

    本文利用模型 StyleGAN 对风景视频进行训练，生成真实的时间变化风景视频，并通过拟合到静态风景图像中实现再现，同时提出简单的 StyleGAN 反演过程改进，生成比以前更引人注目的风景动画。

    Aug, 2020

  • StyleCineGAN：使用预训练的 StyleGAN 生成景观动态照片

    利用预训练的 StyleGAN 从静态风景图像中自动生成电影画面的方法，通过利用 StyleGAN 的深层特征空间进行 GAN 反演和电影画面生成，采用多尺度深层特征变形（MSDFW）技术，生成的电影画面具有高分辨率和可信的循环动画效果，并通过用户研究和与最先进的电影画面生成方法以及使用预训练的 StyleGAN 的视频生成方法的定量比较展示了我们方法的卓越性能。

    Mar, 2024

  • 3D-SSGAN: 二维语义向三维感知组合肖像合成

    3D-SSGAN 是一个新颖的 3D 感知合成肖像图像的框架，通过提供细粒度的部件级控制，并保持 3D 视图的一致性，在合成肖像图像的同时实现了清晰的人脸区域解缠，其通过引入一个基于深度引导的 2D 到 3D 映射模块和一个具有新颖的 3D 感知语义掩码渲染器的体积渲染器来生成合成的人脸特征和相应的掩码，并通过区分真实和合成的 2D 图像和语义掩码的方式进行端到端的训练，定量和定性评估证明了 3D-SSGAN 在可控的部件级合成和保持 3D 视图一致性方面的优越性。

    Jan, 2024

  • 具深度先验知识的室内场景 3D 合成

    该研究提出了一种基于深度的双通道生成器和可切换鉴别器，用于从 2D 数据中合成 3D 感知室内场景的图像，并通过实验表明，该方法可以显著优于现有的最先进的方法。

    Feb, 2022

  • 姿态与风格：基于条件 StyleGAN 的保留细节的姿态引导图像合成

    本文提出了一种基于单个图像的算法来重新渲染人物在各种姿态下的效果，并通过人体对称先验来学习插画对应关系，使用 StyleGAN 生成器控制外观和姿态，比现有技术表现更好

    Sep, 2021

  • SemanticStyleGAN：学习组合生成先验进行可控图像合成和编辑

    通过训练一个生成器来分别对局部语义部分进行建模，控制不同区域的纹理并且实现更加细粒度的合成和编辑，SemanticStyleGAN 作为具有内置解缠结的通用先验模型，可以促进基于 GAN 的应用程序的发展并实现更多的下游任务。

    Dec, 2021

  • 将 2D StyleGAN 升级为 3D 感知人脸生成

    提出 LiftedGAN 框架，无需手动标注或 3DMM 模型的训练，通过可微分的渲染器分解 StyleGAN2 的潜在空间，生成 3D 组件，并输出 3D 形状和纹理，实现内容可控性，在生成逼真高质量图像方面表现出超越现有方法的优点。

    Nov, 2020

  • 可重构布局和风格的图像合成

    本文介绍一种基于布局和风格的生成对抗网络 [LostGANs] 的架构，能够从可重构的布局和风格中生成图像，实现了多物体样式生成，并在 COCO-Stuff 数据集和 Visual Genome 数据集上实现了最先进的性能。

    Aug, 2019

  • 一种统一 GAN 框架实现的一致多模式生成

    研究如何使用单个生成模型生成多模式图像输出，并使用 StyleGAN3 架构，通过获取每种模式的质量鉴别器和跨模式一致性鉴别器来解决图像一致性问题，并在 Stanford2D3D 数据集上展示了实际和一致的 RGB、深度和法线图像的生成。

    Jul, 2023

  • 基于剥夺指标的 StyleGAN2 街景图像合成的可视化抽象社会过程的生成模型

    该论文通过生成对抗网络（GANs）将视觉方面应用于社会过程的研究，通过训练 StyleGAN2 模型，连接照片数据点与多个贫困指标的元数据，根据这些因素调整合成新图片，研究描述伦敦贫困和富裕地区的视觉差异。

    Dec, 2023