Jan, 2023

BallGAN: 球形背景下的 3D 感知图像合成

PDF
TL;DR提出一种名为 BallGAN 的 3D 感知 GAN 框架，通过近似背景为球面并将场景表示为背景内的前景和薄球形背景的并集的方法，减少背景领域中的自由度，以解决现有方法存在的 3D 几何不自然与训练不稳定的问题，从而实现更合理的 3D 几何和更好的图像一致性和保真度。
发现论文，激发创造
  • SideGAN: 用于改进侧视图图像生成的三维感知生成模型

    通过将问题拆分为两个子问题，我们提出了 SideGAN，一种新颖的 3D GAN 训练方法，用于生成与相机位置无关的逼真图像，特别适用于侧视角的人脸。

    Sep, 2023

  • SYM3D：学习对称三视平面提升 GAN 的三维感知能力

    提出了 SYM3D，一种新颖的 3D-aware GAN，通过利用自然和人造物体中普遍存在的反射对称结构，结合提出的视角感知空间注意机制来学习三维表示，从而在只使用单视图图像进行训练时捕捉详细的几何和纹理，同时证明了在文本到三维任务中利用对称性正则化有助于减少模型中的伪影。

    Jun, 2024

  • SP-GAN：球引导的三维形状生成与操作

    本文介绍了 SP-GAN，一种新的无监督的球形引导生成模型，用于直接合成点云形式的三维形状。SP-GAN 可以合成各种高质量的具有细节和可控性的形状，同时不需要任何零件注释。

    Aug, 2021

  • 多视角一致性生成对抗网络用于 3D 感知图像合成

    提出了一种基于多视角一致性生成对抗网络（MVCGAN）的高质量 3D 感知图像综合方法，采用几何约束技术，利用深度和相机变换矩阵等信息实现多视角联合优化，同时采用两阶段训练策略和混合训练技术提高模型的生成图像质量，实验结果表明，本方法达到了最先进的性能水平。

    Apr, 2022

  • SphereHead: 基于球面三平面表示的稳定三维全头合成

    通过使用球面坐标系中的新型三平面表示，以及引入视图 - 图像一致性损失来减少生成的伪影，该研究提出了一种解决全方位，全角度三维头部合成挑战的方法。

    Apr, 2024

  • HoloGAN: 从自然图像中的无监督学习 3D 表示

    本文提出了一种新颖 的生成对抗网络 HoloGAN，它使用 3D 表示学习世界，而不使用 2D 核心进行图像合成，可以对生成的物体姿态进行精确控制。与其他 GAN 不同，HoloGAN 可以在不需要标注姿态标签、3D 形状或同一对象的多个视角之前，仅从未标记的 2D 图像中端到端地训练。经实验证明，HoloGAN 可以在完全无监督的情况下从自然图像中学习 3D 表示，具有较高的视觉质量。

    Apr, 2019

  • RGBD-GAN：通过 RGBD 图像合成从自然图像数据集中无监督学习 3D 表示

    该研究提出了一种基于 RGBD-GAN 的新型生成模型，可以从 2D 图像中实现无监督的 3D 表示学习，并能通过相机参数进行图像生成和深度图像生成，无需 3D 注释，通过实验证明其对各种生成器体系结构都具有普适性。

    Sep, 2019

  • 面向无监督学习的生成模型，用于三维可控图像合成

    该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

    Dec, 2019

  • CAMPARI: 相机感知的分解式生成神经辐射场

    本文提出了一种深度生成模型，它是基于 3D 且与摄像机相关的，通过将场景分成背景和前景模型，并学习摄像机与图像生成器，达到了更高效且可分离的场景再现效果。

    Mar, 2021

  • BlockGAN：从未标注的图像中学习 3D 物体感知场景表示

    BlockGAN 是一种图像生成模型，可以从未标记的 2D 图像中学习具有物体感知的 3D 场景表示，并使用显式的 3D 特征来表示场景中的对象，实现了在保持图像真实性的同时，对于每个对象的 3D 姿态和身份进行控制，并学习到物体和属性方面的解耦合表示。

    Feb, 2020