Apr, 2023

ContraNeRF: 通过对比学习和无监督隐式姿态嵌入的三维感知生成模型

PDF
TL;DR本文提出了一种使用对比学习和隐式姿态嵌入的 3D 感知生成对抗网络优化技术。通过重新设计鉴别器，从而消除对基准相机姿态的依赖性，使其更好地捕捉给定图像的隐式姿态嵌入，并在姿态嵌入上进行对比学习，实验结果表明在多个物体类别和不一致的基准相机姿态数据集上显著优于现有方法。
3d-aware gansneural radiance fieldscontrastive learningimplicit pose embeddingsdiscriminator design
发现论文，激发创造
  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021

  • 使用姿态优化的 3D GAN 反演

    本研究提出了一种通用的 3D GAN 反演方法，可以同时计算相机视角和潜变量代码，从而实现多视角一致的语义图像编辑。其关键在于利用预训练的估算器用于更好的初始化，并利用从 NeRF 参数计算的像素深度来更好地重构给定的图像。

    Oct, 2022

  • 利用未知姿态分布学习三维感知图像合成

    本文提出了一种名为 PoF3D 的方法，通过自动学习真实姿态分布，使生成辐射场摆脱了先前在训练集上预估的 3D 姿态分布的先验要求，同时使用 pose-aware 辨别器，并通过对抗训练的方式进行学习，从而实现了不使用 3D 姿态先验条件下学习高质量的 3D-aware 图像合成。

    Jan, 2023

  • 通过学习结构和纹理表示进行 3D 感知图像合成

    通过学习结构特征和纹理特征，我们提出了一种新的 VolumeGAN 框架，它能够更好地生成高保真度的 3D 感知图像，并且具有独立控制形状和外观的能力。

    Dec, 2021

  • 生成式神经关节辐射场

    提出使用 3D GAN 框架对人体或脸部特征进行辐射场生成，通过显式变形场将其变形为期望的姿势或表情，并展示了编辑生成体或脸部特征时显式变形训练过程在提高其质量方面的显著优势。

    Jun, 2022

  • 从非姿势图像中学习 3D 感知的 GAN 模型与模板特征场

    使用学到的模板特征字段 (TeFF) 实现训练图像的即时姿态估计，从而学习无人体姿态的 3D 感知生成对抗网络 (GANs)。实验结果表明，无论是定性还是定量方面，我们的方法相对于现有的最先进替代方法更具优势。

    Apr, 2024

  • 基于 3D GAN 的大姿态人脸识别改进

    研究使用生成的合成数据进行面部识别的训练。通过在 GAN 的产生器中引入 3D 可塑模型，实现了从实际图像中学习非线性纹理模型，从而生成新的合成身份，同时操作姿势、照明和表情，而不会影响身份。最终使用生成的数据增加现有面部识别网络的训练，性能得到改善。

    Dec, 2020

  • GANeRF: 利用判别器优化神经辐射场

    采用生成对抗网络对神经辐射场（NeRF）进行优化，修复 3D 场景重建中存在的照明、采样等问题，从而实现更高质量的渲染。

    Jun, 2023

  • GNeRF：基于 GAN 的神经辐射场无需姿态相机

    提出了 GNeRF 框架，将生成对抗网络（GAN）与神经辐射场（NeRF）重建结合起来，应用于复杂场景的视角合成。该框架通过两个阶段的端到端优化，解决了较少研究的未知相机姿态外部场景问题，并在多种场景中取得了优异的效果。

    Mar, 2021

  • 通过引导辐射场反演从单张图像中提取形状、姿态和外观

    使用神经辐射场和 GAN 相结合的方法在 3D 重建领域具有前景，但大多数现有方法忽略了准确地估计姿态，而本文提出的一种基于自然图像的端到端重建框架则能解决这一问题，使得单个图像就能恢复 3D 形状、姿态和外观，且表现良好。

    Nov, 2022