Apr, 2024

从非姿势图像中学习 3D 感知的 GAN 模型与模板特征场

PDF
TL;DR使用学到的模板特征字段 (TeFF) 实现训练图像的即时姿态估计，从而学习无人体姿态的 3D 感知生成对抗网络 (GANs)。实验结果表明，无论是定性还是定量方面，我们的方法相对于现有的最先进替代方法更具优势。
camera poses3d-aware ganspose estimationgenerative radiance fieldsemantic features
发现论文，激发创造
  • 生成式神经关节辐射场

    提出使用 3D GAN 框架对人体或脸部特征进行辐射场生成，通过显式变形场将其变形为期望的姿势或表情，并展示了编辑生成体或脸部特征时显式变形训练过程在提高其质量方面的显著优势。

    Jun, 2022

  • ContraNeRF: 通过对比学习和无监督隐式姿态嵌入的三维感知生成模型

    本文提出了一种使用对比学习和隐式姿态嵌入的 3D 感知生成对抗网络优化技术。通过重新设计鉴别器，从而消除对基准相机姿态的依赖性，使其更好地捕捉给定图像的隐式姿态嵌入，并在姿态嵌入上进行对比学习，实验结果表明在多个物体类别和不一致的基准相机姿态数据集上显著优于现有方法。

    Apr, 2023

  • CAMPARI: 相机感知的分解式生成神经辐射场

    本文提出了一种深度生成模型，它是基于 3D 且与摄像机相关的，通过将场景分成背景和前景模型，并学习摄像机与图像生成器，达到了更高效且可分离的场景再现效果。

    Mar, 2021

  • 利用未知姿态分布学习三维感知图像合成

    本文提出了一种名为 PoF3D 的方法，通过自动学习真实姿态分布，使生成辐射场摆脱了先前在训练集上预估的 3D 姿态分布的先验要求，同时使用 pose-aware 辨别器，并通过对抗训练的方式进行学习，从而实现了不使用 3D 姿态先验条件下学习高质量的 3D-aware 图像合成。

    Jan, 2023

  • 通过学习结构和纹理表示进行 3D 感知图像合成

    通过学习结构特征和纹理特征，我们提出了一种新的 VolumeGAN 框架，它能够更好地生成高保真度的 3D 感知图像，并且具有独立控制形状和外观的能力。

    Dec, 2021

  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020

  • FlowCam：通过像素对齐场景流训练通用的无相机位姿 3D 辐射场

    提出了一种联合重构相机位姿和三维神经场表示的在线方法，通过可微分渲染将帧间光流提升到三维场流，通过加权最小二乘拟合场流场估计 SE（3) 相机姿态，同时可以通过重新渲染输入视频对相机姿态估计和通用神经场表示进行监督，从而在真实世界视频数据集上进行端对端和完全自我监督的训练。

    May, 2023

  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021

  • 实时辐射场用于单张图像人像视角合成

    该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法，使用基于视觉 Transformer 的三面板编码器，利用合成数据进行训练，通过卷积渲染技术对神经辐射场的规范三面板进行重建，可以在具有 3D 感知图像生成器的其他类别中应用。

    May, 2023

  • GRAM：用于 3D 感知图像生成的生成辐射流多面体

    提出一种在三维体积中学习隐式表面的方法，从而有效地进行点采样和辐射场学习，在保持 3D 一致性的同时生成高质量、具有真实细节的图像。

    Dec, 2021