CVPRNov, 2022

从单目图像学习详细辐射流形，实现高保真和三维一致的肖像合成

PDF
TL;DR该研究基于生成光辐射流流形模型的最近提出的 3D 感知 GAN-Gram，介绍了一种适用于单目头像的三维相容视角合成方法，该方法使用细节流形重构器来学习纹理细节，并将其与光辐射流流形相结合，以实现高保真三维头像重建。
novel view synthesismonocular portrait images3d consistencygenerative radiance manifoldsdetail manifolds reconstructor
发现论文，激发创造
  • GRAM：用于 3D 感知图像生成的生成辐射流多面体

    提出一种在三维体积中学习隐式表面的方法，从而有效地进行点采样和辐射场学习，在保持 3D 一致性的同时生成高质量、具有真实细节的图像。

    Dec, 2021

  • GRAM-HD: 基于生成光辐射流形的高分辨率三维图像生成

    本文提出了一种新的 3D-aware GAN，通过在最近的生成辐射流多面体（GRAM）方法定义的一组 2D 辐射流多面体上应用 2D 卷积并应用专用的损失函数进行高效 GAN 训练，从而避免了 prohibitively-expensive 的计算成本，并能够以体积渲染的严格 3D 一致性生成高分辨率图像（高达 1024X1024）。与现有方法相比，在 FFHQ 和 AFHQv2 数据集上的实验表明，我们的方法能够产生高质量的 3D-consistent 结果，明显优于现有的方法。

    Jun, 2022

  • 实时辐射场用于单张图像人像视角合成

    该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法，使用基于视觉 Transformer 的三面板编码器，利用合成数据进行训练，通过卷积渲染技术对神经辐射场的规范三面板进行重建，可以在具有 3D 感知图像生成器的其他类别中应用。

    May, 2023

  • FaceFolds: 面部曲折：用于动态人脸有效体积渲染的网格辐射流形

    我们提出了一种新颖的表示方法，可以在演员的动态面部表现中实现高质量的体渲染，同时具有较小的计算和内存占用，能够以最佳的质量和效率进行权衡。我们的方法利用了神经渲染的最新进展，在模型体积效果时通过学习离散辐射流形进行场景稀疏采样。我们通过学习单个流形集对整个动态序列进行了高效建模，并通过时态规范纹理隐式建模外貌变化。我们导出了一个与传统图形渲染器兼容的单层网格和视角无关的 RGBA 纹理视频，通过在游戏引擎中渲染真实演员的动态面部捕捉，实现与最先进的神经渲染技术相媲美的逼真度，同时具备之前无法达到的帧率。

    Apr, 2024

  • 生成式神经关节辐射场

    提出使用 3D GAN 框架对人体或脸部特征进行辐射场生成，通过显式变形场将其变形为期望的姿势或表情，并展示了编辑生成体或脸部特征时显式变形训练过程在提高其质量方面的显著优势。

    Jun, 2022

  • 通用神经演算法：学习用于人类新视角合成的鲁棒辐射场

    使用深度学习技术，提出了一种名为 GNR 的通用神经演员框架，通过压缩轻场数据来从几何和外观方面生成新颖的视角下的人体影像，并在多视角摄像机下构建的数据集 GeneBody-1.0 上证明了其鲁棒性和通用性。

    Apr, 2022

  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020

  • 基于阴影引导的生成式隐式模型用于精确形状的 3D 感知图像合成

    本研究提出了一种基于阴影引导的生成式隐式模型，该模型利用多角度光照约束对 3D 物体进行建模，使得在不同光照条件下产生逼真的渲染效果，从而改善先前方法在表达精确 3D 形状方面的局限性，并成功应用于图像重照和 3D 形状重建任务。

    Oct, 2021

  • FreeStyleGAN：利用相机流形进行自由视角编辑的头像渲染

    本文提出了利用 GAN 进行 3D 重建，并引入了 GAN 相机流形的概念，通过精准的相机控制，实现了真正自由视点的渲染，在输入少量的照片的同时具有明显的语义控制能力。

    Sep, 2021

  • LOLNeRF: 从一张图片中学习

    本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法，并通过类别级别的训练数据来重建物体外形，进而实现新视角综合渲染和单目深度估计的高精度结果。

    Nov, 2021