Apr, 2024

FaceFolds: 面部曲折：用于动态人脸有效体积渲染的网格辐射流形

PDF
TL;DR我们提出了一种新颖的表示方法，可以在演员的动态面部表现中实现高质量的体渲染，同时具有较小的计算和内存占用，能够以最佳的质量和效率进行权衡。我们的方法利用了神经渲染的最新进展，在模型体积效果时通过学习离散辐射流形进行场景稀疏采样。我们通过学习单个流形集对整个动态序列进行了高效建模，并通过时态规范纹理隐式建模外貌变化。我们导出了一个与传统图形渲染器兼容的单层网格和视角无关的 RGBA 纹理视频，通过在游戏引擎中渲染真实演员的动态面部捕捉，实现与最先进的神经渲染技术相媲美的逼真度，同时具备之前无法达到的帧率。
3d renderingdynamic face capturesneural renderingvolumetric renderingphotorealism
发现论文，激发创造
  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • 学习动态人头部的组合辐射场

    本文提出了一种新颖的 3D 组合表示方法，将离散和连续的体积表示方法相结合，结合了粗糙的网格动画代码和连续的学习场景功能，使用可区分的体积渲染来计算动态人头和上半身的新视图，并在使用仅 2D 监督时进行端到端的训练，实现了动态人头和上半身新视图综合的最新最佳结果。

    Dec, 2020

  • 从单目图像学习详细辐射流形，实现高保真和三维一致的肖像合成

    该研究基于生成光辐射流流形模型的最近提出的 3D 感知 GAN-Gram，介绍了一种适用于单目头像的三维相容视角合成方法，该方法使用细节流形重构器来学习纹理细节，并将其与光辐射流流形相结合，以实现高保真三维头像重建。

    Nov, 2022

  • GRAM：用于 3D 感知图像生成的生成辐射流多面体

    提出一种在三维体积中学习隐式表面的方法，从而有效地进行点采样和辐射场学习，在保持 3D 一致性的同时生成高质量、具有真实细节的图像。

    Dec, 2021

  • NeuManifold：具高效和高品质绘制支持的神经水密流形重建

    本文介绍了一种从多视角输入图像生成高质量的水密流形网格的方法，该方法将神经体分布的几何初始化与可微分光栅化器进一步优化的不同优点结合起来，证明了该方法可以最大程度地准确重建网格并与现有的图形管道兼容，实现了类似模拟的 3D 应用。

    May, 2023

  • FaceLit: 神经网络 3D 可调光面部

    提出了一种生成框架 FaceLit，可从 2D 图像中学习纯 3D 面部形状和材质，并在各种用户定义的照明和视图条件下呈现，产生具有多视角和照明一致性的逼真人脸图像。

    Mar, 2023

  • 神经体积：从图像中学习动态可渲染的体积

    通过学习，我们提出了一种表示动态物体的方法，该方法由编码器 - 解码器网络和可微分的射线行进操作组成，它不需要明确重建或跟踪物体，使用了 3D 体积表示法，表现出更好的图像质量，为高分辨率应用提供了一种从表面到体积的方法

    Jun, 2019

  • 高效神经辐射场渲染的自适应壳

    神经辐射场通过平滑过渡体积 - 表面渲染方法，在加速渲染速度的同时提高视觉保真度，并能够通过提取的网格包络应用于动画和仿真等下游应用。

    Nov, 2023

  • 多视图重建中通过体渲染学习拓扑统一的人脸网格

    我们提出了一种面向多视角重建的具有一致拓扑的面网格的网格体渲染方法，通过将稀疏网格特征扩散到周围空间以模拟体渲染所需的辐射场，从而实现对网格几何和隐式外观特征的梯度反向传播，并展示了变形不变性的特性以实现网格编辑后的逼真渲染。

    Apr, 2024

  • HAvatar: 基于面部模型调节的高保真头部化身

    通过融合传统模型的先验信息和新的神经辐射场模型，我们提出了一种新的混合显示 - 隐式 3D 表示方法，用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合，达到了与以前方法相比的最先进性能。

    Sep, 2023