Oct, 2023

通过神经重新参数化优化生成的大规模 3D 人脸网格视频数据集

PDF
TL;DR借助神经重参数化优化，我们提出了一种视频中的 3D 人脸网格伪标注方法 NeuFace。通过 NeuFace 优化方法，我们在大规模人脸视频上注释了每个视角 / 帧的准确一致的人脸网格，称为 NeuFace 数据集。我们研究了神经重参数化如何通过梯度分析在 3D 网格上重建与图像对齐的面部细节。通过利用我们数据集中 3D 人脸的自然性和多样性，我们展示了该数据集在改善现有 3D 人脸重建模型的重建精度和学习 3D 面部运动先验方面的实用性。代码和数据集将可在此 https 网址获取。
neuface3d face mesh pseudo annotationneural re-parameterized optimizationlarge-scale face videos3d face-related tasks
发现论文，激发创造
  • 学习合成数据进行 3D 人脸重建

    本论文介绍了一种基于卷积神经网络和生成随机几乎逼真的面部图像的方法，可以通过单张照片快速、稳健地重建面部的三维几何结构，即使在极端表情和各种光照条件下也可以成功恢复面部形状。

    Sep, 2016

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 从图像和视频中学习完整的三维可塑性人脸模型

    本研究提出了一种基于自监督学习的方法，通过图像和视频数据学习脸部特征的完整 3D 模型，实现了环境无关的单目重建，并训练出能够更好地推广和提高图像重建质量的表情基础等方面的面部模型。

    Oct, 2020

  • NeuFace: 多视角图像实现真实 3D 神经面部渲染

    论文提出了一种名为 NeuFace 的新型 3D 面部渲染模型，可以通过神经渲染技术学习准确和具有物理意义的底层 3D 表示。

    Mar, 2023

  • 通过网络优化实现可绑定的 3D 人脸重建

    本文提出一种从单目图像重建可操纵三维面部的方法，通过嵌入不同的网络优化，共同估计个性化面部的骨骼系统和包括表情，姿势和照明在内的每个图像的参数。该模型用深度学习数据驱动先验约束单目设置的面部重建，实现了 SOTA 重建准确度，并支持标准面部 Rig 应用。

    Apr, 2021

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • 深度神经网络实现照片级真实面部纹理推理

    利用深度卷积神经网络提取中层特征，从高分辨率人脸数据库中拟合特征的凸组合，从而生成 photorealistic texture map，以实现从低分辨率输入图像中合成高逼真度的 3D 人脸渲染模型，并进行了广泛的验证。

    Dec, 2016

  • 学习生成定制的动态三维面部表情

    本文研究应用深度学习技术将单张静态图片转化为逼真的三维动画，重点探究四维面部表情的生成。作者运用一种称为深度网格编码器 - 解码器的技术，结合表情识别模型，以高分辨率的四维扫描数据集为基础，成功地实现了对面部表情的高度逼真合成，且具有较好地泛化能力。该研究是首次尝试解决四维面部表情合成的问题。

    Jul, 2020

  • 基于深度 3D 模拟超分辨率的近实时面部动画

    本文通过神经网络模拟超分辨率框架，可以实现将低成本、实时物理模拟产生的面部表现有效、逼真地提升到接近高分辨率（我们例子中元素数量高出 26 倍）的参考质量，同时补偿了实时模拟的限制和成本削减近似的建模差异，不需要提供任何语义描述符或参数，除了实时模拟的结果。

    May, 2023

  • FaceScape：单视角 3D 人脸重建的三维面部数据集和基准

    本文提出了一个大规模的详细 3D 人脸数据集（FaceScape）及相应的评估标准来评估单视图面部三维重建，通过该数据集，提出了一种从单张图像输入预测精细可调和三维人脸模型的新算法，并且使用该数据集来生成用于评估单视图面部重建方法的基准数据，并报告和分析了在不同条件下的准确性和挑战。

    Nov, 2021