May, 2023

野外面部网格动画和重定向的神经面部绑定

PDF
TL;DR本文提出了一种深度学习的自动化骨骼绑定与重定向方法，名为神经面部绑定（NFR），其在艺术控制、面部网格的连接与表情、表情细节方面具有良好表现。
automatic riggingfacial meshesdeep learningfine-grained detailsexpression space
发现论文，激发创造
  • RigNeRF: 全控制神经网络 3D 肖像

    本研究提出了 RigNeRF 这一系统，不仅能够让用户通过单个肖像视频控制头部姿态和面部表情，还能够实现场景物体的编辑和自由视角合成。

    Jun, 2022

  • NOFA：基于 NeRF 的一次性面部头像重建

    提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。

    Jul, 2023

  • 可控的神经网络 3D 肖像的动态外貌

    CoDyNeRF 是一个在现实世界的采集条件下创建完全可控的 3D 肖像的系统，通过在规范空间中基于预测的表面法线和面部表情与头部姿态变形的条件下近似光照相关效果的动态外观模型来学习，它使用 3DMM 法线作为人头粗略法线的先验之一来引导表面法线预测，只需要使用手机拍摄的短视频进行训练，我们展示了该方法在具有明确头部姿态和表情控制以及逼真光照效果的肖像场景的自由视图合成中的有效性。

    Sep, 2023

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • JNR: 基于关节的神经标记表示法用于紧凑的三维人脸建模

    本论文提出了一种使用基于关节的面部模型和神经细胞网络来学习三维面部模型的新方法，该模型相比之前的基于混合形态的模型具有更小的体积，更容易进行人脸编辑，更准确地支持添加眼睛，嘴巴和配饰设计，并且仅需一小组数据集，同时支持高质量 3D 扫描和 RGB 图像等广泛适用于图形和视觉应用。

    Jul, 2020

  • MoFaNeRF：可塑性脸部神经辐射场

    提出了 MoFaNeRF 模型，它将自由视角图像映射到编码的面部形状、表情和外观的向量空间中，实现了照片级面部合成，有助于面部拟合、随机生成、面部编辑和新视角合成等多个应用。

    Dec, 2021

  • FNeVR：用于人脸动画的神经体积渲染技术

    提出了一种称作 FNeVR 的神经体渲染网络，结合了 2D 运动变形与 3D 体渲染技术实现面部动画生成中的身份保留与真实逼近问题。

    Sep, 2022

  • 虚拟人物的关节神经渲染

    本研究提出了基于 DNR 的全新框架 ANR，可以显式地解决虚拟人类角色中没有被网格捕捉到的形变、对齐和动态问题，并展示了其对 DNR 和基于角色创建和动画的方法的优越性。我们经过两次用户研究观察得到了对模型的明显偏好，并在定量评估指标上展现了最先进的性能。在知觉上，我们发现该模型具有更好的时间稳定性、细节水平和真实性。

    Dec, 2020

  • 基于深度 3D 模拟超分辨率的近实时面部动画

    本文通过神经网络模拟超分辨率框架，可以实现将低成本、实时物理模拟产生的面部表现有效、逼真地提升到接近高分辨率（我们例子中元素数量高出 26 倍）的参考质量，同时补偿了实时模拟的限制和成本削减近似的建模差异，不需要提供任何语义描述符或参数，除了实时模拟的结果。

    May, 2023

  • 基于视频的姿势调节化身

    通过神经放射场（NeRF）驱动底层骨骼，现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配，我们的网络在保留细节和泛化能力方面优于现有的方法。

    Aug, 2023