MoFaNeRF:可塑性脸部神经辐射场
本文提出了一种新的框架,即结构位移特性和语义感知学习模块,来改进 NeRF 的不足之处并成功处理未见过的表情,实现了从稀疏图像中合成逼真的三维人脸形象,并在定量和定性上比当前艺术水平领先。
Jun, 2023
CoDyNeRF 是一个在现实世界的采集条件下创建完全可控的 3D 肖像的系统,通过在规范空间中基于预测的表面法线和面部表情与头部姿态变形的条件下近似光照相关效果的动态外观模型来学习,它使用 3DMM 法线作为人头粗略法线的先验之一来引导表面法线预测,只需要使用手机拍摄的短视频进行训练,我们展示了该方法在具有明确头部姿态和表情控制以及逼真光照效果的肖像场景的自由视图合成中的有效性。
Sep, 2023
提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法,通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积,同时使用补偿网络来补充面部细节,并引入变形场来对面部表情进行精细控制。与多种先进方法相比,实验结果显示合成效果更加优越。
Jul, 2023
本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色,通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景,并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。
Jun, 2021
我们提出了 INFAMOUS-NeRF,一种隐式可塑性人脸模型,通过引入超网络到 NeRF 中,改善在训练多个主题时的表示能力。同时,INFAMOUS-NeRF 通过学习语义对齐的潜在空间来解决了经典超网络在表示能力和可编辑性之间的权衡问题,而无需大规模预训练模型。INFAMOUS-NeRF 还引入了一种改进 NeRF 渲染的新约束,该约束可以利用光度表面渲染和多视角监督来指导表面颜色预测并改善表面附近的渲染。最后,我们引入了一种新的、通过减少采样冗余来实现更有效 NeRF 训练的损失引导自适应采样方法。我们定量和定性地展示了我们的方法在受控和野外环境中实现了比先前人脸建模方法更高的表示能力。代码和模型将在发表后发布。
Dec, 2023
通过融合传统模型的先验信息和新的神经辐射场模型,我们提出了一种新的混合显示 - 隐式 3D 表示方法,用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合,达到了与以前方法相比的最先进性能。
Sep, 2023
通过学习多视图图像中的人脸 NeRF 模型,我们解决了学习如何有效地捕捉眼球旋转以及构建表示眼球旋转的流形这两个关键问题。通过在 ETH-XGaze 数据集上进行实验,我们证明了我们的模型能够在新的视角下生成具有准确眼球旋转和非刚性外眼部变形的高保真图像,并且显示出利用渲染图像能够有效地提高凝视估计性能。
Aug, 2023
基于 NeRF 的人体表演姿态依赖渲染的新方法,通过将辐射场围绕 SMPL 人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023