CoDyNeRF 是一个在现实世界的采集条件下创建完全可控的 3D 肖像的系统,通过在规范空间中基于预测的表面法线和面部表情与头部姿态变形的条件下近似光照相关效果的动态外观模型来学习,它使用 3DMM 法线作为人头粗略法线的先验之一来引导表面法线预测,只需要使用手机拍摄的短视频进行训练,我们展示了该方法在具有明确头部姿态和表情控制以及逼真光照效果的肖像场景的自由视图合成中的有效性。
Sep, 2023
本文介绍了一种基于神经 3D 表示方法的场景可控制方法,该方法采用少量遮罩注释,将属性视为潜在变量,通过神经网络推断属性后控制场景属性,实现了场景的新视角和新属性渲染。
Dec, 2021
通过半自动的算法,我们提出了可控的艺术辐射场,可以生成用户指定对象的风格转移,艺术作品中对三维场景进行转化具有更高的质量与精确度。
Apr, 2024
本文提出了一种基于 NeRF 的条件生成 3D 人脸合成框架,该框架能够通过从 3D 脸部先验中强制显式的 3D 条件生成可控制性高保真面部图像,并且比现有的基于 2D 的可控制性合成方法具有更精确的 3D 可控制性。
Jun, 2022
本篇论文中,我们提出了一种名为 DFRT 的方法用于 few-shot 声音驱动下的面部融合。我们的方法使用 2D 图像来学习面部的先验知识,并且可以通过少量的训练数据应用于新的身份。同时,我们还提出了一种可微的面部扭曲模块以更好地建模面部变形。最终的实验结果表明,我们的方法可以在很短的时间内生成高质量的自然音频驱动的视频。
Jul, 2022
该论文提出了一种基于静态基于点的辐射场的新颖可控人体动作合成方法,通过编码点云转换来应用变形,并利用奇异值分解估计局部旋转以使渲染结果与规范空间训练一致。实验表明,我们的方法在精细级复杂变形方面明显优于现有技术,且可推广到除人物之外的其他 3D 角色。
Oct, 2023
通过分割语义区域并利用神经辐射场学习各自的辐射场,最后合并成完整图像,CNeRF 方法可以实现细粒度的语义区域操作,同时维持高质量的 3D 一致合成。
Feb, 2023
通过学习多视图图像中的人脸 NeRF 模型,我们解决了学习如何有效地捕捉眼球旋转以及构建表示眼球旋转的流形这两个关键问题。通过在 ETH-XGaze 数据集上进行实验,我们证明了我们的模型能够在新的视角下生成具有准确眼球旋转和非刚性外眼部变形的高保真图像,并且显示出利用渲染图像能够有效地提高凝视估计性能。
Aug, 2023
本研究提出了一种基于卷积神经辐射场的方法来解决现有方法中存在的问题,在新颖视角综合方面取得了显著的结果。
Jul, 2023
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020