基于 NeRF 的可微电影化的电影行为转移
引入动态神经辐射场(NeRF)作为人物中心视频表示,将视频编辑问题简化为三维空间编辑任务,通过变形场在整个视频上进行编辑。
Oct, 2023
基于 NeRF 的人体表演姿态依赖渲染的新方法,通过将辐射场围绕 SMPL 人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023
使用 Neural Radiance Field 方法和物理仿真器在野外环境下通过视觉感知实现机器人的球推导航技能。
Oct, 2022
本文提出了一种 4D(3D 和时间)人体视频风格化的方法,该方法在同一个框架内解决了风格转移、新视角合成和人体动画的问题。通过利用神经辐射场(NeRFs)来表示视频,我们可以在渲染特征空间中进行风格化处理,从而实现对于新视角和新姿势的泛化。实验证明,该方法在风格纹理和时间连贯性方面取得了出色的平衡,优于现有方法,并可以适应新的姿势和视角,成为创作人体视频风格的多功能工具。
Dec, 2023
本文提出了一种可编辑的逼真的自由视角视频生成方法,通过使用只有 16 个稀疏摄像头,将大规模动态场景中的每个动态实体表示为连续函数,并采用新的分层神经表示方法进行支持感知和逼真操作,并提出使用场景解析 4D 标签地图追踪和连续变形模块隐式分离时间运动,同时采用面向对象的体积渲染方案进行了再组装所有神经层,并采用新颖的分层损失和运动感知射线采样策略,实现了大规模动态场景的高效训练,并支持各种编辑功能,显示了该方法生成高质量的可编辑的自由视角视频。
Apr, 2021
Gear-NeRF 使用语义信息和动态对象追踪技术解决了 NeRF 模型在计算资源受限和场景语义理解方面的局限性,实现了逼真的动态场景渲染和新视角追踪。
Jun, 2024
本研究提出了一种基于神经辐射场的三维场景风格化方法,采用新的训练方法,交替进行 3D 场景和风格化优化步骤,从而应用更加表现力的图像风格转移方法,生成高质量的具有交叉视角一致性的新视角图片。
Jul, 2022
该研究论文提出了一种基于神经辐射场 (NeRF) 的方向一致性差异的场景变化检测方法,通过对两个时间戳拍摄的场景图像进行空间对齐和方向一致性约束,能够有效地生成指定视角的变化地图。实验证明,该方法在 2D 变化检测和基于 NeRF 的方法方面显著超越了现有最先进的方法。
Dec, 2023
本篇论文提出一种基于体积图像渲染的新方法,通过汇集场景相邻视野的特征,以动态场景感知的方式合成新视点,从而在长视频中合成具有真实感的新视图,能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。
Nov, 2022
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021