用于四维视图合成和视频处理的神经辐射流
提出了一种新的 3D 视频合成方法,使用神经辐射场表示动态实景,并使用一种紧凑的表现方式,能够高质量地合成视图和插值运动,其动态场景建模方法在视角合成和动态场景表示方面都表现良好。
Mar, 2021
本研究提出了一种使用前向变形的神经辐射场 (NeRF) 方法,用于动态场景的新视角合成。通过在规范空间中表示静态 NeRF,并使用学习到的反向流场将采样的 3D 点映射回规范空间以渲染其他时间步骤的动态图像。然而,这种反向流场是非平滑和不连续的,难以适应常用的平滑运动模型。为解决这个问题,我们提出估计前向流场,并直接将规范辐射场变形到其他时间步骤。这种前向流场在对象区域内平滑和连续,有助于运动模型的学习。为实现这一目标,我们使用体素网格表示规范辐射场以实现高效的前向变形,并提出了可微分的变形过程,包括平均喷涂操作和修复网络,以解决多对一和一对多映射问题。详细实验证明,我们的方法在新视角合成和运动建模方面优于现有方法,验证了我们前向流动运动建模的有效性。
Sep, 2023
提供了一个快速重建、紧凑建模和可流式渲染的高效框架 NeRFPlayer,适用于用单个 RGB 摄像头捕捉的动态场景,同时使用神经场来表示和规范化三个分类:静态、变形和新领域。
Oct, 2022
提出了一种使用神经场地理概念表示动态场景,并利用单目视频生成新视角和时间合成的方法。通过神经网络优化新的场景流场来适应观测输入视角,并在复杂动态场景中表现出较好的性能。
Nov, 2020
本文提出了神经辐射场用于人物运动的渲染和时空(4D)重建,该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合,并应用于人类姿势识别和服装模拟。
Oct, 2021
该论文主要研究使用神经辐射场(NeRF)方法对合成和真实场景进行 3D 重建,包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中,还着重探讨了神经辐射场(D-NeRF)对动态场景重建的应用,并成功将其推广至真实世界动态场景。
Oct, 2022
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF,该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示,并且可以生成复杂的渲染场景。
Dec, 2020