VideoRF: 将动态辐射场渲染为 2D 特征视频流
NeVRF 利用神经辐射场与基于图像的渲染相结合,通过引入新颖的多视图辐射混合方法从多视图视频中直接预测辐射,实现对长时间动态内视场景的逼真新视点合成。通过利用连续学习技术,NeVRF 能够高效重构顺序数据的帧,不需要重新访问先前的帧,从而实现长时间自由视点视频。此外,通过一种量身定制的压缩方法,NeVRF 能够紧凑地表示动态场景,在实际应用中使动态辐射场更加实用。我们的实验证明了 NeVRF 在实现长时间序列渲染、顺序数据重构和紧凑数据存储方面的有效性。
Dec, 2023
本文提出了一种名为 Residual Radiance Field (ReRF) 的新技术,用于高效压缩长时间动态场景的实时自由视点视频渲染,借助全局坐标小型 MLP 作为特征解码器。通过使用紧凑的运动网格以及残差特征网格来利用帧间特征相似性,我们表明这样的策略可以处理大运动而不降低质量,并且提供了一个特殊的 FVV 编解码器和一个 ReRF 播放器,支持在线流式传输长时间动态场景的 FVVs,并通过大量实验展示了 ReRF 在动态辐射场紧凑表示方面的有效性。
Apr, 2023
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
提供了一个快速重建、紧凑建模和可流式渲染的高效框架 NeRFPlayer,适用于用单个 RGB 摄像头捕捉的动态场景,同时使用神经场来表示和规范化三个分类:静态、变形和新领域。
Oct, 2022
该论文主要研究使用神经辐射场(NeRF)方法对合成和真实场景进行 3D 重建,包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中,还着重探讨了神经辐射场(D-NeRF)对动态场景重建的应用,并成功将其推广至真实世界动态场景。
Oct, 2022
介绍了一种称为 TiNeuVox 的辐射场框架,通过时间感知体素特征表示场景,进一步强化了时间信息,提出了多距离插值方法,以模拟小和大的动作,加快了动态辐射场的优化,并在合成和真实场景上经过实证评估,表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。
May, 2022
DeVRF 是一种用于加速学习动态辐射场的新型表示方法,使用 3D 规范空间和 4D 变形场来模拟非刚性场景,通过静态到动态学习范式及新的数据捕捉设置来解锁变形辐射场的有效学习,取得与先前最先进方法相当的高保真度,且速度提高了两个数量级 (快 100 倍)
May, 2022
该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF,该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示,并且可以生成复杂的渲染场景。
Dec, 2020
我们提出了一种新的端到端联合优化方案,名为 JointRF,用于动态 NeRF 的表示和压缩,通过使用紧凑的残余特征网格和系数特征网格来处理大运动,同时减少时间冗余,并引入一个时空冗余压缩子网络以进一步减少时空冗余。大量实验证明,JointRF 在各种数据集上实现了卓越的压缩性能。
May, 2024