高效动态 NeRF 基于体积视频编码与速率失真优化
通过使用非线性转换、量化和熵编码实现记忆高效的场景表示,我们提出了 NeRFCodec ,这是一个端到端的 NeRF 压缩框架,它利用预训练的神经 2D 图像编解码器对特征进行压缩,从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。
Apr, 2024
我们提出了一种新的端到端联合优化方案,名为 JointRF,用于动态 NeRF 的表示和压缩,通过使用紧凑的残余特征网格和系数特征网格来处理大运动,同时减少时间冗余,并引入一个时空冗余压缩子网络以进一步减少时空冗余。大量实验证明,JointRF 在各种数据集上实现了卓越的压缩性能。
May, 2024
通过提出一种新的编码 - 解码 - 微调流程,CodecNeRF 在保持 (或改善) 图像质量的同时,在常用的 3D 对象数据集(如 ShapeNet 和 Objaverse)上实现了超过 150 倍的压缩性能和 20 倍的编码时间缩短。
Apr, 2024
该论文提出了一种针对基于网格的 NeRF 模型的效率压缩方法,使用非线性变换编码范式和神经压缩对模型的特征网格进行压缩,引入重要性加权的失真率目标和利用掩蔽机制的稀疏熵模型以利用潜在特征网格的空间不均匀性,实验证明该方法在基于网格的 NeRF 压缩效率和重建质量方面优于现有工作。
Jun, 2024
引入动态神经辐射场(NeRF)作为人物中心视频表示,将视频编辑问题简化为三维空间编辑任务,通过变形场在整个视频上进行编辑。
Oct, 2023
通过向量量化等方法,本文提出了一种名为 VQ-NeRF 的管线,以提高隐式神经表示的效果和效率,并通过多尺度采样和语义损失函数等方法来增强网络保留场景的细节和几何特征。在多个数据集上的评估结果表明,该方法在图像渲染质量和效率之间达到了最佳平衡,性能优于其他方法。
Oct, 2023
NeVRF 利用神经辐射场与基于图像的渲染相结合,通过引入新颖的多视图辐射混合方法从多视图视频中直接预测辐射,实现对长时间动态内视场景的逼真新视点合成。通过利用连续学习技术,NeVRF 能够高效重构顺序数据的帧,不需要重新访问先前的帧,从而实现长时间自由视点视频。此外,通过一种量身定制的压缩方法,NeVRF 能够紧凑地表示动态场景,在实际应用中使动态辐射场更加实用。我们的实验证明了 NeVRF 在实现长时间序列渲染、顺序数据重构和紧凑数据存储方面的有效性。
Dec, 2023
DeVRF 是一种用于加速学习动态辐射场的新型表示方法,使用 3D 规范空间和 4D 变形场来模拟非刚性场景,通过静态到动态学习范式及新的数据捕捉设置来解锁变形辐射场的有效学习,取得与先前最先进方法相当的高保真度,且速度提高了两个数量级 (快 100 倍)
May, 2022
该研究论文介绍了 VideoRF,这是第一个能够在移动平台上实时流式传输和渲染动态辐射场的方法,通过使用特定的训练方案和渲染流水线,实现了在移动设备上的高效实时渲染。
Dec, 2023
介绍了一种称为 TiNeuVox 的辐射场框架,通过时间感知体素特征表示场景,进一步强化了时间信息,提出了多距离插值方法,以模拟小和大的动作,加快了动态辐射场的优化,并在合成和真实场景上经过实证评估,表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。
May, 2022