移动设备上的高效神经光场
在移动设备上实时进行新视角图像合成由于有限的计算能力和存储而受到限制。体积渲染方法(如 NeRF 及其衍生方法)在移动设备上使用不适宜,因为其计算成本高。然而,神经光场表示方法的最新进展在移动设备上展示了有希望的实时视角合成结果。我们发现使用光场平板表示对于学习神经光场是一种有效的表示方法。更重要的是,它是一种低维的射线表示方法,使我们能够使用相对更快的特征网格来学习 4D 射线空间。我们的方法提供了比以前的光场方法更高的渲染质量,并在渲染质量和速度之间实现了显著的改进平衡。
Oct, 2023
本文介绍一种新的深度残差 MLP 网络用于学习 Neural Light Field(NeFL),通过从预训练的 NeRF 模型中转移知识进行数据精馏,以此消除 NeRF 的迭代采样问题,在合成和现实场景下的实验结果表明,与其他算法相比,我们的方法在节省计算资源和提高渲染质量方面具有明显的优势。
Mar, 2022
Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.
Apr, 2023
通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进,使其在 360° 的拍摄模式下提高拍摄质量。
Oct, 2020
本文介绍了一种基于纹理多边形的新型 NeRF 表示方法,能够高效地使用标准渲染管道合成新图像,这种方法允许使用传统的多边形光栅化方法对 NeRF 进行渲染,从而在各种计算平台上实现交互式帧速率。
Jul, 2022
提出了一种名为 NeRDF 的新表示方法,旨在实现实时的高效视图合成,通过基频和频率权重的网络预测实现单像素每次只进行一次网络转发,并通过辐射分布进行体素渲染计算,相比现有方法在速度、质量和网络尺寸方面具有更好的权衡,实现了与 NeRF 相似的网络大小下约 254 倍的加速。
Aug, 2023
Neural Radiance Fields (NeRF) is a real-time rendering technique for synthesizing 3D objects from 2D images, with a focus on examining the system perspective and identifying critical control knobs for improving performance on mobile devices.
Jun, 2024
本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景,该方法包括两个模块,采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度,并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明,本方法在仅用 20 分钟的训练时间下,达到了与 D-NeRF 相当的性能,比 D-NeRF 快 70 倍以上,显示了该方法的高效性。
Jun, 2022