Oct, 2023

LightSpeed：移动设备上轻量快速的神经光场

PDF
TL;DR在移动设备上实时进行新视角图像合成由于有限的计算能力和存储而受到限制。体积渲染方法（如 NeRF 及其衍生方法）在移动设备上使用不适宜，因为其计算成本高。然而，神经光场表示方法的最新进展在移动设备上展示了有希望的实时视角合成结果。我们发现使用光场平板表示对于学习神经光场是一种有效的表示方法。更重要的是，它是一种低维的射线表示方法，使我们能够使用相对更快的特征网格来学习 4D 射线空间。我们的方法提供了比以前的光场方法更高的渲染质量，并在渲染质量和速度之间实现了显著的改进平衡。
real-time novel-view image synthesismobile devicesvolumetric renderingneural light field representationslight slab representation
发现论文，激发创造
  • 移动设备上的高效神经光场

    该研究论文介绍了一种新型网络结构，通过通道结构剪枝的压缩技术，可以在移动设备上高效运行，对于新颖视图合成、神经辐射场、神经光场和移动设备都具有重要的研究意义。

    Jun, 2024

  • 使用光线空间嵌入网络学习神经光场

    本文提出了一种紧凑且直接预测射线上积分辐射度的新型神经光场表示方法，支持小基线光场数据集每像素一次网络评估的渲染，并可应用于大基线场景。

    Dec, 2021

  • NeuLF: 基于神经网络的 4D 光场高效新视角合成

    本文提出了一种深度学习方法，用于复杂场景的新视角合成，通过将 3D 场景表示为光场，并采用两平面参数化的光场，用 4D 参数特征化光线，构建 4D 函数实现映射，最后采用全连接网络优化该函数并合成新视角，同时附加了 per-ray depth 预测，提高了光场渲染质量，实验表明本方法优于现有技术。

    May, 2021

  • 神经点光场

    采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

    Dec, 2021

  • 轻场景神经渲染

    本文提出了一种基于四维光场表示的双阶段变压器模型，旨在弥合几何重建和经典光场渲染之间的差距，通过强制约束几何约束，使得场景几何隐含在稀疏的视角学习中，并在多个前向和 360 度数据集上超越了最先进技术，尤其是在视角变化剧烈的情况下。

    Dec, 2021

  • R2L: 将神经辐射场精炼为神经光场以实现高效的新视角合成

    本文介绍一种新的深度残差 MLP 网络用于学习 Neural Light Field（NeFL），通过从预训练的 NeRF 模型中转移知识进行数据精馏，以此消除 NeRF 的迭代采样问题，在合成和现实场景下的实验结果表明，与其他算法相比，我们的方法在节省计算资源和提高渲染质量方面具有明显的优势。

    Mar, 2022

  • 快速神经辐射场重建的体积特征渲染

    本研究提出了将本应在神经网络评估后再进行渲染的颜色，改为直接渲染出射线查询的特征向量，从而大幅降低了神经网络评估的复杂度和计算开销，并取得了较好的渲染质量。

    May, 2023

  • 利用神经辐射场实现实时视图合成

    该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法，它使用学习的稀疏体素网格表示，通过对神经辐射场（Neural Radiance Fields）进行预处理和存储（烘焙）来实现实时渲染。通过该方法，可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力，实现在普通硬件上进行实时渲染。

    Mar, 2021

  • MobileNeRF：利用多边形光栅化管道在移动架构上高效渲染神经场

    本文介绍了一种基于纹理多边形的新型 NeRF 表示方法，能够高效地使用标准渲染管道合成新图像，这种方法允许使用传统的多边形光栅化方法对 NeRF 进行渲染，从而在各种计算平台上实现交互式帧速率。

    Jul, 2022

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023