Sep, 2023

ImmersiveNeRF: 混合辐射场用于无边界沉浸式光场重建

PDF
TL;DR本文提出了一种混合辐射场表示方法，用于无界沉浸式光场重建，支持高质量渲染和激进的视点外推。主要思想是首先形式上将前景和背景分开，然后在训练过程中自适应地平衡对它们的学习。为了实现这一目标，我们将前景和背景表示为两个具有不同空间映射策略的辐射场。我们进一步提出了一种自适应采样策略和分割正则化器，以实现更清晰的分割和稳健的收敛。最后，我们贡献了一种新颖的沉浸式光场数据集，名为 THUImmersive，与现有数据集相比，具有实现更大空间 6DoF 沉浸式渲染效果的潜力，通过捕获同一场景的多个相邻视点，以刺激沉浸式光场领域的研究和增强现实 / 虚拟现实应用。广泛的实验证明了我们的方法在无界沉浸式光场重建方面的强大性能。
发现论文，激发创造
  • 城市辐射场

    从由摄像头和扫描器捕捉的 RGB 图像和激光雷达扫描序列中，使用我们的扩展方法，生成具有深度信息的 3D 表面，以及合成新颖的 RGB 图像。

    Nov, 2021

  • UNISURF：统一神经隐式曲面和辐射场用于多视角重建

    该研究通过统一的方式制定了表面和体渲染，从而使得无需任何输入蒙版即可实现准确表面重建，并通过实验证明其能够在各方面都优于 NeRF 方法并与 IDR 方法相媲美。

    Apr, 2021

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 神经场遇上显式几何表示，逆向渲染城市场景

    提出一种新的逆向渲染框架，能够从一组 RGB 图像中联合重建场景几何、空间变化的材料和 HDR 照明，并支持物理场景操作，例如射线跟踪阴影投射。

    Apr, 2023

  • Pano-NeRF：从稀疏低动态范围全景图像合成具有几何图形的高动态范围新视点

    稀疏低动态范围（LDR）全景图像中辐照度场的模型提高了几何恢复和高动态范围（HDR）重建的能力，并且在实验证明了其有效性。

    Dec, 2023

  • 幕后之王：用密度场进行单视角重建

    该研究提出使用隐式密度场而非神经辐射场作为图像的几何场景表示，通过自监督训练神经网络能够在单个前向传递中预测该场景表示，并且可以在深度预测和新视角合成方面进行体积渲染。实验表明，该方法能够预测出输入图像中遮挡区域的有意义几何信息。

    Jan, 2023

  • 神经辐射场场景重建探索：合成、真实世界和动态场景

    该论文主要研究使用神经辐射场（NeRF）方法对合成和真实场景进行 3D 重建，包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中，还着重探讨了神经辐射场（D-NeRF）对动态场景重建的应用，并成功将其推广至真实世界动态场景。

    Oct, 2022

  • DoubleField: 利用神经表面和辐射场实现高保真度人体重建和渲染

    介绍了一种新的 DoubleField 框架，将表面场与辐射场相结合，采用共享特征嵌入和表面引导采样策略进行关联，并引入视图转换器来直接从高分辨率输入中融合多视图特征和学习视图相关特征。DoubleField 具有出色的建模能力和视图转换器，广泛应用于高品质人体模型重建和逼真自由视点人体渲染，同时支持直接推断、场景特定的高分辨率微调和快速渲染。

    Jun, 2021

  • 基于双重神经辐射场的室内环境的 3D 重建和新视角合成

    该研究论文提出了一种名为 Du-NeRF 的双重神经辐射场方法，可同时实现高质量的几何重建和视角合成，大大改善了室内环境下的新视角合成和三维重建性能，并对不服从多视角颜色一致性的细几何构造尤为有效。

    Jan, 2024

  • 高效神经辐射场用于交互式自由视点视频

    本文提出了一种名为 ENeRF 的场景表示，用于快速创建交互式自由视点视频，并实现了深度预测和辐射场网络的联合学习，通过针对场景表面附近的点进行采样，从而显著提高了渲染速度。在多个基准测试中进行实验，结果表明我们的方法在表现上具有竞争力，同时比先前的泛化辐射场方法快至少 60 倍。

    Dec, 2021