AAAIDec, 2023

基于神经辐射场的基于物理的光谱渲染

PDF
TL;DR提出一种基于 SpectralNeRF 的光谱透视的高质量物理渲染方法，通过修改经典的光谱渲染为两个主要步骤，即生成一系列不同波长的光谱图并将其组合为 RGB 输出，通过提出的多层感知机 (SpectralMLP) 和光谱注意力 UNet (SAUNet) 实现这两个步骤。评估结果表明，相对于最近的 NeRF-based 方法，所提出的 SpectralNeRF 在合成新视图时，在合成和真实数据集上具有更好的性能。
发现论文，激发创造
  • Spec-NeRF: 多光谱神经辐射场

    我们提出了一种名为 Multi-spectral Neural Radiance Fields（Spec-NeRF）的方法，可以通过一组经不同滤波器滤波的彩色图像，联合重建多光谱辐射场和相机的光谱灵敏度函数（SSFs）。通过将估计得到的 SSFs 和辐射场应用于合成多光谱场景的新视图，该方法侧重于对物理成像过程进行建模。该方法只需要一台低成本的三色相机和几个现成的彩色滤光片进行数据采集，相比使用专门的 3D 扫描和光谱成像设备更加实用。我们对合成和真实场景数据集进行的实验表明，利用可学习的 NeRF 和 SSFs 处理经过滤波的 RGB 图像，能够实现高保真度和有前景的光谱重建，并且保留了 NeRF 理解几何结构的内在能力。该方法的代码可以在此 https URL 找到。

    Sep, 2023

  • 神经辐射场（NeRFs）：综述与一些最近的发展

    Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.

    Apr, 2023

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 基于神经辐射场的视觉渲染方法综述

    近年来，神经辐射场（NeRF）在计算机视觉和图形领域取得了显着进展，为解决 3D 场景理解、新视角合成、人体重建、机器人等关键任务提供了强有力的技术支持。本文对过去两年内关于 NeRF 的研究文献进行了深入分析，在详细阐述 NeRF 核心架构的基础上，讨论了 NeRF 的各种改进策略，以及在不同应用场景中的案例研究，展示了其在不同领域的实际应用价值。同时，本文还详细介绍了 NeRF 模型训练所需的关键资源，最后提出了关于 NeRF 未来发展趋势和潜在挑战的前瞻性讨论，旨在为该领域的研究人员提供研究灵感，促进相关技术的进一步发展。

    Mar, 2024

  • 应用 NeRF 技术于卫星影像中进行地表重建

    介绍了 Sat-NeRF，它是阴影神经辐射场（S-NeRF）模型的一个修改实现。它能够从场景的稀疏卫星图像合成新的视图，并考虑图片中存在的光照变化。通过完全连接的神经网络支路输出反照率和入射辐照度两个量，对辐射度进行考虑，将其作为太阳直射光和天空漫反射颜色的函数。通过对 NeRF 进行超参数研究，得出了一些有趣的结论，并且成功地将 NeRF 和 S-NeRF 运行了 100k 次以完全拟合数据并产生最佳预测。

    Apr, 2023

  • SAR-NeRF：合成孔径雷达多视角辐射场的神经辐射场

    本研究借鉴神经辐射场（NeRF）的概念，将 SAR 成像机制与神经网络相结合，提出了一种新的 SAR 图像生成模型 SAR-NeRF，它通过自动编码学习了体素的衰减系数和散射强度分布，并在少样本学习任务上实现了较高的分类精度。

    Jul, 2023

  • BeyondPixels：神经辐射场演变的综合综述

    本文综述了近年来神经辐射场（NeRF）技术在 3D 渲染和视角合成领域的最新研究进展和其不同的架构设计。

    Jun, 2023

  • BioNeRF：生物合理的神经辐射场用于视图合成

    BioNeRF 是一种基于生物学的合理架构，通过辐射场对场景进行 3D 表示并合成新视图，利用类似记忆结构的认知启发机制将来自多个来源的输入融合，提高存储容量并提取更多内在和相关信息，同时模仿锥体细胞中观察到的有关上下文信息的行为，其中记忆作为上下文提供并与两个后续神经模型的输入相结合，其中一个负责生成体积密度，另一个负责渲染场景所使用的颜色。实验结果表明，BioNeRF 在两个数据集（真实世界图像和合成数据）中基于人类感知的质量度量上胜过最先进的结果。

    Feb, 2024

  • 利用神经辐射场实现实时视图合成

    该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法，它使用学习的稀疏体素网格表示，通过对神经辐射场（Neural Radiance Fields）进行预处理和存储（烘焙）来实现实时渲染。通过该方法，可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力，实现在普通硬件上进行实时渲染。

    Mar, 2021

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023