Mar, 2024

充分利用热感模态以增强在低光条件下的重建

PDF
TL;DRNeural Radiance Fields (NeRF) accomplishes photo-realistic novel view synthesis by learning the implicit volumetric representation of a scene from multi-view images, while Thermal-NeRF takes thermal and visible raw images as inputs to accomplish visible and thermal view synthesis simultaneously and demonstrates the benefits of both modalities in 3D reconstruction.
neural radiance fieldsnovel view synthesisthermal-nerfmulti-view images3d reconstruction
发现论文，激发创造
  • ThermoNeRF: 热新视图综合的多模态神经光辐射场

    我们提出了一种基于神经辐射场的新型多模态方法 ThermoNeRF，能够联合渲染场景的新的 RGB 和热像视图，并通过使用配对的 RGB 和热像图像来学习场景密度，而独立的网络用于估计颜色和温度信息。此外，我们还引入了一个新的数据集 ThermoScenes 来弥补可用的 RGB + 热像数据集的不足，实验证实 ThermoNeRF 能够实现准确的热像合成，平均绝对误差为 1.5℃，相比于使用拼接的 RGB + 热像数据的 Nerfacto 方法，提高了 50% 以上。

    Mar, 2024

  • 热 NeRF：红外相机的神经辐射场

    利用红外热成像技术实现远红外空间热急剧变化的三维场景重建，克服了常见的低光照和视觉阻塞等不利因素，提高了场景重建的质量。

    Mar, 2024

  • 多模态神经场景表示的探索及其在热成像上的应用

    该论文通过综合评估神经场表示（如 NeRFs）在多模态学习中的作用，提出了四种不同的策略来将热成像作为第二模态融入 NeRFs，并发现添加第二分支对于热成像的新视角合成效果最佳，同时在 RGB 方面也产生了令人信服的结果，该分析结果还推广到包括近红外图像和深度图在内的其他模态。

    Mar, 2024

  • 通过无监督分解和增强点云照明的 NeRF

    该论文介绍了一种名为低光线神经光辐射场（或 LLNeRF）的新方法，通过一种无监督的方式，将场景表示增强，并直接从 sRGB 低光线图像中合成正常光照的新视图。该方法能够通过学习辐射场的分解，提高照明效果、减少噪声和更正失真的颜色，从而产生具有适当照明、生动颜色和细节的新视图图像。实验证明，该方法优于现有的低光照增强方法和神经光辐射场方法。

    Jul, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • 暗光下的 NeRF：基于噪声原始图像的高动态范围视角综合

    本文介绍了一种叫做 RawNeRF 的技术，它可以直接从线性原始图像中进行训练，生成高动态范围的新视角合成图像，重构低光照条件下极其嘈杂的原始图像所代表的场景。

    Nov, 2021

  • RustNeRF：低质量图像下的鲁棒神经辐射场

    本文通过 RustNeRF 算法提出了一种实现在现实世界中高质量三维模型合成的方法，通过利用实际影像退化建模、隐式多视图引导等实现了对 NeRF 训练模型的改进。实验结果表明 RustNeRF 方法在面对实际影像退化时表现出更好的鲁棒性。

    Jan, 2024

  • 具有阴影指导的 NeRF 合成

    本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

    Jun, 2023

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020