Mar, 2024

ThermoNeRF: 热新视图综合的多模态神经光辐射场

PDF
TL;DR我们提出了一种基于神经辐射场的新型多模态方法 ThermoNeRF，能够联合渲染场景的新的 RGB 和热像视图，并通过使用配对的 RGB 和热像图像来学习场景密度，而独立的网络用于估计颜色和温度信息。此外，我们还引入了一个新的数据集 ThermoScenes 来弥补可用的 RGB + 热像数据集的不足，实验证实 ThermoNeRF 能够实现准确的热像合成，平均绝对误差为 1.5℃，相比于使用拼接的 RGB + 热像数据的 Nerfacto 方法，提高了 50% 以上。
thermal scene reconstructionneural radiance fieldsthermonerfthermoscenesmultimodal approach
发现论文，激发创造
  • 充分利用热感模态以增强在低光条件下的重建

    Neural Radiance Fields (NeRF) accomplishes photo-realistic novel view synthesis by learning the implicit volumetric representation of a scene from multi-view images, while Thermal-NeRF takes thermal and visible raw images as inputs to accomplish visible and thermal view synthesis simultaneously and demonstrates the benefits of both modalities in 3D reconstruction.

    Mar, 2024

  • 热 NeRF：红外相机的神经辐射场

    利用红外热成像技术实现远红外空间热急剧变化的三维场景重建，克服了常见的低光照和视觉阻塞等不利因素，提高了场景重建的质量。

    Mar, 2024

  • 多模态神经场景表示的探索及其在热成像上的应用

    该论文通过综合评估神经场表示（如 NeRFs）在多模态学习中的作用，提出了四种不同的策略来将热成像作为第二模态融入 NeRFs，并发现添加第二分支对于热成像的新视角合成效果最佳，同时在 RGB 方面也产生了令人信服的结果，该分析结果还推广到包括近红外图像和深度图在内的其他模态。

    Mar, 2024

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 具有阴影指导的 NeRF 合成

    本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

    Jun, 2023

  • 基于双重神经辐射场的室内环境的 3D 重建和新视角合成

    该研究论文提出了一种名为 Du-NeRF 的双重神经辐射场方法，可同时实现高质量的几何重建和视角合成，大大改善了室内环境下的新视角合成和三维重建性能，并对不服从多视角颜色一致性的细几何构造尤为有效。

    Jan, 2024

  • 神经辐射场场景重建探索：合成、真实世界和动态场景

    该论文主要研究使用神经辐射场（NeRF）方法对合成和真实场景进行 3D 重建，包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中，还着重探讨了神经辐射场（D-NeRF）对动态场景重建的应用，并成功将其推广至真实世界动态场景。

    Oct, 2022

  • 神经辐射场（NeRFs）：综述与一些最近的发展

    Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.

    Apr, 2023

  • 野外的 NeRF: 用于无约束照片集合的神经辐射场

    本论文提出了一种基于学习的方法，利用无组织的野外照片合成复杂场景的新视图，并介绍了一系列扩展 NeRF 的方法以解决自然图像中的一些问题，最终成功地构建了名称为 NeRF-W 的系统，能够从互联网上的无组织照片集合中重建场景并呈现接近于照片现实主义水平的合成视图。

    Aug, 2020