Mar, 2024

多模态神经场景表示的探索及其在热成像上的应用

PDF
TL;DR该论文通过综合评估神经场表示（如 NeRFs）在多模态学习中的作用，提出了四种不同的策略来将热成像作为第二模态融入 NeRFs，并发现添加第二分支对于热成像的新视角合成效果最佳，同时在 RGB 方面也产生了令人信服的结果，该分析结果还推广到包括近红外图像和深度图在内的其他模态。
neural radiance fieldsnovel view synthesismulti-modal learningthermal imagingcross-modality calibration
发现论文，激发创造
  • ThermoNeRF: 热新视图综合的多模态神经光辐射场

    我们提出了一种基于神经辐射场的新型多模态方法 ThermoNeRF，能够联合渲染场景的新的 RGB 和热像视图，并通过使用配对的 RGB 和热像图像来学习场景密度，而独立的网络用于估计颜色和温度信息。此外，我们还引入了一个新的数据集 ThermoScenes 来弥补可用的 RGB + 热像数据集的不足，实验证实 ThermoNeRF 能够实现准确的热像合成，平均绝对误差为 1.5℃，相比于使用拼接的 RGB + 热像数据的 Nerfacto 方法，提高了 50% 以上。

    Mar, 2024

  • 充分利用热感模态以增强在低光条件下的重建

    Neural Radiance Fields (NeRF) accomplishes photo-realistic novel view synthesis by learning the implicit volumetric representation of a scene from multi-view images, while Thermal-NeRF takes thermal and visible raw images as inputs to accomplish visible and thermal view synthesis simultaneously and demonstrates the benefits of both modalities in 3D reconstruction.

    Mar, 2024

  • 连接 NeRFs、图像和文本

    利用预训练模型和多模态模型，提出了一个简单的框架，实现了神经辐射场（NeRFs）嵌入与图像和文本之间的双向映射，这种映射开辟了一些新的有用应用，包括 NeRF 零样本分类和从图像或文本中检索 NeRF。

    Apr, 2024

  • 热 NeRF：红外相机的神经辐射场

    利用红外热成像技术实现远红外空间热急剧变化的三维场景重建，克服了常见的低光照和视觉阻塞等不利因素，提高了场景重建的质量。

    Mar, 2024

  • 分而治之：重新思考神经辐射场的训练范式

    通过将输入视图按照其视觉相似性划分为多个组，并在每个组上训练单独的模型，然后通过教师 - 学生蒸馏范式将这些专门模型的知识聚合为一个实体，我们重新设计了 NeRF 的训练范式，提高了其渲染质量并实现了空间效率。

    Jan, 2024

  • 可编辑的小说视角合成的统一分解和组合 NeRF 学习

    本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

    Aug, 2023

  • MM-NeRF：多模态引导的三维多风格神经辐射场转换

    本文提出了一种名为 MM-NeRF 的新颖多模态引导的 3D 多风格迁移方法，通过投影多模态引导到 CLIP 空间并提取多模态风格特征来指导多风格的风格化，同时使用多头学习方案（MLS）解决了多风格迁移的不一致性和提升了风格化的质量。

    Sep, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023