ICCVSep, 2023

CoRF：使用知识蒸馏进行颜色化辐射场

PDF
TL;DR基于神经辐射场（Neural Radiance Field，NeRF）的方法可以对多视角图像进行高质量的新视角合成。本研究提出了一种从输入的灰度多视角图像中合成着色的新视角的方法。通过将基于图像或视频的着色方法应用于生成的灰度新视角，我们发现由于视角不一致性而引起了伪影。通过在着色灰度图像序列上训练辐射场网络也无法解决 3D 一致性问题。我们提出了一种基于蒸馏的方法，将自然图像上训练的着色网络中的颜色知识转移到辐射场网络中。具体而言，我们的方法使用辐射场网络作为 3D 表示，并从现有的 2D 着色方法中迁移知识。实验结果表明，所提出的方法在室内和室外场景下产生了优秀的着色新视角，同时保持着视角间的一致性。此外，我们还展示了我们的方法在基于红外（IR）多视角图像和旧的灰度多视角图像序列的辐射场网络着色等应用中的有效性。
发现论文，激发创造
  • 着色单色辐射场

    通过在 Lab 色彩空间中将单色辐射场表示为预测任务，我们构建了亮度和密度表示，然后通过图像上色模块重新创建彩色表示，最终实现了多彩的隐式模型。

    Feb, 2024

  • 用闭式色彩估计方法减少辐射场中的形状 - 辐射模糊

    该论文提出了一种更适应性的方法来减少神经辐射场中的形状 - 辐射模糊问题。关键在于只基于密度场进行渲染的方法，通过估计基于密度场和姿态图像的颜色场并应用于规范化神经辐射场的密度场，从而改善了神经辐射场的密度场质量和数量。

    Dec, 2023

  • RustNeRF：低质量图像下的鲁棒神经辐射场

    本文通过 RustNeRF 算法提出了一种实现在现实世界中高质量三维模型合成的方法，通过利用实际影像退化建模、隐式多视图引导等实现了对 NeRF 训练模型的改进。实验结果表明 RustNeRF 方法在面对实际影像退化时表现出更好的鲁棒性。

    Jan, 2024

  • 幕后之王：用密度场进行单视角重建

    该研究提出使用隐式密度场而非神经辐射场作为图像的几何场景表示，通过自监督训练神经网络能够在单个前向传递中预测该场景表示，并且可以在深度预测和新视角合成方面进行体积渲染。实验表明，该方法能够预测出输入图像中遮挡区域的有意义几何信息。

    Jan, 2023

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 通过无监督分解和增强点云照明的 NeRF

    该论文介绍了一种名为低光线神经光辐射场（或 LLNeRF）的新方法，通过一种无监督的方式，将场景表示增强，并直接从 sRGB 低光线图像中合成正常光照的新视图。该方法能够通过学习辐射场的分解，提高照明效果、减少噪声和更正失真的颜色，从而产生具有适当照明、生动颜色和细节的新视图图像。实验证明，该方法优于现有的低光照增强方法和神经光辐射场方法。

    Jul, 2023

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • 具有阴影指导的 NeRF 合成

    本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

    Jun, 2023

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023

  • IllumiNeRF: 无需逆渲染的 3D 照明

    通过使用图像扩散模型对输入图像进行重新照明，并利用这些重新照明的图像重建神经辐射场（NeRF），我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示，并在多个重新照明基准测试中取得了最新的结果。

    Jun, 2024