CVPRJun, 2024

神经辐射场中的学习式光照重建和内在分解

PDF
TL;DR我们的研究引入了一种将重照和内在分解相结合的方法，通过利用场景中的光变化生成伪标签，为内在分解提供指导，同时确保对不同场景类型的稳健性，并减少对预训练模型或手工先验的依赖。我们在合成和真实世界数据集上验证了我们的方法，并取得了令人信服的结果。此外，我们的方法在图像编辑任务中的适用性显示出了有希望的结果。
intrinsic componentsreflectanceshadingrelightingintrinsic decomposition
发现论文，激发创造
  • 学习数据驱动的反射先验用于内在图像分解

    本文提出了一种基于数据驱动的方法，用于分解内在图像，通过训练模型预测图像片段之间的相对反射顺序并将其应用于能量最小化框架，以获得更好的效果。

    Oct, 2015

  • 深度混合真实和合成训练用于内在分解

    该论文提出使用深度卷积神经网络解决困难的内在图像分解问题，通过对真实图像和合成图像模型的混合训练，以及引入 Bilateral Solver 层，进一步改进结果，实现了对各种数据集包括真实世界场景的不同光照图像的理想产出。

    Jul, 2018

  • 单张图像内在图像分解的无监督学习

    本文提出了一种新颖的无监督内在图像分解框架，不依赖于标记的训练数据和手工制作的先验。通过探索反射和阴影之间的独立性、域不变内容约束和物理约束，直接从无监督和不相关的数据中学习反射和阴影的潜在特征。在合成和实际图像数据集上的广泛实验表明，所提出的方法具有一致的卓越性能。

    Nov, 2019

  • 神经场遇上显式几何表示，逆向渲染城市场景

    提出一种新的逆向渲染框架，能够从一组 RGB 图像中联合重建场景几何、空间变化的材料和 HDR 照明，并支持物理场景操作，例如射线跟踪阴影投射。

    Apr, 2023

  • NeRD: 图像集合中的神经反射分解

    本论文提出了一种使用基于物理的渲染来分解场景并产生具有 BRDF 材料属性的可重光纹理网格的方法，可适用于不同光照条件下获取的图像，实验证明该方法能够从图像集合中获得高质量的可重光 3D 资源。

    Dec, 2020

  • IntrinsicNeRF: 学习可编辑的内在神经辐射场进行新视角合成

    通过引入本质表征分解的内在神经辐射场 (IntrinsicNeRF) 模型，将 NeRF 神经渲染方法的应用扩展到基于房间尺度的场景中；基于点采样和反射迭代聚类优化的方法使 IntrinsicNeRF 模型可以在无监督的环境下具备传统本质分解约束条件，并展示了在面对具有挑战性序列时，其具有相对稳定的本质分解结果和高保真度的新视角生成效果。

    Oct, 2022

  • ShadingNet: 细粒度阴影分解的图像内在参数

    提出了一种使用深度卷积神经网络对遮蔽组分进行分解，从而区分强光学效应与反射变化的方法，并在大规模实验中证明了其优越性。

    Dec, 2019

  • 深度本征图像分解的重新审视

    该文介绍了使用具有灵活监督损失层的深度学习方法来实现自然图像的固有反射和阴影层解析分解，并展示了其在所有主要内部图像基准测试上取得的最先进结果。

    Jan, 2017

  • 可编辑的小说视角合成的统一分解和组合 NeRF 学习

    本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

    Aug, 2023

  • 自监控内部图像分解

    本文提出了使用解释输入图像的方法来学习内在图像分解，在单个图像上执行反射、形状和光照条件的预测。该网络利用无监督重建误差信号来提高中间表示的质量，使得大规模未标记数据在训练中有用，并且能够将所学知识应用于不同的对象类别、光照条件和形状的图像上。实验结果表明，该方法对内在图像分解和知识传递均表现出色。

    Nov, 2017