Jan, 2024

带光照的物体: 用于评估物体重建与渲染的真实世界数据集

HTML
PDF
TL;DR通过构建真实世界数据集，本文介绍了用于测量物体重建和渲染以实现换灯效果的方法，通过在多个环境中捕捉环境光照和真实图像，可以从一个环境中的图像重建物体，并对未见过的照明环境对渲染视图的质量进行定量分析，并通过对比基线方法和最新方法的测试结果，显示出新视点合成不能可靠地衡量性能。
发现论文，激发创造
  • 复杂室内场景的反渲染：从单张图像提取形状、空间变化照明和空间可变双向反射分布函数

    提出了一种深度反渲染框架，用于室内场景的重建和估计形状、光照和面反射率，实现了提高渲染质量，从而在增强现实等领域具有广泛应用。

    May, 2019

  • 基于物体的，考虑渲染的神经网络光照估计

    提出了一种方法，通过逆向渲染的物理原理来约束解决方案，同时利用神经网络来增强处理的计算能力，以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计，从而在AR情境下实现真实感增强。

    Aug, 2020

  • 神经光传输用于重光与视图合成

    本文提出了一种基于图像的光传输获取方法，通过学习一种嵌入基于纹理图集的神经表示，将所有的非漫反射和全局光传输建模为添加到基于物理精度的漫反射基本渲染的残差项。其中，通过融合先前看到的不同光源和观察角度来合成同一场景下所需照明条件下的新图像，从而实现可以复杂地重现场景或仿佛真实的改变其外观。

    Aug, 2020

  • NeRV：用于重新照明和视图合成的神经反射率和可见性场

    该研究提供了一种基于连续体积参数化的方法，可以将场景表示为可以在新视点下进行渲染的3D表示，并且可在任意照明条件下呈现，包括间接光照效果，从而解决了以前的方法因光照环境变化而受限的问题。

    Dec, 2020

  • 基于物理的单图像室内场景光照编辑

    本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部LDR场景观察从而对HDR照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化3D照明的方法。

    May, 2022

  • ReLight My NeRF:用于真实世界物体的新视角综合和重光数据集

    针对如何从神经光辐射场（NeRF）中渲染新视角的问题，本文介绍了ReNe(重新照明NeRF)数据集，细分了现实世界中的物体以及光与相机姿态，通过该数据集，可以表明NeRF varients的光照能力，进而确定了一种轻量级体系结构，以获得一种能够在新的光照条件下呈现对象新视角的方案，并用于该数据集的非平凡基线。

    Apr, 2023

  • 开放光照：逆向渲染评估的多光照数据集

    OpenIllumination是一个包含108k多个图像的真实世界数据集，其中包括64个对象，具有不同的材料，在72个摄像机视图和大量不同的光照条件下捕获。我们提供了数据集中每个图像的准确相机参数、光照真值和前景分割掩码。该数据集可以对大多数反渲染和材料分解方法进行定量评估，并对数据集上的几种先进的反渲染方法进行了比较。数据集和代码可以在项目页面上找到：this https URL

    Sep, 2023

  • 训练中显现的潜在内在特征

    图像重照是通过改变光照条件展示源图像场景在不同光照条件下的效果。本文介绍了一种完全基于数据驱动的重照方法，其中光照条件和内在特征都被表示为潜在变量。该方法在真实场景的重照上达到了最先进的水平，使用了标准度量评估，同时发现可以通过潜在内在特征恢复颜色，并且恢复的颜色与最先进的方法相竞争。

    May, 2024

  • IllumiNeRF: 无需逆渲染的3D照明

    通过使用图像扩散模型对输入图像进行重新照明，并利用这些重新照明的图像重建神经辐射场（NeRF），我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示，并在多个重新照明基准测试中取得了最新的结果。

    Jun, 2024

  • 单张图像重光照：数据集和基于深度的内在结构架构

    本研究针对单张图像重光照中生成在任意光照条件下的现实图像这一难题，提出了两个新数据集以应对数据匮乏的问题，并建立了基于内在分解的两阶段网络架构，引入物理约束。该方法在性能上超越了最先进的技术，并可生成适用于各种光照条件的动态效果，具有广泛的应用潜力。

    Sep, 2024