CVPRJun, 2019

全天候深度户外照明估计

PDF
TL;DR本文提出了一种使用神经网络从单张 LDR 图像中预测 HDR 户外照明的方法，其核心是利用一种从任何天气条件下的 LDR 全景图精确学习 HDR 照明的方法。通过在合成和真实图像的组合上训练另一个 CNN 来实现以上方法，根据 Lalonde-Matthews 户外照明模型回归参数。该模型被训练来重建天空的外观，并呈现对象被此照明照亮后的外观。作者使用此网络标记了一个大规模的 LDR 全景数据集，并用它们来训练单张图像户外照明估计网络。实验证明，我们的全景和单张图像网络都优于现有技术，并且与先前的工作不同，能够处理从全晴天到阴天的各种天气状况。
发现论文，激发创造
  • 深度户外照明估计

    本文介绍了一种基于卷积神经网络的方法来从低动态范围（LDR）图像中估算高动态范围（HDR）全景图的户外照明，通过训练网络并提取大量的输入图像与输出照明参数对，本文的方法允许恢复真实感照明条件并能从单一图像中实现逼真的虚拟物体插入。

    Nov, 2016

  • 学习从单张图像预测室内照明

    本文提出了一个自动方法，通过使用一个有限的视野、低动态范围的室内场景的照片来推断高动态范围的照明。通过使用深度神经网络，我们训练了一个分类器来自动注释 LDR 环境地图中光源的位置，然后利用这些注释来预测场景中光的位置，从而 fine-tune 这个网络来预测每个光源的强度，可以自动获得高质量的 HDR 照明估计结果，从而可以实现逼真的照片级结果。

    Apr, 2017

  • 基于深度学习的单张户外照明估计模型

    我们提出了一种数据驱动的天空模型，利用单张图像进行室外照明估计，通过综合数据集来训练，并成功解决了光照建模和估计问题。我们的方法可以直接从测试图像中估计 HDR 照明环境映射，发现我们的学习天空模型表现出很强的适应性和表现力，能够恢复出合理的光照，实现真实的虚拟对象插入。通过广泛的验证，我们的方法优于先前的最先进技术。

    May, 2019

  • 从户外全景图中学习高动态范围

    本研究提出了一种基于学习的逆色调映射方法，利用深度自动编码器从非线性、饱和、低动态范围全景图中回归出线性的高动态范围数据，以验证该方法在捕获户外环境映射和图像匹配等方面的实用性。

    Mar, 2017

  • EverLight: 室内外可编辑的 HDR 光照估算

    本研究提出了一种将参数化的灯光模型与 360 度全景图相结合的方法，该方法使用最新的基于 GAN 的 LDR 全景图延伸技术，提供可编辑的室内外环境下的 HDR 灯光，从而实现建模的高度逼真性和场景编辑的易用性。

    Apr, 2023

  • 时空一致的室内 HDR 照明估计

    该研究提出了一种物理动机的深度学习框架，可以解决室内光照估计的问题，通过 SGLV、体积光线跟踪、混合网络、 Monte-Carlo 渲染层和 RNN 等多种技术手段，其可以在单张图片或视频序列上预测整个场景下的光照，达到高质量、实时、高度真实感的场景光照预测和增强渲染。

    May, 2023

  • DeepLight: 为不受限移动混合现实学习照明

    本文提出了一种基于学习的方法，通过手机相机拍摄的低动态范围图像推断出高动态范围、全方位光照。通过使用不同反射功能材料在单个曝光中显示不同的光照提示，我们训练深度神经网络从低动态范围背景图像回归到 HDR 照明。通过图像重照操作，我们与预测光照匹配，实现了渲染虚拟物体进入现实环境中。与现有技术相比，我们对自动曝光和白平衡视频进行训练，提高了室内外场景渲染对象的真实感。

    Apr, 2019

  • 学习从 3D 物体估计室内照明

    本文提出了一种基于深度学习和编码隐空间技术，利用包含 21000 个高动态范围室内环境地图的数据集，从单张室内物体图片中准确预测环境光的方法。

    Jun, 2018

  • StyleLight: 用于光照估计和编辑的 HDR 全景图生成

    用于室内全景高动态范围 HDR 照明估计和编辑的新光照估计和编辑框架，从一张低动态范围 LDR 相机拍摄的单个有限视场 LFOV 图像生成高动态范围 (HDR) 的室内全景照明。该框架结合了 LDR 和 HDR 全景合成，使用了 LFOV - 全景和 LDR-to-HDR 光照生成方法，提出了一种耦合双 StyleGAN 全景合成网络 (StyleLight)，并且在室内 HDR 全景照明估计方面表现出优秀的性能。

    Jul, 2022

  • 神经照明：室内环境照明预测

    该论文提出了一种名为 “Neural Illumination” 的新方法，将光照预测分解成几个简单的不同 iable 子任务：几何估计、场景完成和 LDR-to-HDR 估计，并表明与以前的方法相比，该方法在定量和定性方面都得到了显着的改进。

    Jun, 2019