学习从 3D 物体估计室内照明
提出了一种利用深度神经网络从单张室内场景图片中估算光照的方法,利用离散化的 3D 灯光几何和光度参数进行表征,并证明该方法比以往方法更加精确并能支持空间变化光照的三维物体合成。
Oct, 2019
本文提出了一个自动方法,通过使用一个有限的视野、低动态范围的室内场景的照片来推断高动态范围的照明。通过使用深度神经网络,我们训练了一个分类器来自动注释 LDR 环境地图中光源的位置,然后利用这些注释来预测场景中光的位置,从而 fine-tune 这个网络来预测每个光源的强度,可以自动获得高质量的 HDR 照明估计结果,从而可以实现逼真的照片级结果。
Apr, 2017
该研究提出了一种物理动机的深度学习框架,可以解决室内光照估计的问题,通过 SGLV、体积光线跟踪、混合网络、 Monte-Carlo 渲染层和 RNN 等多种技术手段,其可以在单张图片或视频序列上预测整个场景下的光照,达到高质量、实时、高度真实感的场景光照预测和增强渲染。
May, 2023
该论文提出了一种名为 “Neural Illumination” 的新方法,将光照预测分解成几个简单的不同 iable 子任务:几何估计、场景完成和 LDR-to-HDR 估计,并表明与以前的方法相比,该方法在定量和定性方面都得到了显着的改进。
Jun, 2019
本文提出了一种从单个视角图像中估算室内场景照明的方法,该方法估算出易于编辑的参数化光源,并结合高频信息的非参数纹理,实现宏观阴影和细节表面反射的逼真渲染效果。定量和定性结果表明,该方法简化了室内照明估算过程,同时仍能产生竞争性的结果。
Nov, 2022
本文提出了一种使用神经网络从单张 LDR 图像中预测 HDR 户外照明的方法,其核心是利用一种从任何天气条件下的 LDR 全景图精确学习 HDR 照明的方法。通过在合成和真实图像的组合上训练另一个 CNN 来实现以上方法,根据 Lalonde-Matthews 户外照明模型回归参数。该模型被训练来重建天空的外观,并呈现对象被此照明照亮后的外观。作者使用此网络标记了一个大规模的 LDR 全景数据集,并用它们来训练单张图像户外照明估计网络。实验证明,我们的全景和单张图像网络都优于现有技术,并且与先前的工作不同,能够处理从全晴天到阴天的各种天气状况。
Jun, 2019
本文介绍了一种基于卷积神经网络的方法来从低动态范围(LDR)图像中估算高动态范围(HDR)全景图的户外照明,通过训练网络并提取大量的输入图像与输出照明参数对,本文的方法允许恢复真实感照明条件并能从单一图像中实现逼真的虚拟物体插入。
Nov, 2016
本文提出了一种使用深度学习模型对场景的三维模型进行预测,并通过标准体积渲染技术来估算场景中任何三维位置的入射光照强度,可以在没有地面真实三维数据的情况下进行训练,可用于在真实图像中插入高反光虚拟物体的空间变化照明估算方法。
Mar, 2020
本文提出了一种使用神经渲染框架的方法,通过利用预测的深度数据和光源分割掩模,从单个图像中编辑复杂室内照明,解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题,其特点在于综合使用场景重建和参数化 3D 照明的方法。
May, 2022
提出了一种方法,通过逆向渲染的物理原理来约束解决方案,同时利用神经网络来增强处理的计算能力,以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计,从而在 AR 情境下实现真实感增强。
Aug, 2020