提出了一种利用深度神经网络从单张室内场景图片中估算光照的方法,利用离散化的 3D 灯光几何和光度参数进行表征,并证明该方法比以往方法更加精确并能支持空间变化光照的三维物体合成。
Oct, 2019
本文提出了一种使用神经渲染框架的方法,通过利用预测的深度数据和光源分割掩模,从单个图像中编辑复杂室内照明,解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题,其特点在于综合使用场景重建和参数化 3D 照明的方法。
May, 2022
该论文提出了一种名为 “Neural Illumination” 的新方法,将光照预测分解成几个简单的不同 iable 子任务:几何估计、场景完成和 LDR-to-HDR 估计,并表明与以前的方法相比,该方法在定量和定性方面都得到了显着的改进。
Jun, 2019
本文提出了一种基于深度学习和编码隐空间技术,利用包含 21000 个高动态范围室内环境地图的数据集,从单张室内物体图片中准确预测环境光的方法。
Jun, 2018
本研究提出了一种将参数化的灯光模型与 360 度全景图相结合的方法,该方法使用最新的基于 GAN 的 LDR 全景图延伸技术,提供可编辑的室内外环境下的 HDR 灯光,从而实现建模的高度逼真性和场景编辑的易用性。
Apr, 2023
本研究提出了一种实时方法来从单个 RGB 图像估计空间变化的室内照明,使用一个 CNN 模型,它可以在少于 20ms 的时间内在笔记本电脑移动图形卡上预测给定位置处的照明情况,并且不需要任何几何信息,可以直接用于增强现实应用,可以实时在场景中的任何位置更改虚拟物体的光照效果。经过定量实验和用户研究,我们的方法比现有方法具有更低的照明估计误差和更好的用户体验。
使用全景三维估计方法进行照明模拟的研究,不需要详细的建模输入,通过对比全景和鱼眼透视图中现场 HDR 照片、三维估计模型和详细模型之间的亮度误差来评估模拟结果,结果表明所选场景下估计的房间布局可靠用于照明模拟。
Mar, 2024
本文提出了一个自动方法,通过使用一个有限的视野、低动态范围的室内场景的照片来推断高动态范围的照明。通过使用深度神经网络,我们训练了一个分类器来自动注释 LDR 环境地图中光源的位置,然后利用这些注释来预测场景中光的位置,从而 fine-tune 这个网络来预测每个光源的强度,可以自动获得高质量的 HDR 照明估计结果,从而可以实现逼真的照片级结果。
Apr, 2017
我们提出了一个用于将虚拟对象逼真地嵌入到室内场景中的流程,重点关注实时增强现实应用。我们的流程包括两个主要组件:光估计器和神经软阴影纹理生成器。我们的光估计基于深度神经网络,确定主光方向、光颜色、环境颜色和阴影纹理的不透明度参数。我们的神经软阴影方法将基于物体的逼真软阴影编码为与光方向相关的纹理,存储在一个小型的多层感知机中。我们展示了我们的流程可以在实时中将对象融入增强现实场景中,实现新的逼真程度。我们的模型足够小,可以在现有的移动设备上运行,我们在 iPhone 11 Pro 上实现了 9ms 的光估计和 5ms 的神经阴影运行时间。
Aug, 2023
该研究提出了一种物理动机的深度学习框架,可以解决室内光照估计的问题,通过 SGLV、体积光线跟踪、混合网络、 Monte-Carlo 渲染层和 RNN 等多种技术手段,其可以在单张图片或视频序列上预测整个场景下的光照,达到高质量、实时、高度真实感的场景光照预测和增强渲染。
May, 2023