使用可微分虚拟物体插入的神经光场估计技术应用于城市场景
该研究提出了一种物理动机的深度学习框架,可以解决室内光照估计的问题,通过 SGLV、体积光线跟踪、混合网络、 Monte-Carlo 渲染层和 RNN 等多种技术手段,其可以在单张图片或视频序列上预测整个场景下的光照,达到高质量、实时、高度真实感的场景光照预测和增强渲染。
May, 2023
本文介绍了一种基于卷积神经网络的方法来从低动态范围(LDR)图像中估算高动态范围(HDR)全景图的户外照明,通过训练网络并提取大量的输入图像与输出照明参数对,本文的方法允许恢复真实感照明条件并能从单一图像中实现逼真的虚拟物体插入。
Nov, 2016
该论文提出了一种名为 “Neural Illumination” 的新方法,将光照预测分解成几个简单的不同 iable 子任务:几何估计、场景完成和 LDR-to-HDR 估计,并表明与以前的方法相比,该方法在定量和定性方面都得到了显着的改进。
Jun, 2019
我们提出了第一个实时方法,用于将刚性虚拟对象插入到神经辐射场中,它能够产生逼真的光照和阴影效果,并且允许对对象进行交互操作。通过利用 NeRF 中有关光照和几何的丰富信息,我们的方法克服了增强现实中对象插入的几个挑战。对于光照估计,我们产生了精确、稳健和具有三维空间变化的入射光,结合了 NeRF 的近场光照和环境光,以考虑 NeRF 未覆盖的光源。对于遮挡,我们使用从 NeRF 中整合的不透明度图将渲染的虚拟对象与背景场景混合。对于阴影,我们使用一个预计算的球形符号距离场查询视点周围的任意点的可见性,并在三维表面上投射软、详细的阴影。与现有技术相比,我们的方法能够以更高的保真度将虚拟对象插入场景中,并有很大潜力进一步应用于增强现实系统。
Oct, 2023
我们提出了一种数据驱动的天空模型,利用单张图像进行室外照明估计,通过综合数据集来训练,并成功解决了光照建模和估计问题。我们的方法可以直接从测试图像中估计 HDR 照明环境映射,发现我们的学习天空模型表现出很强的适应性和表现力,能够恢复出合理的光照,实现真实的虚拟对象插入。通过广泛的验证,我们的方法优于先前的最先进技术。
May, 2019
本文提出了一种基于 NeRF 的新型管道,用于将物体 NeRF 插入场景 NeRF,实现新视角合成和逼真的光照重新调整,并支持物体之间的物理交互,如互相投射阴影,通过比较相机视角与光源视角之间的深度图并生成生动柔和的阴影,实现了逼真的光照重新调整效果。
Jun, 2024
提出了一种利用深度神经网络从单张室内场景图片中估算光照的方法,利用离散化的 3D 灯光几何和光度参数进行表征,并证明该方法比以往方法更加精确并能支持空间变化光照的三维物体合成。
Oct, 2019
本文提出了一种使用神经渲染框架的方法,通过利用预测的深度数据和光源分割掩模,从单个图像中编辑复杂室内照明,解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题,其特点在于综合使用场景重建和参数化 3D 照明的方法。
May, 2022
提出了一种方法,通过逆向渲染的物理原理来约束解决方案,同时利用神经网络来增强处理的计算能力,以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计,从而在 AR 情境下实现真实感增强。
Aug, 2020