使用神经辐射场重新照明场景中的物体插入
本文研究基于物理学原理的图像形成模型的深度学习架构,包括去除图像光线和校正漏光,并应用到肖像摄影数据库中。结果表明,该模型可以实现精确和可信的照明结果,并且可以推广到复杂的光照条件和挑战性姿势,包括主体未直视相机。
Jun, 2019
提出一种基于神经辐射场和基于对象的神经散射函数的方法,能够在不重新训练的情况下,对静态及动态场景进行光线追踪模拟,拥有在新光照和新物品排列情况下泛化能力的物理准确的多物体场景组成渲染技术。
Dec, 2020
本文提出了一种使用神经渲染框架的方法,通过利用预测的深度数据和光源分割掩模,从单个图像中编辑复杂室内照明,解决了通过局部LDR场景观察从而对HDR照明进行建模和分离的难题,其特点在于综合使用场景重建和参数化3D照明的方法。
May, 2022
本文提出了一种新的基于自我注意力和可学习嵌入的3D场景渲染方法,称为ABLE-NeRF,以改善之前NeRF方法在光泽和半透明表面表现较差的问题,并在渲染结果上获得了比之前先进的结果。
Mar, 2023
针对如何从神经光辐射场(NeRF)中渲染新视角的问题,本文介绍了ReNe(重新照明NeRF)数据集,细分了现实世界中的物体以及光与相机姿态,通过该数据集,可以表明NeRF varients的光照能力,进而确定了一种轻量级体系结构,以获得一种能够在新的光照条件下呈现对象新视角的方案,并用于该数据集的非平凡基线。
Apr, 2023
本文提出了一种叫做NeRF综合的新任务,利用NeRF补丁范例的结构内容构建大尺寸的新辐射场,我们提出了一种两阶段的方法来综合新场景,控制场景的照明效果采用阴影指导而不是分离场景,我们表明了我们的方法可以生成高质量的结果,对曲面上的新场景进行综合,增强了我们所提出的NeRF综合方法的实用性。
Jun, 2023
我们提出了第一个实时方法,用于将刚性虚拟对象插入到神经辐射场中,它能够产生逼真的光照和阴影效果,并且允许对对象进行交互操作。通过利用 NeRF 中有关光照和几何的丰富信息,我们的方法克服了增强现实中对象插入的几个挑战。对于光照估计,我们产生了精确、稳健和具有三维空间变化的入射光,结合了 NeRF 的近场光照和环境光,以考虑 NeRF 未覆盖的光源。对于遮挡,我们使用从 NeRF 中整合的不透明度图将渲染的虚拟对象与背景场景混合。对于阴影,我们使用一个预计算的球形符号距离场查询视点周围的任意点的可见性,并在三维表面上投射软、详细的阴影。与现有技术相比,我们的方法能够以更高的保真度将虚拟对象插入场景中,并有很大潜力进一步应用于增强现实系统。
Oct, 2023
通过构建真实世界数据集,本文介绍了用于测量物体重建和渲染以实现换灯效果的方法,通过在多个环境中捕捉环境光照和真实图像,可以从一个环境中的图像重建物体,并对未见过的照明环境对渲染视图的质量进行定量分析,并通过对比基线方法和最新方法的测试结果,显示出新视点合成不能可靠地衡量性能。
Jan, 2024
通过使用图像扩散模型对输入图像进行重新照明,并利用这些重新照明的图像重建神经辐射场(NeRF),我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示,并在多个重新照明基准测试中取得了最新的结果。
Jun, 2024