自监督室外场景再照明
这篇论文提出了一种新方法,通过使用虚拟光源阵列来生成数据集,以代替使用高昂的专用抓取设备,从而实现高质量人像重新照明,同时保持真实感和物理上的一致性。
Sep, 2022
通过基于单图几何重建的框架实现针对人体的单张图片重照,在去除光照的同时,通过采用经过修改的 HRNet 和基于光线追踪的每像素灯光表示方法,恢复逼真的阴影,展现出包括硬阴影在内的高频阴影效果,优于先前的方法。
Jul, 2022
利用神经辐射场模型,通过对野外拍摄的照片的同时处理来实现对室外场景的光照和视角的编辑,并与 SoTA 进行比较,其结果表明,该方法可实现更高质量和更逼真的自阴影重现。
Dec, 2021
图像重照是通过改变光照条件展示源图像场景在不同光照条件下的效果。本文介绍了一种完全基于数据驱动的重照方法,其中光照条件和内在特征都被表示为潜在变量。该方法在真实场景的重照上达到了最先进的水平,使用了标准度量评估,同时发现可以通过潜在内在特征恢复颜色,并且恢复的颜色与最先进的方法相竞争。
May, 2024
本文研究基于物理学原理的图像形成模型的深度学习架构,包括去除图像光线和校正漏光,并应用到肖像摄影数据库中。结果表明,该模型可以实现精确和可信的照明结果,并且可以推广到复杂的光照条件和挑战性姿势,包括主体未直视相机。
Jun, 2019
本文提出了一种使用神经渲染框架的方法,通过利用预测的深度数据和光源分割掩模,从单个图像中编辑复杂室内照明,解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题,其特点在于综合使用场景重建和参数化 3D 照明的方法。
May, 2022
本文提出了一个称之为 Relighting4D 的结构化框架,通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场,进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证,我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离,实现无限可调的动态换背景。
Jul, 2022
通过对任何天空像素提供的遥远照明的直接测量以及通过神经照明先验的统计指示,我们利用图像中的多个线索来解开几何、反照率和阴影之间的复杂关系,并引入了一种基于神经方向距离函数的新颖的 “自外而内” 的方法来计算可区分的天空可见性。该方法能够高效地训练,并与神经场景表示并行计算,使得从阴影到照明和几何估计的外观误差梯度得以流动。我们的方法在 NeRF-OSR 重新照明基准测试中达到了最先进的结果,估计出高质量的反照率、几何形状、照明和天空可见性。
Nov, 2023