WDRN:一种用于图像照明的小波分解补光网络
本文提出一种基于深度学习的图像重照明网络,包括场景重建、阴影先验估计和渲染器,能够在无需几何结构信息的情况下使图像在新的光源方向下重照明,并在 AIM2020 - Any to one relighting challenge 中取得最佳 PSNR 的成果。
Aug, 2020
通过使用堆叠深度多尺度分层网络,我们提出的解决方案在不同尺度的每个图像中聚合特征,可有效地从输入图像到目标图像转换图像照明设置,同时使用两个不同的损失函数,多步训练方法可显著提高性能,并实现光照变换的高质量重构,从而使照片增强成为无需人为干预的可能。
Jul, 2021
这篇研究论文介绍了一种基于深度学习的多模态分支网络 (MBNet) 方法,利用深度地图对图像进行照明重新校准,并通过动态膨胀金字塔模块进行解码以有效地使用图像和深度特征。同时,提出了一种新的数据处理流水线以增加训练数据的多样性。在 VIDIT 数据集上的实验表明,该方案在 NTIRE 2021 深度指导一对一照明挑战赛中达到了 SSIM 和 PMS 方面的第一名。
May, 2021
通过基于单图几何重建的框架实现针对人体的单张图片重照,在去除光照的同时,通过采用经过修改的 HRNet 和基于光线追踪的每像素灯光表示方法,恢复逼真的阴影,展现出包括硬阴影在内的高频阴影效果,优于先前的方法。
Jul, 2022
本研究提出了一种新的 Degradation-to-Refinement Generation Network(DRGN),通过两个步骤研究自然低光图像中的 intrinisic degradation 和 diffuse illumination color loss 的问题,使其具有更好的表现和性能。
Mar, 2021
本文提出了一种分析 - 合成方法 Relit-NeuLF,通过使用两平面光场表示对 4D 坐标系统的每条光线进行参数化,以实现对复杂场景的同时重照和新视角合成;通过自监督学习方法,该方法能够恢复三维场景的空间变化的双向反射分布函数(SVBRDF);通过将每条光线映射到其 SVBRDF 组成部分(漫反射、法线和粗糙度)以及灯光方向的条件,实现光线颜色的合成;综合实验证明,该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能,并且优于最先进的结果。
Oct, 2023
本文提出了一种基于数据驱动的方法,利用预计算辐射传输和球谐光对全身人物图像进行自动换光。与以往工作不同的是,我们通过显式建模散射和镜面反射来消除对 Lambertian 材料的假设,同时引入了基于光的残差项来补偿 PRT 图像重建中的误差。我们提出了一种新的深度学习架构,经过特殊的 PRT 分解训练,并使用 L1、对数和渲染损失的组合进行训练。对于合成图像和照片,我们的模型在全身人类换光方面均优于现有技术。
Jul, 2021
本文提出了一种新的基于 Retinex 的深度学习网络,用于低光条件下的图像增强。该网络包含三个子网络:Decom-Net,Denoise-Net 和 Relight-Net。我们的模型使用了来自图像的空间信息和频率信息,可以在低光条件下取得更鲁棒的结果,并且在高级视觉任务方面具有显著的改善表现。我们还提出了一个大规模真实世界数据集(LSRW 数据集),用于训练模型,展示模型在真实世界场景中具有更好的泛化能力。经过广泛的实验,我们的方法在定量和视觉方面都表现出优于现有状态 - of-the-art 的结果。
Jun, 2021