神经自由视点光泽间接照明照明
本研究提出了一种新颖的神经隐式亮度表示方法,用于从一小组不规则的物体照片中进行自由视角重照。我们通过多层感知器将形状表示为有符号距离函数。与先前的隐式神经重照方法不同,我们没有分离不同的反射分量,而是通过第二个多层感知器在每个点上模拟局部和全局反射,并融合阴影和高光提示来辅助网络对应的高频光传输效果建模。在合成和真实场景中展示和验证了我们的神经隐式表示方法,这些场景具有各种形状、材料属性和全局光照传输。
Aug, 2023
本文提出了一种基于图像的光传输获取方法,通过学习一种嵌入基于纹理图集的神经表示,将所有的非漫反射和全局光传输建模为添加到基于物理精度的漫反射基本渲染的残差项。其中,通过融合先前看到的不同光源和观察角度来合成同一场景下所需照明条件下的新图像,从而实现可以复杂地重现场景或仿佛真实的改变其外观。
Aug, 2020
本文提出了一种基于数据驱动的方法,利用预计算辐射传输和球谐光对全身人物图像进行自动换光。与以往工作不同的是,我们通过显式建模散射和镜面反射来消除对 Lambertian 材料的假设,同时引入了基于光的残差项来补偿 PRT 图像重建中的误差。我们提出了一种新的深度学习架构,经过特殊的 PRT 分解训练,并使用 L1、对数和渲染损失的组合进行训练。对于合成图像和照片,我们的模型在全身人类换光方面均优于现有技术。
Jul, 2021
我们提出了一种成像和神经渲染技术,旨在从新颖的移动视角合成通过场景传播的光的视频。我们的方法依赖于一种新的超快成像设备,用皮秒级时间分辨率捕捉首个多视角视频数据集。结合该数据集,我们引入了一种基于瞬态场的高效神经体渲染框架。该场被定义为从三维点和二维方向到表示超快时间尺度下时变辐射度的高维离散时间信号的映射。使用瞬态场进行渲染可以自然地考虑光的有限速度带来的效应,包括由于光传播延迟到相机而引起的视点相关外观变化。我们渲染了一系列复杂效果,包括散射、镜面反射、折射和衍射。此外,我们通过时间扭曲过程演示了去除视点相关传播延迟、相对论效应的渲染以及直接和全局光传输的视频合成。
Apr, 2024
本文介绍了一种基于小波分解的编码器 - 解码器网络,命名为 WDRN,用于解决一对一的照明重新校准问题,提出了一种名为 gray loss 的新型损失函数以保证对地真图像中照明的梯度在不同方向上的高效学习,该方案在 AIM2020 工作坊的 relighting 挑战活动中获得了第一名。
Sep, 2020
本文提出了一种新颖的可重光的神经渲染器(RNR),可以使用多视图图像输入进行同时视图合成和重光。与现有的神经渲染(NR)不同,RNR 明确建模物理渲染过程,从而提高了调光的能力,并提高了视图合成的质量。对合成和真实数据的全面实验表明,RNR 为进行自由视点重光提供了实用有效的解决方案。
Nov, 2019
本文提出了一种新方法,使用预积分渲染有效地学习可重构的神经表面,同时在神经隐式场内学习几何、材料和照明等物理属性,并在协作上进行优化,实现了在合成和真实数据集中超越现有技术的效果。
Jun, 2023
通过使用图像扩散模型对输入图像进行重新照明,并利用这些重新照明的图像重建神经辐射场(NeRF),我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示,并在多个重新照明基准测试中取得了最新的结果。
Jun, 2024
本文提出了一个称之为 Relighting4D 的结构化框架,通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场,进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证,我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离,实现无限可调的动态换背景。
Jul, 2022