神经光传输用于重光与视图合成
该论文提出了一种新的框架,使用虚拟成像系统来估算非直视成像场景下的光传输矩阵(Light transport matrix),克服了非直视成像装置的开口角限制,并且通过该光传输矩阵可以实现对隐蔽场景中某些特定位置(indirect illumination)的再照明以及直接、一阶和更高阶间接光照明(illumination)的分离,类似于现有的直视成像技术。
Mar, 2021
本文提出了一种基于四维光场表示的双阶段变压器模型,旨在弥合几何重建和经典光场渲染之间的差距,通过强制约束几何约束,使得场景几何隐含在稀疏的视角学习中,并在多个前向和 360 度数据集上超越了最先进技术,尤其是在视角变化剧烈的情况下。
Dec, 2021
本文提出了一个称之为 Relighting4D 的结构化框架,通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场,进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证,我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离,实现无限可调的动态换背景。
Jul, 2022
本文提出了一种分析 - 合成方法 Relit-NeuLF,通过使用两平面光场表示对 4D 坐标系统的每条光线进行参数化,以实现对复杂场景的同时重照和新视角合成;通过自监督学习方法,该方法能够恢复三维场景的空间变化的双向反射分布函数(SVBRDF);通过将每条光线映射到其 SVBRDF 组成部分(漫反射、法线和粗糙度)以及灯光方向的条件,实现光线颜色的合成;综合实验证明,该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能,并且优于最先进的结果。
Oct, 2023
本文研究基于物理学原理的图像形成模型的深度学习架构,包括去除图像光线和校正漏光,并应用到肖像摄影数据库中。结果表明,该模型可以实现精确和可信的照明结果,并且可以推广到复杂的光照条件和挑战性姿势,包括主体未直视相机。
Jun, 2019
本研究提出了一种新颖的神经隐式亮度表示方法,用于从一小组不规则的物体照片中进行自由视角重照。我们通过多层感知器将形状表示为有符号距离函数。与先前的隐式神经重照方法不同,我们没有分离不同的反射分量,而是通过第二个多层感知器在每个点上模拟局部和全局反射,并融合阴影和高光提示来辅助网络对应的高频光传输效果建模。在合成和真实场景中展示和验证了我们的神经隐式表示方法,这些场景具有各种形状、材料属性和全局光照传输。
Aug, 2023
该研究提出了一种基于学习的解决方案,用于对来自灯光舞台的人脸扫描进行超分辨率处理,以便在查询位置生成逼真的阴影和高光,同时避免由于舞台灯光采样不足而导致的伪影等众多偏差。
Oct, 2020