神经网络重建形状、材质和光照
该研究提出了一种反渲染模型,可以从一对仅捕获到的半透明物体的图像中,联合预测 3D 形状、可变反射率、均匀次表面散射参数和环境光照。研究者还使用了基于物理和神经渲染器来解决反渲染中的模糊问题,并构建了庞大的合成数据集来验证模型的有效性。
May, 2023
本文提出了一种新颖的反射率分解网络,通过使用 Neural-PIL 替换昂贵的照明积分操作和使用平滑流形自编码器学习深度低维表现,实现了物体图像的形状、BRDF 和每个图像的照明的估计,得到的分解结果可有效地提高 BRDF 和光估计的准确性,实现更准确的新视图合成。
Oct, 2021
本文提出了一种新方法,使用预积分渲染有效地学习可重构的神经表面,同时在神经隐式场内学习几何、材料和照明等物理属性,并在协作上进行优化,实现了在合成和真实数据集中超越现有技术的效果。
Jun, 2023
本研究提出了一种用于光度立体图像的卷积神经网络结构,通过物理学建模的无监督学习框架,可以进行表面法线和反射率预测,并且在实际场景中达到了最先进的性能表现。
Feb, 2018
本文旨在解决在未知物体形状、物体反射率和光照方向的情况下进行三维物体重建的任务,提出了一种新的利用神经反演渲染和渐进式反射率基础来解决未标定光度测量问题的方法。该方法在真实世界数据集上表现出最先进的精度。
Jul, 2022
我们使用深度图像先验网络(DIP)和鲁棒特征提取网络,通过只使用两个图像在目标环境中以一致的方式渲染源片段,实现了在需求背景下插入所需对象的方法。与基准方法(如剪切和粘贴、剪切和粘贴神经渲染、图像协调等)相比,我们的方法不需要配对标记的数据和大量训练数据,通过定性指标进行了比较。
Jan, 2024
本文提出了一种新的神经网络基于 BRDF 模型和贝叶斯框架,用于从一个已知几何物体的单个图像中联合估计反射和自然照明。该模型用可逆神经网络表达反射率,利用高维表示的表达能力,紧凑分析模型的计算简洁性和真实世界 BRDF 的物理可行性。实验表明,这种神经网络可帮助解决具有挑战性的辐射反问题。
Aug, 2020
本文提出了一种使用神经渲染框架的方法,通过利用预测的深度数据和光源分割掩模,从单个图像中编辑复杂室内照明,解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题,其特点在于综合使用场景重建和参数化 3D 照明的方法。
May, 2022
本文基于目前成功的体积神经渲染,提出了一种新的灯光表示方法来解决物理基础渲染中的限制,并使用 BRDF 模型和细节表面 / 次表面散射,开发出全新的神经肌肤着色器,其性能和质量得到了充分的实验验证。
Apr, 2023
提出了一种方法,通过逆向渲染的物理原理来约束解决方案,同时利用神经网络来增强处理的计算能力,以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计,从而在 AR 情境下实现真实感增强。
Aug, 2020