IRIS:从低动态范围图像中反渲染室内场景
本文提出了一种使用神经渲染框架的方法,通过利用预测的深度数据和光源分割掩模,从单个图像中编辑复杂室内照明,解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题,其特点在于综合使用场景重建和参数化 3D 照明的方法。
May, 2022
本文提出了一种基于学习的方法,通过手机相机拍摄的低动态范围图像推断出高动态范围、全方位光照。通过使用不同反射功能材料在单个曝光中显示不同的光照提示,我们训练深度神经网络从低动态范围背景图像回归到 HDR 照明。通过图像重照操作,我们与预测光照匹配,实现了渲染虚拟物体进入现实环境中。与现有技术相比,我们对自动曝光和白平衡视频进行训练,提高了室内外场景渲染对象的真实感。
Apr, 2019
提出了一种使用多视角图像将场景分解为几何形状、SVBRDF 和三维空间变化的灯光的场景级反渲染框架,该框架通过扩展 OpenRooms 数据集和设计有效的流程来处理多视角图像并分割灯光实现了比基于单视图的方法更好的性能,并可在任意 3D 位置进行逼真的物体插入。
Mar, 2023
本文提出了一个自动方法,通过使用一个有限的视野、低动态范围的室内场景的照片来推断高动态范围的照明。通过使用深度神经网络,我们训练了一个分类器来自动注释 LDR 环境地图中光源的位置,然后利用这些注释来预测场景中光的位置,从而 fine-tune 这个网络来预测每个光源的强度,可以自动获得高质量的 HDR 照明估计结果,从而可以实现逼真的照片级结果。
Apr, 2017
提出了一种深度反渲染框架,用于室内场景的重建和估计形状、光照和面反射率,实现了提高渲染质量,从而在增强现实等领域具有广泛应用。
May, 2019
本文提出了一种高效的多视角逆向呈现方法,可以重建大规模室内场景的全局间接光照和物理合理的 SVBRDF,通过所提出的 Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示,并基于 TBL 提出了一种预计算辐照度的混合光照表示,通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义,实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法,并启用了物理合理的增强现实应用,如材质编辑,可编辑的新视角合成和重新照明。
Nov, 2022
本文提出了一种基于学习的逆向渲染方法,通过构建 Residual Appearance Renderer(RAR)来综合估计户内场景的反射率、法线和照明,使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明,该方法优于已有的估计一种或多种场景属性的最先进方法。
Jan, 2019
该研究论文提出了一种基于深度学习的方法,用于从阴影和高光中恢复复杂细节以及重建高动态范围图像,通过图像到图像转换任务,提出了一种基于条件性去噪扩散概率模型(DDPM)的框架,并在该框架中结合了深度卷积神经网络(CNN)的自编码器来提高用于条件化的输入 LDR 图像的潜在表征质量,此外引入了一种新的损失函数来改善 LDR-HDR 转换任务的结果质量。通过全面的定量和定性实验,有效地展示了该方法的优越性,结果表明简单的基于扩散的条件方法可以取代复杂的基于相机管线的架构。
Jul, 2023
本文提出了一种用于室内场景的统一、基于学习的逆渲染框架,包括反照率、法线、深度和三维空间变化的照明的联合估计,其中设计了一种基于物理学的可微渲染器,利用我们的三维照明表示,形成能量守恒的图像形成过程,实现所有内在属性的联合训练,以重新渲染约束保证物理正确性,实验表明,该方法在量化和质量上优于之前的工作,能够为增强现实应用(例如虚拟物体插入)产生逼真的结果,即使对于高度镜面的物体也是如此。
Sep, 2021
本文提出了一种新颖的逆向色调映射方法,通过基于语义感知的扩散补全方法在遮罩区域中生成丢失的剪切区域的细节,并借鉴传统的 HDR 成像和曝光方法,提出了一种与生成式补全方法兼容的将 SDR 补全区域提升为 HDR 图像的原则式公式。结果表明,我们的方法在客观指标上展现出卓越的性能,并且主观实验表明,所提出的方法在视觉保真度方面与最先进的逆向色调映射算子相匹配(在大多数情况下超越)和超过它们。
May, 2024