MAIR: 多视角注意力逆渲染技术与三维空间变异照明估计
本文提出了一种用于室内场景的统一、基于学习的逆渲染框架,包括反照率、法线、深度和三维空间变化的照明的联合估计,其中设计了一种基于物理学的可微渲染器,利用我们的三维照明表示,形成能量守恒的图像形成过程,实现所有内在属性的联合训练,以重新渲染约束保证物理正确性,实验表明,该方法在量化和质量上优于之前的工作,能够为增强现实应用(例如虚拟物体插入)产生逼真的结果,即使对于高度镜面的物体也是如此。
Sep, 2021
提出了一种深度反渲染框架,用于室内场景的重建和估计形状、光照和面反射率,实现了提高渲染质量,从而在增强现实等领域具有广泛应用。
May, 2019
本文介绍了如何使用完全卷积神经网络从单个未受控制的图像中恢复场景的形状,反射和照明。通过在包含丰富照明变化的图像上执行离线多视图立体(MVS)和学习统计自然照明先验,我们可以获得额外的监督,并在反渲染和其他基准测试中评估其性能。
Feb, 2021
本文提出了一种高效的多视角逆向呈现方法,可以重建大规模室内场景的全局间接光照和物理合理的 SVBRDF,通过所提出的 Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示,并基于 TBL 提出了一种预计算辐照度的混合光照表示,通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义,实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法,并启用了物理合理的增强现实应用,如材质编辑,可编辑的新视角合成和重新照明。
Nov, 2022
从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法,能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法,分为两个阶段。在初始化阶段,我们使用传统的 SfM(结构光型三维重建)和 MVS(多视角立体匹配)方法来大致重建与实际场景相匹配的虚拟场景。然后,在优化阶段,我们采用混合方法来优化几何和反射率,其中几何首先使用近似可微渲染方法进行优化,然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明,我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。
Aug, 2023
该研究提出一种终端到端的学习逆渲染框架,利用可微分 Monte Carlo 光线追踪结合重要性采样,从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入,创建大规模室内场景数据集,设计一种新颖的场外灯光网络进行评估,呈现出与业界最先进基线方法相比提高了的反向渲染质量,可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。
Nov, 2022
通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题,我们提出了一种新的 3D 重构框架,该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法,并在定量和定性评估中展示了其卓越性能,从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比,我们将 Chamfer 距离误差降低了约 36%,将 PSNR 提高了约 30%。
Jan, 2024