开放式办公空间的视图亮度映射
提出了一种深度反渲染框架,用于室内场景的重建和估计形状、光照和面反射率,实现了提高渲染质量,从而在增强现实等领域具有广泛应用。
May, 2019
本文提出了一种从单个视角图像中估算室内场景照明的方法,该方法估算出易于编辑的参数化光源,并结合高频信息的非参数纹理,实现宏观阴影和细节表面反射的逼真渲染效果。定量和定性结果表明,该方法简化了室内照明估算过程,同时仍能产生竞争性的结果。
Nov, 2022
本文提出了一种高效的多视角逆向呈现方法,可以重建大规模室内场景的全局间接光照和物理合理的SVBRDF,通过所提出的Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示,并基于TBL提出了一种预计算辐照度的混合光照表示,通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义,实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法,并启用了物理合理的增强现实应用,如材质编辑,可编辑的新视角合成和重新照明。
Nov, 2022
本研究提出了一种将参数化的灯光模型与360度全景图相结合的方法,该方法使用最新的基于GAN的LDR全景图延伸技术,提供可编辑的室内外环境下的HDR灯光,从而实现建模的高度逼真性和场景编辑的易用性。
Apr, 2023
OpenIllumination是一个包含108k多个图像的真实世界数据集,其中包括64个对象,具有不同的材料,在72个摄像机视图和大量不同的光照条件下捕获。我们提供了数据集中每个图像的准确相机参数、光照真值和前景分割掩码。该数据集可以对大多数反渲染和材料分解方法进行定量评估,并对数据集上的几种先进的反渲染方法进行了比较。数据集和代码可以在项目页面上找到:this https URL
Sep, 2023
使用多视角航拍图像,通过神经符号距离场重建立面的几何形状、光照和材质,从而实现基于物理和照片般逼真的新视角渲染、重照和编辑。通过引入三种自适应优化策略,包括基于零样本分割技术的语义正则化方法来改善材料一致性,基于频率感知的几何正则化来平衡不同表面的表面光滑性和细节,以及基于可见性探针的方案来实现大规模户外环境中局部照明的有效建模。实验结果通过与最先进的基线方法进行比较,展示了我们的方法在立面整体反渲染、新视角合成和场景编辑方面的卓越质量。
Nov, 2023
我们提出了一种新颖的反渲染方法,可以在自然照明下将现有室内全景图转换为新的室内家具布局。通过拍摄室内HDR全景图和实时室外半球HDR照片,我们采集了室内和室外HDR图像,并根据测定的绝对亮度值进行线性校准以获得准确的场景重光。我们的方法包含三个关键部分:全景家具检测和去除、自动地板布局设计以及具有场景几何、新家具对象和实时室外照片的全局渲染。我们展示了我们的工作流程在不同室外照明条件下渲染室内场景的有效性。此外,我们还贡献了一个新的经过校准的HDR(Cali-HDR)数据集,其中包含137个校准的室内全景图及其相应的室外照片。源代码和数据集可在此链接上获得:this https URL
Nov, 2023
神经辐射场在建模3D场景的外观方面取得了显著的性能,然而,现有方法在建模具有光泽表面的视角相关外观时仍存在困难,特别是在复杂照明的室内环境下。与现有方法不同的是,我们提出了一种可学习的高斯方向编码,以更好地模拟近场照明条件下的视角相关效果。重要的是,我们的新方向编码捕捉到近场照明的空间变化特性,并模拟预过滤环境贴图的行为。因此,它能够在具有不同粗糙度系数的任意3D位置有效评估预卷积的高光颜色。我们还引入了一种数据驱动的几何先验,帮助缓解反射建模中形状辐射的歧义。我们展示了我们的高斯方向编码和几何先验显著提高了神经辐射场中具有挑战性的高光反射的建模,从而将外观分解为更有物理含义的组成部分。
Dec, 2023
使用全景三维估计方法进行照明模拟的研究,不需要详细的建模输入,通过对比全景和鱼眼透视图中现场HDR照片、三维估计模型和详细模型之间的亮度误差来评估模拟结果,结果表明所选场景下估计的房间布局可靠用于照明模拟。
Mar, 2024