混合光：借用球面谐波和高斯模型的优点

Apr, 2024

混合光：借用球面谐波和高斯模型的优点

MixLight: Borrowing the Best of both Spherical Harmonics and Gaussian Models

Xinlong Ji, Fangneng Zhan, Shijian Lu, Shi-Sheng Huang, Hua Huang

TL;DR利用 Spherical Harmonic（SH）和 Spherical Gaussian（SG）的互补特性，本研究提出了一种名为 MixLight 的联合模型，能更准确地估计场景照明，其中 SH 用于捕捉低频环境光，SG 用于捕捉高频光源。此外，还设计了一种特殊的球形光源 sparsemax（SLSparsemax）模块，用于改善光源的稀疏性。大量实验证明 MixLight 在多个指标上超过了最先进的方法，并且在 Web 数据集上的实验表明，作为参数化方法，MixLight 具有比非参数化方法更好的泛化性能。

Abstract

Accurately estimating scene lighting is critical for applications such as mixed reality. Existing works estimate illumination by generating illumination maps or regressing illumination parameters. However, the method of generating illumination maps has poor generalization performance a

scene lighting illumination estimation mixlight spherical harmonic spherical gaussian

发现论文，激发创造

PointAR：移动增强现实的高效照明估计

本篇论文提供了一个适用于现代移动设备的高效照明估计流程，称为 PointAR。该方法基于点云，可用于支持空间变异的室内照明，具有与移动特定 DNN 相当的资源复杂度。PointAR 具有比现有方法更低的光照估计误差。

Mar, 2020

EMLight: 球形分布近似下的光照估计

使用 EMLight 框架，将光照地图分解为球形光分布、光强度和周围环境项，并利用回归网络和神经投影仪进行精确的光照估计，该方法准确性高且比现有方法在 3D 对象嵌入中生成更具可信度和保真度的光照地图。

Dec, 2020

快速的空间变化室内照明估计

本研究提出了一种实时方法来从单个 RGB 图像估计空间变化的室内照明，使用一个 CNN 模型，它可以在少于 20ms 的时间内在笔记本电脑移动图形卡上预测给定位置处的照明情况，并且不需要任何几何信息，可以直接用于增强现实应用，可以实时在场景中的任何位置更改虚拟物体的光照效果。经过定量实验和用户研究，我们的方法比现有方法具有更低的照明估计误差和更好的用户体验。

Jun, 2019

一般光照条件下的变分未校准光度立体重建

本文提出了一种高效的原则性变分方法来进行低限制的反射光照下未校准的 Photometric Stereo 技术，其中近似于通过球形谐波展开的兰伯特反射模型，通过单个变分问题来联合恢复形状，反射和光照。

Apr, 2019

基于球形高斯函数的物理反渲染用于材料编辑和重新照明

本研究提出了一种端到端的反演渲染管道，该管道包括可完全不可微的渲染器，可以从一组 RGB 输入图像重新构建几何，材料和照明，并使用球形高斯混合表示光谱 BRDF 和环境光，并将几何表示为一个多层感知器参数化的有符号距离函数。使用球形高斯函数使我们能够有效地求解近似光传输问题，并且我们的方法适用于在自然的静态照明下捕获的具有挑战性的非 Lambertian 反射场景。我们证明了我们的重构不仅使新视点的渲染成为可能，而且还可以对材料和照明进行物理基础的外观编辑。

Apr, 2021

GS-Phong：元学习的三维高斯函数用于可重照的新视点合成

在本文中，我们通过使用一组可重新照明的 3D 高斯点来表示点光源照亮的场景，提出了一种新方法。受到 Blinn-Phong 模型的启发，我们的方法将场景分解为环境、漫反射和镜面三个组成部分，实现了逼真的照明效果合成。为了促进与光照条件无关的几何信息的分解，我们引入了一种基于双层优化的元学习框架。基本思想是将各个光照位置下的渲染任务视为多任务学习问题，我们的元学习方法通过在不同视点和不同光照位置中泛化学习到的高斯几何形状，有效地解决了这一问题。实验证明，与现有的自由视点重新照明方法相比，我们的方法在训练效率和渲染质量方面具有较高的效果。

May, 2024

GMLight：通过几何分布近似进行光照估计

本论文提出了一种利用回归网络和生成投影仪的几何移动灯光（GMLight）估计框架，通过对光线分布、光强度、环境项和辅助深度参数化来实现高度准确的照明估计，并利用生成投影仪合成具有现实外观和高频细节的全景照明贴图。

Feb, 2021

Intrinsic3D：高质量的 3D 重建，通过联合外观和几何优化，带有空间变化照明

本文提出一种新的方法，可同时优化几何编码、纹理以及材料和场景照明，以从消费级 RGB-D 传感器中获得高质量的 3D 重建。

Aug, 2017

球面传输损失下的稀疏小针灯估计

本文介绍一种新的光照估计模型 NeedleLight，其中需要用到 needlets 来表示照明，并允许同时在频域和空间域进行照明估计。通过设计最优阈值函数来实现稀疏的 needlets，并利用基于最优输运理论的新型球形传输损失来指导对空间信息的考虑。在实验中，该模型的估计能力在多个评估指标下均优于其他先进方法。

Jun, 2021

用 3DGS 照亮每个黑暗：快速训练和实时渲染用于 HDR 视图合成

LE3D 通过引入三维高斯散射、锥形散射初始化、颜色 MLP 和深度失真及近远程规范化方法，实现了基于体积渲染的实时新视角合成、HDR 渲染、重点调整和色调映射，同时降低了训练时间和提高了渲染速度。

Jun, 2024