本文提出了一种分析-合成方法Relit-NeuLF，通过使用两平面光场表示对4D坐标系统的每条光线进行参数化，以实现对复杂场景的同时重照和新视角合成；通过自监督学习方法，该方法能够恢复三维场景的空间变化的双向反射分布函数（SVBRDF）；通过将每条光线映射到其SVBRDF组成部分（漫反射、法线和粗糙度）以及灯光方向的条件，实现光线颜色的合成；综合实验证明，该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能，并且优于最先进的结果。

Oct, 2023

我们介绍了pixelSplat，这是一个前馈模型，可以从图像对中学习重建由3D高斯基元参数化的3D辐射场。我们的模型具有实时和内存高效的渲染，可进行可扩展训练和快速3D重建。为了克服稀疏和局部表示固有的局部最小值问题，我们预测了3D上的密集概率分布，并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分，从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的RealEstate10k和ACID数据集上对我们的方法进行了广泛的基线新视角合成基准测试，表明我们在重建可解释和可编辑的3D辐射场时，胜过现有最先进的光场转换器，并且加快了渲染速度2.5个数量级。

Dec, 2023

我们介绍了GRM，一个能够从稀疏视图图像中在大约0.1秒内恢复3D资产的大规模重构器。GRM是一个前馈变换器模型，能够高效地将多视图信息结合起来，将输入像素翻译成像素对齐的高斯分布，通过反投影生成一系列密集分布的3D高斯分布来表示场景。我们的变换器架构和使用3D高斯分布的方法共同构成了一个可扩展且高效的重构框架。广泛的实验结果证明，我们的方法在重构质量和效率方面优于其他替代方法。我们还展示了GRM在生成任务中的潜力，即将其与现有的多视图扩散模型集成，如文本到3D和图像到3D。有关我们的项目网站，请访问：this https URL

Mar, 2024

通过使用图像扩散模型对输入图像进行重新照明，并利用这些重新照明的图像重建神经辐射场（NeRF），我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示，并在多个重新照明基准测试中取得了最新的结果。

Jun, 2024

该研究介绍了一种名为几何感知大型重建模型（GeoLRM）的方法，该方法可以使用512k个高斯函数和21个输入图像在仅需11 GB的GPU内存中预测高质量的资源。该模型通过引入一种新颖的三维感知变换器结构和可变形交叉注意机制来解决现有方法在表达低分辨率和提高质量的密集视图方面的局限性，实现了三维结构和二维图像之间的有效融合，并在三维生成任务中表现出显著的性能优势。

Jun, 2024

本研究解决了传统逆向渲染方法在建模光线和材料参数方面的不足。提出了一种渐进辐射蒸馏的方法，通过自适应调整辐射场的指导，提高了渲染质量和重光照效果。实验结果表明，该方法在新视角合成和重光照任务上显著优于现有最先进技术。

Aug, 2024

本研究解决了在单一光照条件下多视图数据中重照明光照场的不足问题。通过利用从二维图像扩散模型提取的先验信息，提出了一种新的方法来创建可重照明的光照场，并展示了该方法可以有效地利用二维扩散模型的先验，实现在完整场景下的逼真3D重照明。研究结果表明，该方法在单一光照条件下的合成和现实多视图数据上实现了良好的效果。

Sep, 2024

本研究解决了在单一光照条件下捕获的多视角数据中辐射场重照明受到严重约束的问题。作者提出了一种利用2D图像扩散模型提取的先验信息，在单光照数据上创建可重照明辐射场的方法，展示了该方法能够实现完整场景的真实3D重照明效果，潜在地推动了计算机视觉和图形学领域的进步。

Sep, 2024

本文提出RelitLRM，一种大型重建模型，用于从稀疏的姿态图像生成高质量的高斯点云表示，解决了传统逆渲染方法需要密集捕获和缓慢优化的问题。通过采用前馈变换器模型及新颖的几何重建和重光照外观生成器组合，RelitLRM有效分解几何形状和外观，实现材质与光照的模糊消解，并以更快的速度提供与最先进的密集视图优化基线相当的重光照效果。

Oct, 2024

本研究解决了实时高质量新光照和视图合成中的复杂外观表征问题。我们提出了一种基于空间和角度的高斯表示法，以及三重点溅射过程，有效地对每个空间高斯进行反射函数描述，并通过深度学习方法优化阴影和全局照明效果。我们的成果在多种几何和外观输入数据上展现出优越的效果，训练时间和渲染速度在业界处于领先水平。

Oct, 2024