可重亮的 3D 高斯函数:使用 BRDF 分解和光线追踪的实时点云重照
在本文中,我们通过使用一组可重新照明的 3D 高斯点来表示点光源照亮的场景,提出了一种新方法。受到 Blinn-Phong 模型的启发,我们的方法将场景分解为环境、漫反射和镜面三个组成部分,实现了逼真的照明效果合成。为了促进与光照条件无关的几何信息的分解,我们引入了一种基于双层优化的元学习框架。基本思想是将各个光照位置下的渲染任务视为多任务学习问题,我们的元学习方法通过在不同视点和不同光照位置中泛化学习到的高斯几何形状,有效地解决了这一问题。实验证明,与现有的自由视点重新照明方法相比,我们的方法在训练效率和渲染质量方面具有较高的效果。
May, 2024
LightGaussian is a novel method for efficient 3D representation that reduces redundancy, distills spherical harmonics, and employs a hybrid quantization scheme, achieving high compression rates and improved FPS in complex scenes.
Nov, 2023
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023
快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的,但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示,特别是 3D 高斯函数。我们对这些渲染器进行扩展,例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外,我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒,并且可以在 GPU 或 CPU 上轻松执行。详细的代码和可视化示例请参见网址:https:// 此处为网址
Aug, 2023
提出了一种使用 3D 高斯逆渲染的方法(GIR),用于重构可重照场景因素。通过使用 3D 高斯估计物体的材料属性、照明和几何结构,相比于现有的离散网格或神经隐式场逆渲染方法,我们的方法在性能、通用性和效率方面具备更大潜力。
Dec, 2023
本文提出了一种新的方法,将点云渲染成表面,该方法可微并且不需要特定于场景的优化,可以用于表面法线估计、渲染全局点云、反向渲染和光线跟踪。通过直接推断给定点云所代表的底层表面与光线的交点,通过训练一个集合转换器可以将局部邻居点与光线的交点、表面法线和材料混合权重结合起来,使用 48 个网格进行模型训练,可应用于未见过的点云上,实现了比现有表面重建和点云渲染方法更高的估计精度。
Apr, 2023
本文提出了一种分析 - 合成方法 Relit-NeuLF,通过使用两平面光场表示对 4D 坐标系统的每条光线进行参数化,以实现对复杂场景的同时重照和新视角合成;通过自监督学习方法,该方法能够恢复三维场景的空间变化的双向反射分布函数(SVBRDF);通过将每条光线映射到其 SVBRDF 组成部分(漫反射、法线和粗糙度)以及灯光方向的条件,实现光线颜色的合成;综合实验证明,该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能,并且优于最先进的结果。
Oct, 2023
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
使用可变形 3D 高斯方法进行动态场景重建,将高斯飞溅效果扩展以适应通过多层感知器定义的时间相关变形场的可变形高斯集合的表示,同时使用静态高斯点云允许多层感知器集中其表示能力,最终优化得到与状态最前沿的动态神经辐射场方法相媲美且具有更快的优化和渲染速度。
Dec, 2023