热红外新视角合成的物理驱动3D高斯模型
我们提出了 GS-IR,一种基于3D高斯零碎描绘的新型逆向渲染方法,利用前向映射体积渲染实现逼真的新视角合成和重新照明结果。我们通过对多视图图像进行捕捉,从未知照明条件中估计场景几何、表面材质和环境照明,克服了先前使用隐式神经表示和体积渲染(如NeRF)的方法在表达能力和计算复杂性上的问题。我们的GS-IR通过引入基于深度推导的法线估计的正则化和基于烘焙的遮挡来模拟间接光照,提出了一个高效的优化方案来解决GS引入逆向渲染时遇到的问题。灵活且具有表现力的GS表示使我们能够实现快速紧凑的几何重建、逼真的新视角合成和有效的基于物理的渲染。通过在各种具有挑战性的场景上进行定性和定量评估,我们证明了我们的方法的优越性。
Nov, 2023
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代3D重建和表示技术带来了潜在的变革。本文首次系统综述了3D高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
通过分析频域中的结构化运动初始化和多个一维高斯回归任务的分析,我们提出了一种名为RAIN-GS(放松3D高斯点云精确初始化约束)的新优化策略,成功地从随机点云训练3D高斯效果,并通过多个数据集进行定量和定性比较,大幅提高了在所有设置中的性能。
Mar, 2024
Neural Radiance Fields (NeRF) accomplishes photo-realistic novel view synthesis by learning the implicit volumetric representation of a scene from multi-view images, while Thermal-NeRF takes thermal and visible raw images as inputs to accomplish visible and thermal view synthesis simultaneously and demonstrates the benefits of both modalities in 3D reconstruction.
Mar, 2024
使用高斯点的方法(GS-W)重建场景,为每个点引入独立的内在和动态外观特征,捕捉不变的场景外貌和动态变化,通过自适应采样策略以及2D可见性图减少瞬态遮挡器的影响。与之前的方法相比,GS-W在渲染速度上提高了1000倍,并展示了更好的重建质量和细节。
Mar, 2024
设计一种新的紧密耦合的LiDAR-Camera高斯扩散(TCLC-GS)方法,充分利用LiDAR和相机传感器的优势,实现快速高质量的3D重建和新视角RGB/深度合成,通过富含上下文信息的3D网格和隐式特征来丰富3D高斯扩散的属性和优化过程。
Apr, 2024
通过学习高保真度的4D高斯点云分割场景表征,自校准相机参数,以及联合优化相机参数和3D结构,我们的方法在4D新视图合成方面展现出了显著的改进。
Jun, 2024
Wild-GS是一种针对无约束的照片集合进行优化的3D高斯粒子着色方法,它通过将引用视图的像素外观特征与相应的局部高斯进行对齐来有效地将高频细节的外观传输到3D空间,并在训练和推断中实现了最高的渲染性能和效率。
Jun, 2024
本研究解决了热成像场景从RGB和热图像重建的挑战,提出了一种新颖的热3D高斯渲染方法(ThermalGaussian),能够同时生成高质量的RGB和热图像。通过引入多模态正则化约束和针对热成像特点的平滑约束,本方法不仅提升了图像渲染质量,还节省了90%的模型存储成本,具有重要的实际应用潜力。
Sep, 2024