热高斯:热3D高斯渲染
我们提出了三个关键要素,可实现高质量的实时(大于等于30帧/秒)1080p分辨率的新视图合成,其中包括使用3D高斯函数表示场景、优化3D高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023
我们提出了一种从稀疏训练视角中训练一致的基于3DGS的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在MipNeRF-360数据集上以较少的训练和推理成本超过了基本的3DGS的30.5%和基于NeRF的方法的15.6%。
Nov, 2023
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代3D重建和表示技术带来了潜在的变革。本文首次系统综述了3D高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
我们提出了一种基于神经辐射场的新型多模态方法ThermoNeRF,能够联合渲染场景的新的RGB和热像视图,并通过使用配对的RGB和热像图像来学习场景密度,而独立的网络用于估计颜色和温度信息。此外,我们还引入了一个新的数据集ThermoScenes来弥补可用的RGB+热像数据集的不足,实验证实ThermoNeRF能够实现准确的热像合成,平均绝对误差为1.5℃,相比于使用拼接的RGB+热像数据的Nerfacto方法,提高了50%以上。
Mar, 2024
Neural Radiance Fields (NeRF) accomplishes photo-realistic novel view synthesis by learning the implicit volumetric representation of a scene from multi-view images, while Thermal-NeRF takes thermal and visible raw images as inputs to accomplish visible and thermal view synthesis simultaneously and demonstrates the benefits of both modalities in 3D reconstruction.
Mar, 2024
通过矩阵和张量分解技术,我们提出了一种新方法,即因式化三维高斯粒子点描(F-3DGS),通过高效的因式化,大大减少了存储需求,同时保持了渲染图像的质量。
May, 2024
通过提出的RefGaussian方法,可以从3D-GS中解离出反射,以更真实地建模反射。实验证明,我们的方法在新视角合成和准确深度估计方面取得了优越的结果,同时支持场景编辑应用,确保高质量的结果和物理一致性。
Jun, 2024
本研究解决了3D高斯点云渲染中高保真度图像所需的高内存和存储的问题。通过提出可学习的掩码策略和基于网格的神经场表示,显著减少了高斯点的数量,同时保持性能表现。我们的方法在静态场景中存储需求降低超过25倍,并在动态场景中实现超过12倍的存储效率,同时保持高质量重建。
Aug, 2024
本文解决了热红外成像在复杂场景重建中的细节模糊和边缘不清的问题,通过提出一种物理驱动的3D高斯点云表示方法——Thermal3D-GS,该方法利用神经网络建模大气传输效应和热传导,并结合温度一致性约束。此外,本文创建了第一个大规模热红外新视角合成数据集TI-NSD,实验证明Thermal3D-GS在PSNR上提高了3.03 dB,有效改善了合成图像的质量。
Sep, 2024