自我进化的深度监督3D高斯点阵生成方法:基于渲染立体配对
通过引入密集深度图,用于减轻过拟合问题,我们提出了一种方法来优化具有有限图像数量的高斯喷洒。我们通过将众多高斯喷溅结合起来表示3D场景,取得了出色的视觉效果。我们使用预训练的单目深度估计模型获取深度图,然后通过稀疏COLMAP特征点对其进行缩放和偏移的调整。调整后的深度图有助于基于颜色的3D高斯喷溅优化,减轻浮动伪影并确保符合几何约束。我们在具有不同数量的少量图像的NeRF-LLFF数据集上验证了该方法,与仅依赖图像的原始方法相比,我们的方法展示了稳健的几何性能。
Nov, 2023
我们提出了一种紧凑的场景表示方法,将三维高斯扩散模型的参数组织成具有局部均匀性的二维网格,从而实现了存储需求的大幅度降低,同时在渲染过程中不影响视觉质量。
Dec, 2023
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代3D重建和表示技术带来了潜在的变革。本文首次系统综述了3D高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
通过应用渐进传播策略,并利用场景的先验知识和块匹配技术,我们提出了一种名为GaussianPro的新方法,来指导3D高斯聚类的密度化,验证实验证明了我们的方法在大规模和小规模场景上的有效性。
Feb, 2024
通过使用三维高斯图案生成器更新辐射场,本研究论文解决了对象去除的复杂挑战,主要挑战在于在高斯图案的离散性质中保持几何一致性和纹理协调性。通过优化高斯图案的定位以提高去除区域和可见区域的几何一致性,再结合跨注意力设计的新颖特征传递机制来增强纹理协调性,该创新方法在最终辐射场中显著提高了纹理协调性。广泛的实验证实了我们的方法不仅提升了对象去除场景的新视图合成质量,而且在训练和渲染速度上也具有显著的效率提升。
Apr, 2024
提出了一种能够隐式编码场景几何结构的结构感知高斯喷洒方法 (SAGS),通过基于本地-全局图表示促进复杂场景的学习并强制保持场景几何的有意义的点位移,与现有的 3D-GS 方法相比,在渲染质量和模型大小两方面都展现出卓越的性能,能够有效减轻之前方法的浮点和图像失真问题,并获得精确的深度图。
Apr, 2024
通过将不同可分辨外观模型与显式几何表示相结合,我们提出了一种可学习的场景模型,用于准确重构包含显式几何信息的三维场景,实验结果表明,该模型不仅在渲染质量方面达到了最新水平,而且还支持使用显式网格进行操作,并且具有适应场景更新的独特优势。
May, 2024
3D高斯splatting在实时新视图合成中表现出令人印象深刻的性能。本论文提出了一种新颖的方法,利用具有集成不确定性估计的深度先验来监督3D高斯分布,以解决稀疏输入视图的挑战,并集成了一个基于补丁的最优运输策略来补充传统L2损失进行深度监督,通过在LLFF、DTU和Blender数据集上进行广泛实验,证明了我们的方法UGOT在新视图合成方面取得了卓越成果,并始终优于现有方法。
May, 2024
高斯飞溅在新视角合成方面已被证明具有很高的效果,但对于重建细节丰富的3D形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用3D高斯飞溅的深度图和表面法线图,大大提高了形状重建的准确性,并保持高斯飞溅的计算效率。该方法在DTU数据集上达到与NeuraLangelo相当的Chamfer距离误差,并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展,可以直接集成到现有的基于高斯飞溅的方法中。
Jun, 2024