MeshGS:自适应网格对齐的高质量高斯喷溅渲染
我们提出了一种方法,可以从3D高斯散点图中精确且非常快速地提取网格。该方法使用高斯散点图进行实际渲染,相较于NeRFs具有更快的训练速度。我们首先引入了一个鼓励高斯散点图与场景表面对齐的正则项,然后利用此对齐性通过Poisson重建方法从高斯散点图中提取网格,该方法快速、可扩展且能保留细节信息,与通常用于从神经隐式函数中提取网格的Marching Cubes算法形成对比。最后,我们引入了可选的优化策略,通过高斯散点图渲染将高斯散点图与网格表面绑定,在传统软件中通过操纵网格而非高斯散点图本身实现了易于编辑、雕刻、绑定、动画制作、合成和调光。与基于神经隐式函数的最先进方法相比,我们的方法可在几分钟内获取逼真渲染所需的可编辑网格,而不是使用数小时。同时,我们的方法提供更好的渲染质量。
Nov, 2023
最近几年,引入了一系列基于神经网络的图像渲染方法。其中,被广泛研究的神经辐射场(NeRF)依靠神经网络来表示三维场景,可以从少量的二维图像中合成逼真的视图。然而,大多数NeRF模型在训练和推理时间上都受到限制。相比之下,高斯喷洒(GS)是一种新颖的、领先技术的渲染点的技术,通过高斯分布来近似它们对图像像素的贡献,从而保证快速训练和实时渲染。GS的一个缺点是缺乏对其条件的明确定义,因为需要对几十万个高斯分量进行条件建模。为了解决这个问题,我们引入了高斯网格喷洒(GaMeS)模型,它是网格和高斯分布的混合形式,在物体表面(网格)上固定所有高斯喷洒。我们方法的独特之处在于,仅根据高斯喷洒在网格上的位置来定义,允许在动画过程中自动调整位置、比例和旋转。因此,我们实现了在实时生成高质量视图方面的高质量渲染。此外,我们证明在没有预定义网格的情况下,可以在学习过程中调整初始网格。
Feb, 2024
通过应用渐进传播策略,并利用场景的先验知识和块匹配技术,我们提出了一种名为GaussianPro的新方法,来指导3D高斯聚类的密度化,验证实验证明了我们的方法在大规模和小规模场景上的有效性。
Feb, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的3D高斯喷涂方法进行文献综述,提供了一个3D高斯喷涂方法的分类,包括3D重建、3D编辑和其他功能应用,以及传统的基于点的渲染方法和3D高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动3D高斯喷涂表示法的未来发展。
Mar, 2024
提出了一种能够隐式编码场景几何结构的结构感知高斯喷洒方法 (SAGS),通过基于本地-全局图表示促进复杂场景的学习并强制保持场景几何的有意义的点位移,与现有的 3D-GS 方法相比,在渲染质量和模型大小两方面都展现出卓越的性能,能够有效减轻之前方法的浮点和图像失真问题,并获得精确的深度图。
Apr, 2024
3D高斯光斑是一种用于3D视图合成的新方法,其相较于传统的神经渲染技术,能在保持更高清晰度的快速渲染速度的同时,获得隐式神经学习渲染结果。通过多种实验测试不同因素对3D高斯光斑模型的训练效率的影响,介绍了一种基于I3DS的合成模型性能改进评估解决方案。经过合理的微调后,I3DS相较于之前的模型性能获得了显著提升。
May, 2024
通过将不同可分辨外观模型与显式几何表示相结合,我们提出了一种可学习的场景模型,用于准确重构包含显式几何信息的三维场景,实验结果表明,该模型不仅在渲染质量方面达到了最新水平,而且还支持使用显式网格进行操作,并且具有适应场景更新的独特优势。
May, 2024
通过矩阵和张量分解技术,我们提出了一种新方法,即因式化三维高斯粒子点描(F-3DGS),通过高效的因式化,大大减少了存储需求,同时保持了渲染图像的质量。
May, 2024
本文针对3D高斯绘制技术在渲染速度和模型大小上的瓶颈问题,提出了新的优化方法。通过精准定位场景中的高斯点和引入新的剪枝技术,显著提高了渲染速度、减少了模型大小和训练时间,实验证明渲染速度提升达到6.71倍,同时使用的原语比3D高斯绘制减少了10.6倍。
Nov, 2024