通过新型立体视角从高斯点云实现的曲面重建
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
通过将三维体积转化为一组二维定向平面高斯盘,使用透视准确的二维喷洒过程,结合深度扭曲和法线一致性项,实现从多视角图像中准确重建细表面并提高重建质量的一种方法。
Mar, 2024
该研究论文介绍了一种包括隐式曲面重建、三维高斯光照插值以及体积渲染等方法组合的 3D 曲面重建技术,实现了高质量的三维曲面重建并保持了高效率和渲染质量。
Mar, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
通过引入基于平面的高斯点云猜测(PGSR)方法,本研究旨在实现高保真度的表面重建和高质量的渲染,以解决基于 3D 高斯斑点(3DGS)的重构方法中普遍存在的质量问题。实验结果表明,与基于 3DGS 和 NeRF 的方法相比,我们的方法在快速训练和渲染的同时保持了高保真度的渲染和几何重建效果。
Jun, 2024
高斯飞溅在新视角合成方面已被证明具有很高的效果,但对于重建细节丰富的 3D 形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用 3D 高斯飞溅的深度图和表面法线图,大大提高了形状重建的准确性,并保持高斯飞溅的计算效率。该方法在 DTU 数据集上达到与 NeuraLangelo 相当的 Chamfer 距离误差,并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展,可以直接集成到现有的基于高斯飞溅的方法中。
Jun, 2024
我们提出了一种方法,可以从 3D 高斯散点图中精确且非常快速地提取网格。该方法使用高斯散点图进行实际渲染,相较于 NeRFs 具有更快的训练速度。我们首先引入了一个鼓励高斯散点图与场景表面对齐的正则项,然后利用此对齐性通过 Poisson 重建方法从高斯散点图中提取网格,该方法快速、可扩展且能保留细节信息,与通常用于从神经隐式函数中提取网格的 Marching Cubes 算法形成对比。最后,我们引入了可选的优化策略,通过高斯散点图渲染将高斯散点图与网格表面绑定,在传统软件中通过操纵网格而非高斯散点图本身实现了易于编辑、雕刻、绑定、动画制作、合成和调光。与基于神经隐式函数的最先进方法相比,我们的方法可在几分钟内获取逼真渲染所需的可编辑网格,而不是使用数小时。同时,我们的方法提供更好的渲染质量。
Nov, 2023
3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
我们介绍了 pixelSplat,这是一个前馈模型,可以从图像对中学习重建由 3D 高斯基元参数化的 3D 辐射场。我们的模型具有实时和内存高效的渲染,可进行可扩展训练和快速 3D 重建。为了克服稀疏和局部表示固有的局部最小值问题,我们预测了 3D 上的密集概率分布,并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分,从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的 RealEstate10k 和 ACID 数据集上对我们的方法进行了广泛的基线新视角合成基准测试,表明我们在重建可解释和可编辑的 3D 辐射场时,胜过现有最先进的光场转换器,并且加快了渲染速度 2.5 个数量级。
Dec, 2023