基于网格的高斯映射在实时大规模变形中的应用
最近几年,引入了一系列基于神经网络的图像渲染方法。其中,被广泛研究的神经辐射场(NeRF)依靠神经网络来表示三维场景,可以从少量的二维图像中合成逼真的视图。然而,大多数 NeRF 模型在训练和推理时间上都受到限制。相比之下,高斯喷洒(GS)是一种新颖的、领先技术的渲染点的技术,通过高斯分布来近似它们对图像像素的贡献,从而保证快速训练和实时渲染。GS 的一个缺点是缺乏对其条件的明确定义,因为需要对几十万个高斯分量进行条件建模。为了解决这个问题,我们引入了高斯网格喷洒(GaMeS)模型,它是网格和高斯分布的混合形式,在物体表面(网格)上固定所有高斯喷洒。我们方法的独特之处在于,仅根据高斯喷洒在网格上的位置来定义,允许在动画过程中自动调整位置、比例和旋转。因此,我们实现了在实时生成高质量视图方面的高质量渲染。此外,我们证明在没有预定义网格的情况下,可以在学习过程中调整初始网格。
Feb, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
通过将不同可分辨外观模型与显式几何表示相结合,我们提出了一种可学习的场景模型,用于准确重构包含显式几何信息的三维场景,实验结果表明,该模型不仅在渲染质量方面达到了最新水平,而且还支持使用显式网格进行操作,并且具有适应场景更新的独特优势。
May, 2024
3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
高斯飞溅在新视角合成方面已被证明具有很高的效果,但对于重建细节丰富的 3D 形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用 3D 高斯飞溅的深度图和表面法线图,大大提高了形状重建的准确性,并保持高斯飞溅的计算效率。该方法在 DTU 数据集上达到与 NeuraLangelo 相当的 Chamfer 距离误差,并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展,可以直接集成到现有的基于高斯飞溅的方法中。
Jun, 2024
本文提出了一种 3D 几何感知可变形高斯喷洒方法,用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模,从而实现改进的动态视图合成和 3D 动态重建。
Apr, 2024
我们提出了一种方法,可以从 3D 高斯散点图中精确且非常快速地提取网格。该方法使用高斯散点图进行实际渲染,相较于 NeRFs 具有更快的训练速度。我们首先引入了一个鼓励高斯散点图与场景表面对齐的正则项,然后利用此对齐性通过 Poisson 重建方法从高斯散点图中提取网格,该方法快速、可扩展且能保留细节信息,与通常用于从神经隐式函数中提取网格的 Marching Cubes 算法形成对比。最后,我们引入了可选的优化策略,通过高斯散点图渲染将高斯散点图与网格表面绑定,在传统软件中通过操纵网格而非高斯散点图本身实现了易于编辑、雕刻、绑定、动画制作、合成和调光。与基于神经隐式函数的最先进方法相比,我们的方法可在几分钟内获取逼真渲染所需的可编辑网格,而不是使用数小时。同时,我们的方法提供更好的渲染质量。
Nov, 2023
利用三角形网格直接操纵三维高斯喷洒,实现可操作的逼真渲染,并通过三角形形状感知的高斯绑定和自适应方法,实现三维高斯喷洒的操纵和保持高保真渲染。
May, 2024
基于神经渲染技术,本研究提出了一种使用 3D Half-Gaussian 核的方法,以改进当前 3D Gaussian splatting 方法的性能,在不影响渲染速度的情况下,在多个数据集上获得了最先进的渲染性能。
Jun, 2024