$ extit {S}^3$Gaussian:自主驾驶的自我监督街道高斯分布
该论文介绍了一种用于建模动态城市街景的新的显式场景表示方法,其使用带有语义标签和 3D 高斯模型的点云来表示动态城市街景,从而实现了场景的编辑和生成,并且在多个数据集上表现优异。
Jan, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
通过交互式流程而无需任何训练过程和学习参数,本文提出了一种在 3D 高斯中实现对象分割的新方法,称为 SA-GS。通过提出的多视角掩码生成和视图标签分配方法,SA-GS 可以泛化 SAM 以实现 3D 一致的分割,并提出了跨视图标签投票方法来分配不同视图中的标签。实验证明,SA-GS 在 3D 分割结果方面具有高质量,也可以轻松应用于场景编辑和碰撞检测任务。
Jan, 2024
我们提出一种高效的神经 3D 场景表示方法,用于大规模、动态的城市地区的新视点合成 (NVS)。该方法可以适用于混合现实或闭环仿真等应用,具有较高的可视质量和交互式渲染速度。我们引入 4DGF,一种适用于大规模动态城市地区的神经场景表示方法,它可以处理异构输入数据,并显著提高渲染速度。在实验中,我们的方法的峰值信噪比 (PNSR) 超过最先进方法 3 分贝以上,渲染速度提高了 200 倍以上。
Jun, 2024
DrivingGaussian 是一个高效而有效的框架,用于重建自主驾驶场景中的动态环境,通过顺序和渐进地建模静态背景,并利用动态高斯图来处理多个移动物体,在场景中恢复每个物体的准确位置和遮挡关系。使用 LiDAR 和高斯喷洒方法进行重建,该方法在驾驶场景重建中优于现有的方法,实现了高逼真度和多相机一致性的全景合成。
Dec, 2023
通过将神经有向距离场(SDF)与三维高斯光斑(3DGS)相结合,我们提出了一个统一的优化框架,用于在室内场景中进行高质量的重建和实时速度的渲染。
May, 2024
通过将网格体积与 3D 高斯喷洒(3DGS)管道结合,提出了一种名为 HO-Gaussian 的混合优化方法,以克服使用初始结构运动(SfM)点的依赖性,从而使得在城市场景中进行渲染成为可能,并且引入了点密度化来提高在训练期间出现问题的区域的渲染质量。此外,我们引入了高斯方向编码作为渲染管道中球面调和的替代方法,从而实现了视角相关的颜色表示。为了解决多相机系统的问题,引入了神经翘曲以增强不同相机之间的物体一致性。在广泛使用的自动驾驶数据集上的实验结果表明,HO-Gaussian 在多相机城市数据集上实现了实时照片级渲染。
Mar, 2024
基于 3D 高斯喷斑的新型开放词汇场景理解方法,通过提取预训练的 2D 语义学习特征,将其融入 3D 高斯成分,并构建 3D 高斯语义网络用于快速推断,实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。
Mar, 2024
通过自我监督学习的新框架,我们能够在有限的噪声原始图像数量下,从原始图像中重建高动态范围(HDR)3DGS,克服了噪声的影响,提高了重建质量和推断速度。
Jun, 2024