Mar, 2024

语义高斯：基于 3D 高斯点云绘制的开放词汇场景理解

PDF
TL;DR基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。
open-vocabulary 3d scene understandingneural radiance fieldssemanticgaussianssemantic segmentationspatial-temporal segmentation
发现论文，激发创造
  • HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解

    基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

    Mar, 2024

  • SGS-SLAM：面向神经稠密 SLAM 的语义高斯投影

    SGS-SLAM 是第一个基于三维高斯模型的语义密集视觉 SLAM 系统，它在实时渲染的同时提供精确的三维语义分割和高保真度的重建结果。

    Feb, 2024

  • 高斯抓取器：面向开放词汇的 3D 语义高斯点云描绘机器人抓取

    通过使用 GaussianGrasper，可以利用 3D 高斯喷洒技术将场景明确地表示为一系列高斯原语，并通过语言指令使机器人能够准确查询和抓取对象，为语言引导的操作任务提供了新的解决方案。

    Mar, 2024

  • 三维高斯函数中的语义任意性

    通过交互式流程而无需任何训练过程和学习参数，本文提出了一种在 3D 高斯中实现对象分割的新方法，称为 SA-GS。通过提出的多视角掩码生成和视图标签分配方法，SA-GS 可以泛化 SAM 以实现 3D 一致的分割，并提出了跨视图标签投票方法来分配不同视图中的标签。实验证明，SA-GS 在 3D 分割结果方面具有高质量，也可以轻松应用于场景编辑和碰撞检测任务。

    Jan, 2024

  • 嵌入式语言的三维高斯函数用于开放词汇场景理解

    通过使用一种新颖的场景表示方法 —— 嵌入语言的 3D 高斯模型，本研究在 3D 空间中实现了开放词汇查询任务，取得了最佳的视觉质量和语言查询准确性，并且保持在单个台式 GPU 上的实时渲染帧速率。

    Nov, 2023

  • RT-GS2: 3D 高斯辐射场的实时通用语义分割

    RT-GS2 是第一个能够实现实时泛化的 3D 高斯渲染中语义分割方法，通过提取独立于视角的 3D 高斯特征并采用新颖的视角相关 / 独立特征融合，能够在不同视角下提升语义一致性，超过同领域最先进方法的语义分割质量达到 8.01％的提高，并以每秒 27.03 帧的实时性能，相比现有方法提速达 901 倍，这一工作在引入光辐射场 3D 高斯表达领域的语义分割上代表了重大进展。

    May, 2024

  • SA-GS：基于语义感知的高斯点渲染用于带有几何约束的大场景重构

    采用语义感知的 3D 高斯斑点，提出了一种新的方法 SA-GS 用于细粒度的 3D 几何重建，并在大规模场景重建数据集上展示了其卓越性能。

    May, 2024

  • OpenGaussian: 朝点层级 3D 高斯开放词汇理解

    这篇论文介绍了 OpenGaussian，一种基于 3D 高斯散射（3DGS）的方法，能够实现 3D 点级别的开放性词汇理解。通过使用 SAM 掩码和具有 3D 一致性的实例特征训练以及引入实例级别的 3D-2D 特征关联方法，该方法成功地实现了 3D 对象选择和理解。

    Jun, 2024

  • $ extit {S}^3$Gaussian：自主驾驶的自我监督街道高斯分布

    通过自我监督学习的方法，在不使用 3D 注释的情况下，我们提出了一种自适应街景高斯方法来分解静态和动态元素并取得最佳性能。

    May, 2024

  • 面向三维感知生成对抗网络的高斯喷洒解码器

    本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器，将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性，我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外，我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。

    Apr, 2024