Jun, 2024

OpenGaussian: 朝点层级 3D 高斯开放词汇理解

PDF
TL;DR这篇论文介绍了 OpenGaussian，一种基于 3D 高斯散射（3DGS）的方法，能够实现 3D 点级别的开放性词汇理解。通过使用 SAM 掩码和具有 3D 一致性的实例特征训练以及引入实例级别的 3D-2D 特征关联方法，该方法成功地实现了 3D 对象选择和理解。
opengaussian3d gaussian splatting3d point-level open vocabulary understandinginstance-level 3d-2d feature association3d object selection
发现论文，激发创造
  • 语义高斯：基于 3D 高斯点云绘制的开放词汇场景理解

    基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。

    Mar, 2024

  • 使用可优化的开放词汇语义空间超平面找到感兴趣的三维高斯函数

    通过在 3D 空间中解释和定位特定区域，GOI 整合了来自 2D 视觉 - 语言基础模型的语义特征，利用可优化的语义空间超平面识别感兴趣的 3D 高斯。通过在特性空间内进行超平面划分的特征选择过程，GOI 方法通过微调语义空间超平面，实现了开放式词汇查询的精准定位。大量实验证明了 GOI 方法相对于之前的最先进方法的优越性。

    May, 2024

  • 高斯抓取器：面向开放词汇的 3D 语义高斯点云描绘机器人抓取

    通过使用 GaussianGrasper，可以利用 3D 高斯喷洒技术将场景明确地表示为一系列高斯原语，并通过语言指令使机器人能够准确查询和抓取对象，为语言引导的操作任务提供了新的解决方案。

    Mar, 2024

  • I3DGS: 从多个维度改进 3D 高斯点光面绘制

    3D 高斯光斑是一种用于 3D 视图合成的新方法，其相较于传统的神经渲染技术，能在保持更高清晰度的快速渲染速度的同时，获得隐式神经学习渲染结果。通过多种实验测试不同因素对 3D 高斯光斑模型的训练效率的影响，介绍了一种基于 I3DS 的合成模型性能改进评估解决方案。经过合理的微调后，I3DS 相较于之前的模型性能获得了显著提升。

    May, 2024

  • GS-CLIP: 从真实世界数据进行对比度语言 - 图像 - 3D 预训练的高斯飞溅

    提出 GS-CLIP 方法将 3D 高斯粒化引入多模态预训练，以增强 3D 表示，并通过预训练的视觉 - 语言模型和 3D 编码器对 3D 高斯粒化进行优化，实现全局显式特征的提取和融合。实验证明，GS-CLIP 显著提高了最新研究成果，超越了先前最好的结果。

    Feb, 2024

  • OpenMask3D: 开放式词汇的三维实例分割

    本研究介绍了一种开放词汇的 3D 实例分割任务，使用零样本学习来提高模型在目标实例分割方面的泛化性，并设计了 OpenMask3D 方法，该方法使用预测的类别不可知的 3D 实例掩码来聚合每个掩码的特征，通过多视图融合和基于 CLIP 的图像嵌入来提高分割的性能。

    Jun, 2023

  • GaussianRoom: 利用 SDF 导引和单目线索改进的 3D 高斯点雨法用于室内场景重建

    通过将神经有向距离场（SDF）与三维高斯光斑（3DGS）相结合，我们提出了一个统一的优化框架，用于在室内场景中进行高质量的重建和实时速度的渲染。

    May, 2024

  • GS-Octree: 强光条件下健壮的物体级别三维重建的基于八叉树的高斯插值

    融合了 3D 高斯喷洒与八叉树隐式表面表示的新方法用于重构精确几何，尤其适用于受强照明影响导致的镜面高光图像。

    Jun, 2024

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023

  • DoGaussian：面向分布式的高斯喷点技术在大规模三维重建中的应用

    我们提出了 DoGaussian 方法，该方法通过将场景分解为 K 个块并在 3DGS 的训练过程中引入交替方向乘子方法（ADMM），在主节点上维护一个全局 3DGS 模型和 K 个从节点上的本地 3DGS 模型，从而加快了在大规模场景中的 3DGS 训练速度 6 倍以上，并同时实现了最先进的渲染质量。

    May, 2024