Jan, 2024

CoSSegGaussians：紧凑且快速的场景分割 3D 高斯模型

PDF
TL;DR我们提出了一种紧凑高效的三维高斯分割方法（Compact and Swift Segmenting 3D Gaussians，CoSSegGaussians），通过仅使用 RGB 图像输入，在快速渲染速度下进行三维一致场景分割。
compact and swift segmenting 3d gaussiansscene segmentationgaussian splattingzero-shot segmentationnerf-based segmentation
发现论文，激发创造
  • 高斯分组：对 3D 场景中的物体进行分割和编辑

    通过识别每个高斯函数的紧凑身份编码，我们将高斯函数根据其对象实例或物体成员资格在三维场景中分组，从而实现了高质量的三维重建、分割和编辑，同时通过 SAM 的二维掩模预测和引入的三维空间一致性正则化来监督身份编码，通过 Gaussian Grouping 进一步提出了一种本地高斯编辑方案，用于 3D 对象移除、修复、上色和场景重组等多种场景编辑应用。

    Dec, 2023

  • 三维高斯函数中的语义任意性

    通过交互式流程而无需任何训练过程和学习参数，本文提出了一种在 3D 高斯中实现对象分割的新方法，称为 SA-GS。通过提出的多视角掩码生成和视图标签分配方法，SA-GS 可以泛化 SAM 以实现 3D 一致的分割，并提出了跨视图标签投票方法来分配不同视图中的标签。实验证明，SA-GS 在 3D 分割结果方面具有高质量，也可以轻松应用于场景编辑和碰撞检测任务。

    Jan, 2024

  • 二维引导的三维高斯分割

    本文介绍了一种基于 2D 分割作为监督的 3D 高斯分割方法，使用输入的 2D 分割图来引导添加的 3D 高斯语义信息的学习，通过最近邻聚类和统计滤波来改进分割结果，实验证明该简洁方法在多对象分割的 mIOU 和 mAcc 上可以达到与前一单对象分割方法相当的性能。

    Dec, 2023

  • 紧凑的三维高斯辐射场表示

    通过学习性的掩码策略和向量量化，我们减少了高斯点的数量和占用的存储空间，实现了高性能、快速训练、紧凑且实时的渲染，提供了一个全面的三维场景表示框架。

    Nov, 2023

  • 语义高斯：基于 3D 高斯点云绘制的开放词汇场景理解

    基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。

    Mar, 2024

  • 通过自组织高斯网格实现紧凑的三维场景表示

    我们提出了一种紧凑的场景表示方法，将三维高斯扩散模型的参数组织成具有局部均匀性的二维网格，从而实现了存储需求的大幅度降低，同时在渲染过程中不影响视觉质量。

    Dec, 2023

  • 对比高斯聚类：弱监督的三维场景分割

    引入了对比高斯聚类的新方法，能够从任何视角提供分割掩模，并实现场景的三维分割。

    Apr, 2024

  • 高斯形态学：基于视觉的 3D 语义占用预测中的场景高斯化

    提出一种基于对象中心表示法的 3D 语义占位预测方法，通过稀疏 3D 语义高斯来描述场景，通过注意机制从图像中聚合信息并迭代细化 3D 高斯的属性，然后通过高斯到体素喷洒方法生成 3D 占位预测。

    May, 2024

  • 高效加速的轻量级编码的三维高斯模型

    使用量化嵌入技术和粗到精的训练策略，大幅降低内存存储需求，实现了高分辨率场景的实时渲染和更快更稳定的高斯点云优化，减少了记忆存储量并保持重建质量，验证表明效果显著。

    Dec, 2023

  • VastGaussian：大场景重建的巨大 3D 高斯

    VastGaussian 是基于 3D 高斯平面分割的大型场景重建和实时渲染的首个方法，通过渐进的分割策略和外观建模的优化过程，在多个大型场景数据集上实现了超出现有 NeRF 方法的最新成果，实现了快速优化和高保真实时渲染。

    Feb, 2024