高家：通过三维感知记忆库对群聚高斯进行编码

Apr, 2024

高家：通过三维感知记忆库对群聚高斯进行编码

Gaga: Group Any Gaussians via 3D-aware Memory Bank

Weijie Lyu, Xueting Li, Abhijit Kundu, Yi-Hsuan Tsai, Ming-Hsuan Yang

TL;DRGaga 是一个利用不一致的零样本分割模型预测的 2D 掩码来重建和分割开放环境下的 3D 场景的框架。通过利用空间信息，有效地关联不同摄像机姿势下的物体掩码，Gaga 消除了训练图像中关于视角连续变化的假设，展现出对摄像机姿势变化的鲁棒性，尤其在稀疏采样图像中，确保准确的掩码标签一致性。此外，Gaga 适应来自不同来源的 2D 分割掩码，并展现出与不同开放世界零样本分割模型的鲁棒性，提高了其通用性。广泛的定性和定量评估表明，Gaga 在与最先进的方法相比中表现出色，强调其在场景理解和操作等实际应用中的潜力。

Abstract

We introduce gaga, a framework that reconstructs and segments open-world 3D scenes by leveraging inconsistent 2D masks predicted by zero-shot segmentation models. Contrasted to prior 3D scene segmentation approac

gaga 3d scenes zero-shot segmentation spatial information scene understanding

发现论文，激发创造

分段任何三维高斯模型

介绍了一种新颖的 3D 交互分割方法 Segment Any 3D GAussians (SAGA)，通过良好设计的对比训练将由分割基础模型生成的多颗粒度 2D 分割结果高效嵌入到 3D 高斯点特征中，实现了多颗粒度分割和适应各种提示，包括点，涂鸦和 2D 蒙版。SAGA 可以在毫秒内完成 3D 分割，相比先前的 SOTA 加速近 1000 倍。

Dec, 2023

三维高斯函数中的语义任意性

通过交互式流程而无需任何训练过程和学习参数，本文提出了一种在 3D 高斯中实现对象分割的新方法，称为 SA-GS。通过提出的多视角掩码生成和视图标签分配方法，SA-GS 可以泛化 SAM 以实现 3D 一致的分割，并提出了跨视图标签投票方法来分配不同视图中的标签。实验证明，SA-GS 在 3D 分割结果方面具有高质量，也可以轻松应用于场景编辑和碰撞检测任务。

Jan, 2024

高斯分组：对 3D 场景中的物体进行分割和编辑

通过识别每个高斯函数的紧凑身份编码，我们将高斯函数根据其对象实例或物体成员资格在三维场景中分组，从而实现了高质量的三维重建、分割和编辑，同时通过 SAM 的二维掩模预测和引入的三维空间一致性正则化来监督身份编码，通过 Gaussian Grouping 进一步提出了一种本地高斯编辑方案，用于 3D 对象移除、修复、上色和场景重组等多种场景编辑应用。

Dec, 2023

CoSSegGaussians：紧凑且快速的场景分割 3D 高斯模型

我们提出了一种紧凑高效的三维高斯分割方法（Compact and Swift Segmenting 3D Gaussians，CoSSegGaussians），通过仅使用 RGB 图像输入，在快速渲染速度下进行三维一致场景分割。

Jan, 2024

二维引导的三维高斯分割

本文介绍了一种基于 2D 分割作为监督的 3D 高斯分割方法，使用输入的 2D 分割图来引导添加的 3D 高斯语义信息的学习，通过最近邻聚类和统计滤波来改进分割结果，实验证明该简洁方法在多对象分割的 mIOU 和 mAcc 上可以达到与前一单对象分割方法相当的性能。

Dec, 2023

OMEGAS: 基于高斯分割的大型场景物体网格提取

从大场景中精确重建特定物体的 3D 重建技术进展，提出了一种名为 OMEGAS 的框架，通过分割引导和分析方法，实现了准确的物体分割和背景去除，从而有效地提取 3D 物体网格。

Apr, 2024

对比高斯聚类：弱监督的三维场景分割

引入了对比高斯聚类的新方法，能够从任何视角提供分割掩模，并实现场景的三维分割。

Apr, 2024

利用联合嵌入空间进行广义零样本语义分割

本文提出了一种基于边界感知回归和语义一致性损失实现零样本语义分割任务的方法，并将其与 Apollonius 校准技术相结合，提高了分类器的泛化性能。实验结果表明该方法在标准数据集上实现了最先进的性能表现。

Aug, 2021

语义高斯：基于 3D 高斯点云绘制的开放词汇场景理解

基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。

Mar, 2024

CAGroup3D：面向分类感知的点云三维目标检测中的分组算法

提出了一种名为 CAGroup3D 的卷积神经网络二阶段稀疏三维物体检测框架，通过结合物体表面体素中相同语义预测的类别感知局部组策略生成高质量的三维建议，以及使用稀疏卷积 RoI 池化模块从骨干网中直接聚合细粒度的空间信息以进一步提升建议的效果。该方法具有更好的计算和内存效率，并且在 ScanNet V2 和 SUN RGB-D 数据集上实现了优于现有方法的三维检测性能。

Oct, 2022