使用可优化的开放词汇语义空间超平面找到感兴趣的三维高斯函数

May, 2024

使用可优化的开放词汇语义空间超平面找到感兴趣的三维高斯函数

GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane

Yansong Qu, Shaohui Dai, Xinyang Li, Jianghang Lin, Liujuan Cao...

TL;DR通过在 3D 空间中解释和定位特定区域，GOI 整合了来自 2D 视觉 - 语言基础模型的语义特征，利用可优化的语义空间超平面识别感兴趣的 3D 高斯。通过在特性空间内进行超平面划分的特征选择过程，GOI 方法通过微调语义空间超平面，实现了开放式词汇查询的精准定位。大量实验证明了 GOI 方法相对于之前的最先进方法的优越性。

Abstract

3d open-vocabulary scene understanding, crucial for advancing augmented reality and robotic applications, involves interpreting and locating specific regions within a 3D space as directed by natural language instructions. To this end, we introduce →

3d open-vocabulary scene understanding goi 3d gaussian splatting optimizable semantic-space hyperplane 2d referring expression segmentation (res)

发现论文，激发创造

语义高斯：基于 3D 高斯点云绘制的开放词汇场景理解

基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。

Mar, 2024

OpenGaussian: 朝点层级 3D 高斯开放词汇理解

这篇论文介绍了 OpenGaussian，一种基于 3D 高斯散射（3DGS）的方法，能够实现 3D 点级别的开放性词汇理解。通过使用 SAM 掩码和具有 3D 一致性的实例特征训练以及引入实例级别的 3D-2D 特征关联方法，该方法成功地实现了 3D 对象选择和理解。

Jun, 2024

基于语言的机器人导航的分层开放词汇三维场景图

本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。

Mar, 2024

嵌入式语言的三维高斯函数用于开放词汇场景理解

通过使用一种新颖的场景表示方法 —— 嵌入语言的 3D 高斯模型，本研究在 3D 空间中实现了开放词汇查询任务，取得了最佳的视觉质量和语言查询准确性，并且保持在单个台式 GPU 上的实时渲染帧速率。

Nov, 2023

基于上下文感知的实体定位和开放词汇 3D 场景图

我们介绍了一种开放词汇的 3D 场景图（OVSG），它是一个形式化的框架，用于将各种实体，如物体实例、代理和区域，与自由文本查询进行关联。与传统的基于语义的物体定位方法不同，我们的系统支持上下文感知的实体定位，允许查询，如 ' 在厨房桌子上拿起一个杯子 ' 或' 导航到一个有人坐在上面的沙发 '。与现有的 3D 场景图研究相比，OVSG 支持自由文本输入和开放词汇查询。通过使用 ScanNet 数据集和自采集数据集进行的一系列比较实验证明，我们提出的方法明显超越了以前基于语义的定位技术的性能。此外，我们突出了 OVSG 在真实世界的机器人导航和操作实验中的实际应用。

Sep, 2023

GOV-NeSF: 通用开放词汇神经语义领域

通过引入 Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF)，我们提出了一种对 3D 场景进行泛化的隐式表示方法，显著提升了 2D 和 3D 开放词汇语义分割的性能，同时消除了对语义标签或深度先验的需求，有效地在不进行微调的情况下跨场景和数据集进行泛化。

Apr, 2024

SA-GS：基于语义感知的高斯点渲染用于带有几何约束的大场景重构

采用语义感知的 3D 高斯斑点，提出了一种新的方法 SA-GS 用于细粒度的 3D 几何重建，并在大规模场景重建数据集上展示了其卓越性能。

May, 2024

SGS-SLAM：面向神经稠密 SLAM 的语义高斯投影

SGS-SLAM 是第一个基于三维高斯模型的语义密集视觉 SLAM 系统，它在实时渲染的同时提供精确的三维语义分割和高保真度的重建结果。

Feb, 2024

RT-GS2: 3D 高斯辐射场的实时通用语义分割

RT-GS2 是第一个能够实现实时泛化的 3D 高斯渲染中语义分割方法，通过提取独立于视角的 3D 高斯特征并采用新颖的视角相关 / 独立特征融合，能够在不同视角下提升语义一致性，超过同领域最先进方法的语义分割质量达到 8.01％的提高，并以每秒 27.03 帧的实时性能，相比现有方法提速达 901 倍，这一工作在引入光辐射场 3D 高斯表达领域的语义分割上代表了重大进展。

May, 2024

OVIR-3D：在不使用 3D 数据训练的情况下进行开放词汇 3D 实例检索

通过多视角融合文本对齐的 2D 区域建议，在不使用任何 3D 数据进行训练的情况下，提出了 OVIR-3D 方法，能够根据对象实例和文本查询的特征相似性返回排名的 3D 对象实例分段。经过公共数据集和实际机器人的实验表明了该方法的有效性及其在机器人导航和操作中的潜力。

Nov, 2023