Nov, 2023

嵌入式语言的三维高斯函数用于开放词汇场景理解

PDF
TL;DR通过使用一种新颖的场景表示方法 —— 嵌入语言的 3D 高斯模型，本研究在 3D 空间中实现了开放词汇查询任务，取得了最佳的视觉质量和语言查询准确性，并且保持在单个台式 GPU 上的实时渲染帧速率。
open-vocabulary querying3d spacescene representationlanguage featureslanguage-embedded representations
发现论文，激发创造
  • 语义高斯：基于 3D 高斯点云绘制的开放词汇场景理解

    基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。

    Mar, 2024

  • 基于三维视觉特征表示的具身化语言基础

    提出结合语言表述和三维可视化的方法，通过生成模型和检测模型等工具，可以从图像中推理出三维可视特征图，并进一步实现语言方面的任务，如检测引用表达和物体放置策略。这种方法可以更好地进行全景视角和空间推理。

    Oct, 2019

  • 高效加速的轻量级编码的三维高斯模型

    使用量化嵌入技术和粗到精的训练策略，大幅降低内存存储需求，实现了高分辨率场景的实时渲染和更快更稳定的高斯点云优化，减少了记忆存储量并保持重建质量，验证表明效果显著。

    Dec, 2023

  • 高斯抓取器：面向开放词汇的 3D 语义高斯点云描绘机器人抓取

    通过使用 GaussianGrasper，可以利用 3D 高斯喷洒技术将场景明确地表示为一系列高斯原语，并通过语言指令使机器人能够准确查询和抓取对象，为语言引导的操作任务提供了新的解决方案。

    Mar, 2024

  • 基于语言辅助的三维特征学习，用于语义场景理解

    通过文本场景描述信息辅助 3D 特征学习，进而提升三维语义场景理解的效果，并构建更好的语言与三维结构的多模态任务。

    Nov, 2022

  • PLA: 基于自然语言的开放词汇三维场景理解

    通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

    Nov, 2022

  • DeepVoxels：学习持久的三维特征嵌入

    针对生成神经网络在 3D 理解方面的缺陷，本研究提出了一个持久的三维特征嵌入方法 ——DeepVoxels，通过学习表示对 3D 场景的视角依赖外观，无需显式地建模其几何形状。该方法结合了 3D 几何计算机视觉的见解和基于敌对性损失函数的学习图像到图像的映射的最新进展。DeepVoxels 是有监督的，无需对场景进行 3D 重构，使用 2D 重新渲染损失，并以原则方式强制执行透视和多视角几何。同时应用于新颖视图综合问题，展示了对各种具有挑战性的场景的高质量结果。

    Dec, 2018

  • ConceptGraphs: 开放词汇三维场景图用于感知和规划

    为了使机器人能够执行各种任务，本研究提出了一种名为 ConceptGraphs 的基于图结构的 3D 场景表示方法，通过将 2D 基本模型的输出与多视图关联相结合，不需要收集大型 3D 数据集或微调模型即可实现对新的语义类进行泛化推理，并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。

    Sep, 2023

  • 使用可优化的开放词汇语义空间超平面找到感兴趣的三维高斯函数

    通过在 3D 空间中解释和定位特定区域，GOI 整合了来自 2D 视觉 - 语言基础模型的语义特征，利用可优化的语义空间超平面识别感兴趣的 3D 高斯。通过在特性空间内进行超平面划分的特征选择过程，GOI 方法通过微调语义空间超平面，实现了开放式词汇查询的精准定位。大量实验证明了 GOI 方法相对于之前的最先进方法的优越性。

    May, 2024

  • FMGS: 嵌入式基础模型的整体三维高斯重叠投射用于全景三维场景理解

    通过将视觉语言嵌入模型与三维高斯喷洒算法相结合，本研究提出了一种高效的三维视觉语言模型重建方法，通过渲染从三维模型生成的特征映射，实现了高质量的渲染和快速训练，并引入了像素对齐损失来保证渲染的语义一致性，取得了显著的多视图语义一致性，为增强对无控制的现实环境中场景的理解铺平了道路。

    Jan, 2024