Jun, 2024

OpenGaussian: 朝点层级3D高斯开放词汇理解

HTML
PDF
TL;DR这篇论文介绍了OpenGaussian，一种基于3D高斯散射（3DGS）的方法，能够实现3D点级别的开放性词汇理解。通过使用SAM掩码和具有3D一致性的实例特征训练以及引入实例级别的3D-2D特征关联方法，该方法成功地实现了3D对象选择和理解。
发现论文，激发创造
  • OpenMask3D: 开放式词汇的三维实例分割

    本研究介绍了一种开放词汇的3D实例分割任务，使用零样本学习来提高模型在目标实例分割方面的泛化性，并设计了OpenMask3D方法，该方法使用预测的类别不可知的3D实例掩码来聚合每个掩码的特征，通过多视图融合和基于CLIP的图像嵌入来提高分割的性能。

    Jun, 2023

  • Lowis3D: 基于语言驱动的开放世界实例级别3D场景理解

    通过使用视觉-语言（VL）基础模型，将图像-文本对中的广义知识应用于3D场景的多视图图像以生成图像描述，在对象级别进行细粒度的视觉-语义表示学习，并通过使用无标签数据上的伪监督训练对象分组模块以解决开放世界环境中的类别定位问题，从而在3D语义、实例和全景分割任务中获得显著的改进。

    Aug, 2023

  • OpenIns3D：3D开放词汇实例分割的捕捉与查询

    OpenIns3D是一个不需要2D图像输入的用于实例级别的三维开放词汇场景理解的全新框架，通过Mask-Snap-Lookup方案实现，能够在室内和室外的广泛数据集上取得优越的结果，并支持无需重新训练即可切换2D检测器的功能。

    Sep, 2023

  • Object2Scene：为开放词汇的3D检测将对象放入上下文中

    Object2Scene 和 L3Det 是用于开放词汇3D物体检测的首个方法，通过引入大规模的3D物体数据集，将物体插入到3D场景中来丰富3D场景数据集的词汇，并在不同数据集的3D对象之间缓解领域差异，并证实了其在OV-ScanNet-200基准测试中的有效性。

    Sep, 2023

  • 嵌入式语言的三维高斯函数用于开放词汇场景理解

    通过使用一种新颖的场景表示方法——嵌入语言的3D高斯模型，本研究在3D空间中实现了开放词汇查询任务，取得了最佳的视觉质量和语言查询准确性，并且保持在单个台式GPU上的实时渲染帧速率。

    Nov, 2023

  • Open3DIS: 基于2D掩码引导的开放词汇3D实例分割

    Open3DIS是对3D场景中开放词汇实例分割问题的一种新解决方案，通过聚合帧间的2D实例掩码并将其映射到几何连贯的点云区域作为高质量的对象提案，与3D非特定类实例提案相结合，能够在真实世界的广泛对象中实现显著的性能提升。

    Dec, 2023

  • 语义高斯：基于3D高斯点云绘制的开放词汇场景理解

    基于3D高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的2D语义学习特征，将其融入3D高斯成分，并构建3D高斯语义网络用于快速推断，实现了在ScanNet-20上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。

    Mar, 2024

  • 使用可优化的开放词汇语义空间超平面找到感兴趣的三维高斯函数

    通过在 3D 空间中解释和定位特定区域，GOI 整合了来自 2D 视觉-语言基础模型的语义特征，利用可优化的语义空间超平面识别感兴趣的 3D 高斯。通过在特性空间内进行超平面划分的特征选择过程，GOI 方法通过微调语义空间超平面，实现了开放式词汇查询的精准定位。大量实验证明了 GOI 方法相对于之前的最先进方法的优越性。

    May, 2024

  • OpenScan：通用开放词汇3D场景理解基准

    本研究解决了现有3D场景理解方法未能充分评估开放词汇问题的缺陷，特别是在对象类以外的领域。提出了一个新颖的任务，即广义开放词汇3D场景理解(GOV-3D)，并贡献了基准OpenScan，涵盖多个细粒度对象属性。研究发现，现有方法在应对GOV-3D任务中的抽象词汇方面存在显著困难，强调了现有方法的局限性并探讨了克服这些短板的方向。

    Aug, 2024

  • Search3D：分层开放词汇3D分割

    本研究解决了现有开放词汇3D实例分割方法在细粒度场景实体识别方面的不足，提出了一种名为Search3D的分层开放词汇3D场景表示方法。该方法支持在不同粒度层次上查找实体，并通过构建系统的基准评估，展示其在场景级开放词汇3D部件分割中的卓越效果。

    Sep, 2024