Sep, 2024

Point2Graph：一种基于点云的端到端三维开放词汇场景图生成框架用于机器人导航

HTML
PDF
TL;DR本研究解决了现有开放词汇场景图生成算法对RGB-D图像和相机姿态的依赖，限制了其在缺乏这些数据的场景下的应用。提出的Point2Graph框架消除了对RGB-D图像序列的需求，采用层次化设计，利用几何和学习相结合的方法进行房间和物体的检测与分类。评估结果表明，这一框架在主流实际场景数据集上的表现超过了当前的最先进算法。
发现论文，激发创造
  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于PointNet和Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集3DSSG来支持该方法的应用和评估。

    Apr, 2020

  • Point2Seq：将3D物体检测作为序列的方法

    本研究提出了一个名为Point2Seq的简单而有效的框架，用于从点云中检测3D物体。与以往的方法不同，我们明确地建立了3D物体属性之间的依赖关系，将3D物体视为单词序列，并以自回归方式从3D场景中解码单词，进而得到所有3D物体的序列，并最终通过基于相似性的序列匹配自动分配到相应的真实值。

    Mar, 2022

  • 基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测

    OV-3DETIC是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从ImageNet1K扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少10.77%的mAP绝对值改进。

    Jul, 2022

  • 无需三维注释的开放词汇点云物体检测

    本文探讨了通过分治策略进行开放式词汇3D点云检测的方法，该方法使用图像预训练模型来学习定位各种对象，并连接文本和点云表示，以便根据提示文本对新对象类别进行分类，从而实现开放式词汇3D目标检测，同时在ScanNet和SUN RGB-D数据集上实现了显著的性能提升。

    Apr, 2023

  • 使用知识图谱在点云上进行3D场景图预测

    应用常识知识图谱以提高室内场景点云的3D场景图预测准确度的实验研究表明，在外部常识知识和内部知识的交互应用中，通过消息传递的方法比最先进的算法提高了15.0%的场景图预测准确度和7.96%的内部知识，在每秒10帧的实际机器人环境中也进行了测试以展示模型的使用情况。

    Aug, 2023

  • Object2Scene：为开放词汇的3D检测将对象放入上下文中

    Object2Scene 和 L3Det 是用于开放词汇3D物体检测的首个方法，通过引入大规模的3D物体数据集，将物体插入到3D场景中来丰富3D场景数据集的词汇，并在不同数据集的3D对象之间缓解领域差异，并证实了其在OV-ScanNet-200基准测试中的有效性。

    Sep, 2023

  • Open3DIS: 基于2D掩码引导的开放词汇3D实例分割

    Open3DIS是对3D场景中开放词汇实例分割问题的一种新解决方案，通过聚合帧间的2D实例掩码并将其映射到几何连贯的点云区域作为高质量的对象提案，与3D非特定类实例提案相结合，能够在真实世界的广泛对象中实现显著的性能提升。

    Dec, 2023

  • Open3DSG: 从点云生成可查询对象和开放关系的开放式词汇3D场景图

    使用开放的词汇表以及与场景图特征和查询对象类别联系的扎根LLM，Open3DSG作为第一个可以预测不仅是明确的开放词汇对象类别，还包括预定义标签集以外的开放集关系的三维点云方法，在零样本学习方式下有效预测任意对象类别及其描述空间、支持、语义和比较关系的复杂对象之间的关系。

    Feb, 2024

  • OpenGraph: 大规模户外环境中的开放词汇层次化三维图谱表示

    本文提出了OpenGraph，一种适用于大规模户外环境的开放词汇层次图结构表示，该结构兼具图像和文字语义，并通过2D模型提取实例和标题，以增强文本推理能力，并通过将图像投影到LiDAR点云上实现了3D增量全景映射和特征嵌入，最终根据车道图连通性对环境进行分割构建了一个层次化图。验证结果显示，OpenGraph能够在没有微调模型的情况下推广到新的语义类别，并取得最高的分割和查询精度。

    Mar, 2024

  • 基于语言的机器人导航的分层开放词汇三维场景图

    本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。

    Mar, 2024