Aug, 2023

SEM-GAT：使用学习到的图注意力进行可解释的语义姿态估计

PDF
TL;DR本文提出了一种基于 GNN 的方法，利用语义和局部几何形状来指导可靠点云注册候选项的识别，语义和形态特征作为注册的关键参考点，实现精确的激光雷达姿态估计，我们的轻量级静态图结构通过识别语义实例关系，作为一种归纳偏见，显著减少了点云注册的计算负担，通过连接候选节点和利用跨图的关注机制，我们为所有潜在的注册对应关系计算置信度得分，估计点云扫描之间的位移，我们的流程通过将模型与环境中的局部结构的个体贡献相关联，使模型的性能进行内省分析，提供有价值的系统行为洞察。我们在 KITTI 测距数据集上测试我们的方法，相较于基准方法，实现了竞争性的准确度和更高的轨迹平滑度，同时依赖 significantly fewer network parameters。
pointcloud registrationgnn-based methodlidar-based pose estimationsemantic instance-based relationshipsintrospective analysis
发现论文，激发创造
  • 基于语义图注意网络和距离信息的 3D 全身姿态估计

    我们开发了一种新颖的语义图注意力网络，它能够从自注意力捕获全局上下文的能力中受益，同时利用图卷积来处理骨架的局部连通性和结构约束。我们还设计了一个身体部分解码器，用于提取和改进与身体特定部分相关的信息。此外，我们的方法还包含距离信息，增强了模型理解和准确预测空间关系的能力。最后，我们引入了一种几何损失，对身体的结构骨架施加了关键约束，以确保模型的预测符合人体姿势的自然限制。实验证明了我们方法的有效性，表明系统中的每个元素对提高姿势估计结果至关重要。与最先进方法相比，我们的工作不仅达到了现有基准，而且超过了现有基准。

    Jun, 2024

  • 基于姿态图的关注图神经网络用于激光雷达地点识别

    该研究提出了一种激光雷达场景识别方法，称为 P-GAT，通过比较一组点云之间的相似性来增加随时间捕获的点云之间的可接受领域，利用基于位姿图 SLAM 的概念，结合了点云之间的内部和外部注意力以及图神经网络来关联在欧几里德空间中附近位置捕获的点云以及其在特征空间中的嵌入。实验证明了该方法在识别缺乏明显特征的场景以及训练和测试环境具有不同分布（领域适应）时的有效性。与最先进技术的详尽比较显示出性能改进。代码将在接受后提供。

    Aug, 2023

  • 层次注意力和图神经网络：面向无漂移姿势估计

    本文探索了使用分层注意机制和图神经网络的学习模型来替代传统的几何配准和姿态图优化的框架，通过压缩数据流并保留估计刚性姿态所需的基本信息，大大提高了姿态估计的精确性，尤其在旋转组件方面的改进较为明显。

    Sep, 2023

  • 用于 3D 人体姿势回归的语义图卷积网络

    本文提出了一种新的神经网络结构 Semantic Graph Convolutional Networks（SemGCN），它能够学习在回归任务中捕捉图形结构数据中的语义信息，特别是局部和全局节点之间的关系，并将其应用于 3D 人体姿势回归，结果表明 SemGCN 仅使用 90％的参数就优于现有技术水平。

    Apr, 2019

  • 大规模室外点云配准的深度语义图匹配

    本文将点云配准问题视为语义实例匹配和配准任务，提出了一种用于大规模室外点云配准的深度语义图匹配方法。通过利用大规模点云语义分割网络获得 3D 点云的语义类别标签，并使用欧氏聚类算法将具有相同类别标签的相邻点进行聚类。基于语义实例的空间相邻关系构建了语义邻接图，通过图卷积网络学习了几种高维特征，包括几何形状特征、语义分类特征和空间分布特征，同时应用了注意力机制进行增强。将语义实例匹配问题建模为一个最优传输问题，并通过最优匹配层进行求解。最后，根据匹配的语义实例，首先通过奇异值分解（SVD）算法获得两个点云之间的几何变换矩阵，然后使用 ICP 算法进行细化处理。实验在 KITTI Odometry 数据集上进行，所提出方法的平均相对平移误差和平均相对旋转误差分别为 6.6cm 和 0.229 度。

    Aug, 2023

  • 基于图注意力的 GNN 模型解释的语义解读和验证

    提出了一种通过应用语义关注来增强图神经网络 (GNN) 模型的可解释性的方法，介绍了语义信息的扰动以及预测的特征重要性权重和模型准确性之间的相关性，应用于 Lidar 点云估计模型成功地识别出有助于提高性能的关键语义类别，从而有效生成可靠的事后语义解释。

    Aug, 2023

  • SG-PGM: 3D 场景图对齐的语义几何融合的部分图匹配网络及其下游任务

    3D 场景图对齐是一个部分的图匹配问题，我们提出了使用图神经网络来解决它，通过将点云注册方法学习的几何特征与节点级语义特征关联，实现了部分匹配，并通过运行预训练的注册网络在匹配区域内实现了点云注册等下游任务。我们还提出了一种点匹配重新评分方法，利用 3D 场景图的节点对齐重新调整预训练点云注册方法的匹配候选项，特别是在低重叠情况下，减少了错误的点对应估计。实验证明，我们的方法在低重叠和随机变换情况下将对齐精度提高了 10~20%，在多个下游任务中优于现有方法。

    Mar, 2024

  • 基于语义图的三维点云地点识别

    本文提出了一种基于语义图的三维点云场景识别方法，该方法具有鲁棒性，能够应对遮挡和视角变化等环境变化，评估结果表明该方法优于现有技术。

    Aug, 2020

  • 具有图神经嵌入的主动语义定位

    本研究提出了一个轻量级、全 CPU 基于的 “图神经本地化器” 框架，旨在解决语义定位问题。该框架结合了场景图和图神经网络技术，首先训练了一个场景图分类器用于被动视觉，然后将其知识转移到强化学习规划器用于主动视觉。实验表明，该方法在自我监督学习和无监督域适应两个场景下都具有效果。

    May, 2023

  • 基于注意力循环网络的全局姿态估计

    我们设计了一种新的可微架构 Neural Graph Optimizer，由本地姿态估计模型、新颖的姿态选择模块和新颖的图优化过程组成，通过端到端的训练使网络自动学习与视觉里程计相关的领域特定特征，从而实现了 SLAM 的完整神经网络解决方案，并在模拟的 2D 迷宫和 3D ViZ-Doom 环境中展示了系统的有效性。

    Feb, 2018