Jun, 2024

基于语义图注意网络和距离信息的 3D 全身姿态估计

PDF
TL;DR我们开发了一种新颖的语义图注意力网络，它能够从自注意力捕获全局上下文的能力中受益，同时利用图卷积来处理骨架的局部连通性和结构约束。我们还设计了一个身体部分解码器，用于提取和改进与身体特定部分相关的信息。此外，我们的方法还包含距离信息，增强了模型理解和准确预测空间关系的能力。最后，我们引入了一种几何损失，对身体的结构骨架施加了关键约束，以确保模型的预测符合人体姿势的自然限制。实验证明了我们方法的有效性，表明系统中的每个元素对提高姿势估计结果至关重要。与最先进方法相比，我们的工作不仅达到了现有基准，而且超过了现有基准。
3d pose estimationself-attention mechanismsgraph convolutionssemantic graph attention networkgeometry loss
发现论文，激发创造
  • SEM-GAT：使用学习到的图注意力进行可解释的语义姿态估计

    本文提出了一种基于 GNN 的方法，利用语义和局部几何形状来指导可靠点云注册候选项的识别，语义和形态特征作为注册的关键参考点，实现精确的激光雷达姿态估计，我们的轻量级静态图结构通过识别语义实例关系，作为一种归纳偏见，显著减少了点云注册的计算负担，通过连接候选节点和利用跨图的关注机制，我们为所有潜在的注册对应关系计算置信度得分，估计点云扫描之间的位移，我们的流程通过将模型与环境中的局部结构的个体贡献相关联，使模型的性能进行内省分析，提供有价值的系统行为洞察。我们在 KITTI 测距数据集上测试我们的方法，相较于基准方法，实现了竞争性的准确度和更高的轨迹平滑度，同时依赖 significantly fewer network parameters。

    Aug, 2023

  • 层次注意力和图神经网络：面向无漂移姿势估计

    本文探索了使用分层注意机制和图神经网络的学习模型来替代传统的几何配准和姿态图优化的框架，通过压缩数据流并保留估计刚性姿态所需的基本信息，大大提高了姿态估计的精确性，尤其在旋转组件方面的改进较为明显。

    Sep, 2023

  • 交织图与注意力网络用于三维人体姿势估计

    本文介绍了利用 Interweaved Graph and Attention Network 技术来进行从单视图图像中进行 3D 人体姿势估计的方法，结果表明该方法在 Human3.6M 和 MPI-INF-3DHP 两个流行的基准数据集上均达到了最先进的表现。

    Apr, 2023

  • 基于注意力循环网络的全局姿态估计

    我们设计了一种新的可微架构 Neural Graph Optimizer，由本地姿态估计模型、新颖的姿态选择模块和新颖的图优化过程组成，通过端到端的训练使网络自动学习与视觉里程计相关的领域特定特征，从而实现了 SLAM 的完整神经网络解决方案，并在模拟的 2D 迷宫和 3D ViZ-Doom 环境中展示了系统的有效性。

    Feb, 2018

  • 基于多尺度时空自注意力图卷积网络的基于骨架的动作识别

    通过使用自注意力图卷积网络 (GCN) 技术，本研究提出了一种混合模型，名为多尺度时空自注意力网络 (MSST-GCN)，以有效提高建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系，利用自时间注意力模块来研究节点帧之间的相关性。随后，通过多尺度卷积网络捕获节点的长程时空依赖关系，将它们组合成高层次的时空表示，并使用 softmax 分类器输出预测的动作。

    Apr, 2024

  • 学习骨架图神经网络用于艰难的 3D 姿态估计

    本研究提出了一种新的骨骼 GNN 学习解决方案，包括基于跳舞的分层通道压缩融合层和鲁棒且有效的图构建过程，该方法在人体姿态估计和基于骨骼的动作识别方面取得了超越同行的性能.

    Aug, 2021

  • 用于 3D 人体姿势回归的语义图卷积网络

    本文提出了一种新的神经网络结构 Semantic Graph Convolutional Networks（SemGCN），它能够学习在回归任务中捕捉图形结构数据中的语义信息，特别是局部和全局节点之间的关系，并将其应用于 3D 人体姿势回归，结果表明 SemGCN 仅使用 90％的参数就优于现有技术水平。

    Apr, 2019

  • 骨架图自注意力：将骨骼归纳偏差嵌入手语生成中

    本文提出了一种将手语序列表示为包含节点和边的骨骼图结构，并运用 Skeletal Graph Self-Attention（SGSA）方法实现手语的流畅和表达，该方法在 RWTH-PHOENIX-Weather-2014T 数据集上展现出比其它竞争方法更强的后向翻译表现。

    Dec, 2021

  • 多跳图变换网络用于 3D 人体姿势估计

    介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

    May, 2024

  • 基于骨架的步态识别的深入理解

    该论文提出了一种基于 Graph Convolutional Networks（GCNs）的方法，结合高级别输入和残差网络，用于骨架轮廓图进行步态识别，实验结果显示了 3 倍于最先进技术水平和强大的视频建模能力。

    Apr, 2022