Mar, 2024

基于骨骼的带有噪声标签的人体动作识别

PDF
TL;DR理解人体姿势的行为对于与人类共享空间的辅助机器人来说是至关重要的，为了能够对下一次交互做出明智和安全的决策。然而，准确的时间定位和标注活动序列是耗时的，而且结果往往带有噪声。本研究通过将骨架动作识别方法与来自多个研究领域的标签去噪策略相结合，填补了这一空白，为此实施了一个框架作为初始基准。观察结果显示，这些基准在处理稀疏骨架数据时仅能提供较小的性能。因此，我们提出了一种新的方法，NoiseEraSAR，它集成了全局样本选择、共同教学和交叉模态混合专家（CM-MOE）策略，旨在减轻标签噪声的不利影响。我们的方法在已建立的基准上展示了更好的性能，树立了新的最先进标准。本研究的源代码将在此 https URL 上公开。
human actionsbody posesassistive robotslabel noiseskeleton-based action recognition
发现论文，激发创造
  • 主动学习稀疏半监督动作识别

    该研究提出了 SESAR 方法，它将无监督学习和少量有监督学习相结合，通过两个组件对骨骼动作序列进行训练，从而实现骨骼动作识别，其性能超越其他方法，即使只使用 1% 已标记的数据。

    Dec, 2020

  • 导航基于骨架的动作识别的开放集场景

    本文探讨了开放集骨架动作识别（OS-SAR）任务的挑战，并提出了一种基于距离的跨模态集成方法，通过对骨骼关节、骨头和速度进行交叉模态对齐，在训练过程中使用交叉模态均值最大差异抑制机制，测试过程中使用基于距离的交叉模态逻辑改进方法，从而实现优秀的开放集识别表现。该方法在各个数据集和底层模型上持续取得最先进的结果。

    Dec, 2023

  • 骨架动作识别，未来何去何从？

    本文研究骨架为基础的人体动作识别的当前和未来发展方向，以 Skeletics-152、Skeleton-Mimetics、Metaphorics 和 NTU-120 等数据集作为研究对象，旨在评估现有方法和数据集的优劣，并开辟人体动作识别的新领域。

    Jul, 2020

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 基于骨架的非监督动作识别和聚类

    我们提出了一种新颖的无监督骨架动作识别系统，该系统基于编码器 - 解码器递归神经网络，可以无需提供任何标签或摄像头深度输入，并可在各维度的身体关键点（2D 或 3D）和附加提示描述移动的情况下操作，并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能，且与有监督骨架动作识别表现相似。

    Nov, 2019

  • 基于时空解耦对比学习的骨骼人体动作识别

    我们提出了一种用于基于骨架的动作识别的框架（STD-CL），通过解耦空间和时间特征并应用注意力特征到对比学习，改进了全局特征的语义，提高了准确性，在 NTU60、NTU120 和 NW-UCLA 基准数据集上实现了改进。

    Dec, 2023

  • 基于预测编码的图卷积网络用于噪声鲁棒的基于骨架的动作识别

    本研究提出了一种骨架动作识别方法，该方法对给定骨架特征的噪声信息具有鲁棒性，通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型，并在 NTU-RGB + D 和 Kinetics-Skeleton 数据集上进行了综合实验，结果表明该方法具有明显的性能优势。

    Mar, 2020

  • 通用零样本基于骨骼的动作识别的多义融合模型

    提出了一种用于提高广义零样本基于骨骼的动作识别（GZSSAR）性能的多语义融合（MSF）模型，其中采集了两种类级文本描述（动作描述和运动描述）作为辅助语义信息，以增强通用骨骼特征的学习能力。通过预训练的语言编码器和骨骼编码器提取富有语义特征的动作类别和骨骼特征，并利用基于变分自动编码器（VAE）的生成模块学习骨骼和语义特征之间的跨模态对齐，最后构建分类模块识别输入样本的动作类别，并在 GZSSAR 中采用看见未见分类门来预测样本是否来自已知动作类别。与先前模型相比，提出的 MSF 模型在 GZSSAR 上表现出卓越的性能。

    Sep, 2023

  • 空间 - 时间变换引导扩散数据增强的高效基于骨架的动作识别

    本论文介绍一种基于数据增强的新方法，使用 DDPM 和 ST-Trans 生成高质量和多样化的顺序动作序列，有效地提高了现有动作识别模型的性能。

    Feb, 2023

  • 噪声环境中机械臂动作识别机器学习模型的鲁棒性评估

    在嘈杂的环境中，通过使用机器学习技术和视觉系统来识别机器人手臂的动作是一个重要挑战。本文通过比较分析机器学习方法，研究了机器人手臂在嘈杂环境中的动作识别，并评估了该模型在噪声环境中的有效性和鲁棒性。通过在一个 3x3 网格环境中进行的井字棋案例研究，重点是准确识别手臂在这个受限环境中选择特定位置的动作。实验结果表明，尽管数据集中添加了噪声和不确定性，我们的方法可以实现精确的关键点检测和动作分类。

    Jan, 2024