AAAIDec, 2023

导航基于骨架的动作识别的开放集场景

PDF
TL;DR本文探讨了开放集骨架动作识别（OS-SAR）任务的挑战，并提出了一种基于距离的跨模态集成方法，通过对骨骼关节、骨头和速度进行交叉模态对齐，在训练过程中使用交叉模态均值最大差异抑制机制，测试过程中使用基于距离的交叉模态逻辑改进方法，从而实现优秀的开放集识别表现。该方法在各个数据集和底层模型上持续取得最先进的结果。
open-set skeleton-based action recognitioncross-modality ensemble methoddistance-based logits refinementlatent spacesstate-of-the-art results
发现论文，激发创造
  • 深入探究一次性基于骨架的动作识别及其多样遮挡

    本研究为纠正骨架动作识别中身体遮挡问题提出了 Trans4SOAR 模型，该模型利用三个数据流及混合注意力融合机制缓解遮挡造成的副作用，并在标准 SOAR 和部分遮挡 SOAR 上均取得了最新成果。

    Feb, 2022

  • 揭开隐藏的领域：遮挡环境中自监督骨架动作识别

    将动作识别方法集成到自主机器人系统中，考虑目标遮挡的不利情况是至关重要的。我们提出了一种简单有效的方法，通过预训练使用遮挡的骨架序列，然后使用 KMeans 对序列嵌入进行聚类，以填补缺失的骨架数据，从而为现有基于骨架的自监督模型带来显著的好处。同时，在 Partial Spatio-Temporal Learning (PSTL) 的基础上，我们引入了一种新的 Occluded Partial Spatio-Temporal Learning (OPSTL) 框架，利用 Adaptive Spatial Masking (ASM) 更好地利用高质量完整的骨架数据。我们的填补方法的有效性在具有挑战性的 NTURGB+D 60 和 NTURGB+D 120 的遮挡版本上得到了验证。

    Sep, 2023

  • 基于骨骼的带有噪声标签的人体动作识别

    理解人体姿势的行为对于与人类共享空间的辅助机器人来说是至关重要的，为了能够对下一次交互做出明智和安全的决策。然而，准确的时间定位和标注活动序列是耗时的，而且结果往往带有噪声。本研究通过将骨架动作识别方法与来自多个研究领域的标签去噪策略相结合，填补了这一空白，为此实施了一个框架作为初始基准。观察结果显示，这些基准在处理稀疏骨架数据时仅能提供较小的性能。因此，我们提出了一种新的方法，NoiseEraSAR，它集成了全局样本选择、共同教学和交叉模态混合专家（CM-MOE）策略，旨在减轻标签噪声的不利影响。我们的方法在已建立的基准上展示了更好的性能，树立了新的最先进标准。本研究的源代码将在此 https URL 上公开。

    Mar, 2024

  • 骨架动作识别，未来何去何从？

    本文研究骨架为基础的人体动作识别的当前和未来发展方向，以 Skeletics-152、Skeleton-Mimetics、Metaphorics 和 NTU-120 等数据集作为研究对象，旨在评估现有方法和数据集的优劣，并开辟人体动作识别的新领域。

    Jul, 2020

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 主动学习稀疏半监督动作识别

    该研究提出了 SESAR 方法，它将无监督学习和少量有监督学习相结合，通过两个组件对骨骼动作序列进行训练，从而实现骨骼动作识别，其性能超越其他方法，即使只使用 1% 已标记的数据。

    Dec, 2020

  • 通过互信息估计与最大化进行零样本基于骨架的动作识别

    通过相互信息估计和最大化，我们提出了一种基于零样本骨骼动作识别的新方法，通过最大化视觉和语义空间之间的相互信息来进行分布对齐，并利用时间信息来估计相互信息，以增加观察到的帧数。

    Aug, 2023

  • 面向机器人辅助手术的开放式外科活动识别

    在自动机器人手术和计算机辅助干预领域中，理解机器人手术活动至关重要。为了解决真实世界中的开放场景挑战，我们引入了一种创新的开集手术活动识别（OSSAR）框架，通过使用超球面互补点策略增强特征空间中已知和未知类之间的差异，并通过改进模型校准来避免未知类被误分类为已知类。通过公开的 JIGSAWS 数据集以及我们自己收集的内窥镜黏膜下剥离的手术活动数据集，我们对我们的方法进行了广泛的对比和割离实验，结果表明我们的方法在现有最先进方法上取得了显著的提升。我们的方案可以有效处理真实世界手术场景的挑战。我们的代码可以在此 https URL 上公开访问。

    Feb, 2024

  • 视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

    基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

    May, 2024

  • 跨数据集基于骨架的动作识别中的时空立方体学习

    本篇文章研究骨架动作识别的跨数据集问题，并提出了一种基于自监督的域自适应方法，通过对时间和空间分段来探索模型的时空依赖关系并提高模型的泛化能力，实验结果证明该方法优于其他方法。

    Jul, 2022