Jul, 2021

Action Transformer：用于基于短时间姿态的人类动作识别的自注意模型

PDF
TL;DR本文介绍了 Action Transformer，一种简单的完全自注意力架构，在人体动作识别中表现出色，并利用 2D 姿势表示来提供低延迟解决方案，此外我们提供了 MPOSE2021，这是一个新的大规模数据集，用于实时、短时 HAR 的训练和评估基准建立。
发现论文，激发创造
  • TransNet：基于迁移学习的网络人体动作识别

    通过将复杂的 3D-CNN 解构为 2D - 和 1D-CNN，本文提出了一种简洁而多功能的端到端深度学习架构 TransNet 用于人体动作识别（HAR），通过与其他领域的预训练 2D-CNN 模型相结合，TransNet 可以有效地提高效率和准确性，并在大量实验结果和与最先进的模型的比较中展示了其在 HAR 中相对于灵活性、模型复杂度、训练速度和分类准确性方面的优越性。

    Sep, 2023

  • 视频动作转换网络

    本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文

    Dec, 2018

  • 基于姿态注意力的手势人体动作识别

    本研究提出一种基于时空注意力机制的人体动作识别方法，采用外部信息（人的姿态）提取注意力分布，采用 RNN 实现注意力的递归处理，以实现自动关注动作中最活跃的手部，并检测最具区分度的动作要素，并在 NTU-RGB + D 数据集上获得最先进的结果。

    Dec, 2017

  • DirecFormer：一种基于 Transformer 的定向注意力方法用于鲁棒动作识别

    通过引入有序时序学习问题和引入新的有向注意力机制，提出了一个新的基于 Transformer 的框架来解决行为识别问题，并在三个标准大规模基准测试上实现了与最近的行为识别方法相比的最先进的结果。

    Mar, 2022

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 人类活动识别的注意力模型

    本文提出了一种基于注意力模型的数据驱动人体行为识别的方法，通过学习权重来对待处理的传感器读数进行建模，并在基准数据集上实现了显著的性能提升。

    May, 2018

  • ActNetFormer：半监督视频动作识别的 Transformer-ResNet 混合方法

    提出了一种使用跨体系伪标签与对比度学习的半监督行为识别方法，其中结合 3D 卷积神经网络（3D CNN）和视频变换器（VIT）的独特方法能够有效捕捉行为的局部和全局上下文信息，从而在标记数据的一小部分情况下实现了卓越的性能。

    Apr, 2024

  • Act-VIT：使用 Vision Transformer 进行基于骨架的动作识别的表征稳健注意力架构

    本文研究了基于骨架的动作识别中视觉 transformers 的有效性以及其在伪图像表示方案上的鲁棒性，并提出了一个三级体系结构 Act-VIT，通过应用分类器，在每个表示上合并其结果以找到最终的动作类别。实验研究表明，相比于 CNN，视觉 transformers 对初始伪图像表示的敏感性较低，但是通过分类器的一致性仍然可以进一步提高识别性能。

    Nov, 2023

  • 使用参数优化的多阶段图卷积网络和 Transformer 模型进行人类活动识别的特征融合

    使用深度学习模型（如卷积神经网络和 Transformer）进行人类活动识别，研究表明特征融合对于改善活动识别系统的准确性和稳健性具有重要意义。使用 HuGaDB、PKU-MMD、LARa 和 TUG 数据集，PO-MS-GCN 和 Transformer 模型在准确性上进行了训练和评估，PO-MS-GCN 模型在效果上优于其他先进模型，并且特征融合在不同数据集上改善了结果。

    Jun, 2024

  • 从 CNN 到 Transformers 的多模态人体动作识别：一项调查

    多模态人体动作识别的综述研究，重点关注多模态数据融合设计方面的经典和新兴技术，分析了卷积神经网络和 Transformer 建模方法在该问题上的流行趋势和更高效的模型设计选择，并讨论了实践模型训练中的有前景的架构和融合设计选择，以及多模态数据集的规模和评估视角，提出了多模态人体动作识别的挑战与未来发展方向。

    May, 2024