MMMay, 2024

从 CNN 到 Transformers 的多模态人体动作识别：一项调查

PDF
TL;DR多模态人体动作识别的综述研究，重点关注多模态数据融合设计方面的经典和新兴技术，分析了卷积神经网络和 Transformer 建模方法在该问题上的流行趋势和更高效的模型设计选择，并讨论了实践模型训练中的有前景的架构和融合设计选择，以及多模态数据集的规模和评估视角，提出了多模态人体动作识别的挑战与未来发展方向。
human action recognitionmultimodal dataconvolutional neural networkstransformersfusion design
发现论文，激发创造
  • 多模态数据中的人类动作识别：一篇综述

    本文综述了基于不同数据形式的深度学习方法在人类动作识别方面的应用以及涉及 co-learning 和融合等技术，并对多个基础数据集进行了实验比较研究与探讨未来研究方向。

    Dec, 2020

  • 使用参数优化的多阶段图卷积网络和 Transformer 模型进行人类活动识别的特征融合

    使用深度学习模型（如卷积神经网络和 Transformer）进行人类活动识别，研究表明特征融合对于改善活动识别系统的准确性和稳健性具有重要意义。使用 HuGaDB、PKU-MMD、LARa 和 TUG 数据集，PO-MS-GCN 和 Transformer 模型在准确性上进行了训练和评估，PO-MS-GCN 模型在效果上优于其他先进模型，并且特征融合在不同数据集上改善了结果。

    Jun, 2024

  • 统一对比融合变压器用于多模态人类动作识别

    提出了一种新的多模态融合架构 UCFFormer，它能够整合具有不同分布的数据以增强人类动作识别 (HAR) 的性能；通过使用统一 Transformer 来捕捉嵌入特征在时间和模态领域之间的相互依赖关系，并引入了分解的时间 - 模态注意力来高效执行自注意力，在各种模态之间减少特征分布上的差异，从而生成在语义上对齐的特征进行信息融合；在 UTD-MHAD 和 NTU RGB+D 两个流行数据集上进行的性能评估表明，UCFFormer 通过显著的优势超越竞争方法，实现了最先进的性能。

    Sep, 2023

  • 视觉 Transformer 在动作识别中的应用：一份调研报告

    本文针对视觉 transformer 在人体动作识别领域的研究进展进行了综述，主要就其架构、模态、目标、编码、降维、自监督学习、评估指标等方面展开阐述，并探讨了其存在的挑战和未来发展方向。

    Sep, 2022

  • 视频数据中人类行为识别的深度学习方法

    通过对深度学习模型的全面分析，这项研究揭示了卷积神经网络、循环神经网络和两流卷积神经网络在人体动作识别中的优势和性能差异，并强调了综合模型在实现强大的人体动作识别方面的潜力和优化的研究方向。

    Mar, 2024

  • MAiVAR-T：多模音频图片和视频动作识别器使用变形器

    提出了一种新模型 MAiVAR-T（Multimodal Audio-Image to Video Action Recognition Transformer），旨在融合音频和图像模态以提高多模态人体动作识别（MHAR）的效果，并在基准动作识别数据集上展示了卓越的性能。

    Aug, 2023

  • 多模态可佩戴传感器人体动作识别调查

    结合增加的预期寿命和下降的出生率导致人口老龄化问题，可穿戴传感器技术的人体活动识别成为一种有着巨大潜力的辅助技术来支持老年人的日常生活，近期的研究聚焦于深度学习方法或单一传感器模态，为了给机器带来类似的智能，多模态机器学习成为研究者们热衷的领域之一，本研究从新颖的视角对多模态学习在可穿戴传感器技术的人体活动识别领域的应用进行全面调查，包括探索最近的传感器模态和深度学习方法，研究目前的多模态系统的技术，以及解决现有问题的多模态学习方法，同时连接其他领域的多模态文献与当前的可穿戴传感器技术的人体活动识别领域，最后识别出当前领域的挑战和潜在研究方向以进一步提升该技术的性能。

    Apr, 2024

  • TransNet：基于迁移学习的网络人体动作识别

    通过将复杂的 3D-CNN 解构为 2D - 和 1D-CNN，本文提出了一种简洁而多功能的端到端深度学习架构 TransNet 用于人体动作识别（HAR），通过与其他领域的预训练 2D-CNN 模型相结合，TransNet 可以有效地提高效率和准确性，并在大量实验结果和与最先进的模型的比较中展示了其在 HAR 中相对于灵活性、模型复杂度、训练速度和分类准确性方面的优越性。

    Sep, 2023

  • 用于多模态人类活动识别的蒸馏中融合 Transformer 网络

    本文提出了一种基于知识蒸馏的多模态中融合方法，即 DMFT，以在多模态人类活动识别任务中进行信息特征提取和融合，解决深度学习方法无法充分探索跨多模态信息融合的问题，并通过评估表明该方法在有效性，可扩展性和鲁棒性方面均取得了有竞争力的表现。

    May, 2023

  • Action Transformer：用于基于短时间姿态的人类动作识别的自注意模型

    本文介绍了 Action Transformer，一种简单的完全自注意力架构，在人体动作识别中表现出色，并利用 2D 姿势表示来提供低延迟解决方案，此外我们提供了 MPOSE2021，这是一个新的大规模数据集，用于实时、短时 HAR 的训练和评估基准建立。

    Jul, 2021