Sep, 2023

统一对比融合变压器用于多模态人类动作识别

PDF
TL;DR提出了一种新的多模态融合架构 UCFFormer，它能够整合具有不同分布的数据以增强人类动作识别 (HAR) 的性能；通过使用统一 Transformer 来捕捉嵌入特征在时间和模态领域之间的相互依赖关系，并引入了分解的时间 - 模态注意力来高效执行自注意力，在各种模态之间减少特征分布上的差异，从而生成在语义上对齐的特征进行信息融合；在 UTD-MHAD 和 NTU RGB+D 两个流行数据集上进行的性能评估表明，UCFFormer 通过显著的优势超越竞争方法，实现了最先进的性能。
sensorshuman action recognitionmultimodal fusion architectureunified contrastive fusion transformerperformance evaluation
发现论文，激发创造
  • 从 CNN 到 Transformers 的多模态人体动作识别：一项调查

    多模态人体动作识别的综述研究，重点关注多模态数据融合设计方面的经典和新兴技术，分析了卷积神经网络和 Transformer 建模方法在该问题上的流行趋势和更高效的模型设计选择，并讨论了实践模型训练中的有前景的架构和融合设计选择，以及多模态数据集的规模和评估视角，提出了多模态人体动作识别的挑战与未来发展方向。

    May, 2024

  • 基于传感器的人体动作识别的多视角融合变压器

    本文介绍了一种新方法，即多视图融合变压器（MVFT），通过编码时间视图、频繁视图和统计视图来生成多视图特征，并提出一种新的注意机制以揭示细节关系建模。实验表明，该方法比几种最先进的方法更优异。

    Feb, 2022

  • 使用参数优化的多阶段图卷积网络和 Transformer 模型进行人类活动识别的特征融合

    使用深度学习模型（如卷积神经网络和 Transformer）进行人类活动识别，研究表明特征融合对于改善活动识别系统的准确性和稳健性具有重要意义。使用 HuGaDB、PKU-MMD、LARa 和 TUG 数据集，PO-MS-GCN 和 Transformer 模型在准确性上进行了训练和评估，PO-MS-GCN 模型在效果上优于其他先进模型，并且特征融合在不同数据集上改善了结果。

    Jun, 2024

  • MuJo：人体活动识别的多模态联合特征空间学习

    通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。

    Jun, 2024

  • 用于多模态人类活动识别的蒸馏中融合 Transformer 网络

    本文提出了一种基于知识蒸馏的多模态中融合方法，即 DMFT，以在多模态人类活动识别任务中进行信息特征提取和融合，解决深度学习方法无法充分探索跨多模态信息融合的问题，并通过评估表明该方法在有效性，可扩展性和鲁棒性方面均取得了有竞争力的表现。

    May, 2023

  • 可穿戴活动识别的单模态和多模态传感器融合

    综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解，因此，人类活动识别受益于综合冗余和互补信息（单模态 / 多模态）。然而，这并不是一项容易的任务，它需要多学科的方法，包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力（音频和大气压力）和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法，其中一些实现在嵌入式设备上，并在实时环境中进行了测试。

    Apr, 2024

  • Action Transformer：用于基于短时间姿态的人类动作识别的自注意模型

    本文介绍了 Action Transformer，一种简单的完全自注意力架构，在人体动作识别中表现出色，并利用 2D 姿势表示来提供低延迟解决方案，此外我们提供了 MPOSE2021，这是一个新的大规模数据集，用于实时、短时 HAR 的训练和评估基准建立。

    Jul, 2021

  • 基于多模态协作变压器和混合特征重建的强鲁棒情感识别

    多模情感识别是情感计算的重要方面，本文提出了一种统一框架 Modality-Collaborative Transformer with Hybrid Feature Reconstruction (MCT-HFR) 来解决构建不对齐多模特征的联合表示的效率和随机模态特征缺失引起的性能下降的挑战，并在两个广泛应用的基准数据集上获得了优于先进基准模型的结果。

    Dec, 2023

  • 基于整体交互 Transformer 网络的动作检测

    本文提出了一种新的综合多模式 Holistic Interaction Transformer 网络 (HIT)，其利用了大多数人类行动必不可少的手部和姿态信息。该网络是一个包含 RGB 流和姿态流的全面双模式框架，分别建模了人、物和手部互动，并使用 Attentive Fusion 机制将每种模式的特征相结合，最终通过从时间背景中提取线索来更好地分类发生的行动。该方法在 J-HMDB、UCF101-24 和 MultiSports 数据集上显着优于先前的方法，在 AVA 上也取得了竞争性结果。

    Oct, 2022

  • 基于 Transformer 的多模态信息融合用于面部表情分析

    本研究介绍了一种基于多模态特征和 Transformer 的统一框架，用于情感行为分析和表情识别任务，同时运用数据平衡和增强方法进一步提高模型性能。实验证明，该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。

    Mar, 2022