利用惯性传感器的多域多模态融合人体动作识别

Aug, 2020

利用惯性传感器的多域多模态融合人体动作识别

Multidomain Multimodal Fusion For Human Action Recognition Using Inertial Sensors

Zeeshan Ahmad, Naimul Khan

TL;DR本文提出了一个多域多模态融合框架，利用卷积神经网络和规范相关融合来提取不同域的特征以识别多重动作，并将输入惯性数据转换为信号图像进行处理，并在三个惯性数据集上得到了比现有文献更准确的结果。

Abstract

One of the major reasons for misclassification of multiplex actions during action recognition is the unavailability of complementary features that provide the semantic information about the actions. In different domains these features are present with different scales and intensities.

multiplex actions multidomain multimodal fusion framework convolutional neural networks canonical correlation based fusion inertial datasets

发现论文，激发创造

基于视觉与惯性传感器数据的新型二流决策级融合技术，用于自动多模态人类活动识别系统

本文提出了一种新颖的多模态人体活动识别系统，并使用了两种流的决策级融合来融合视觉和惯性传感器的信息，通过此方法准确率远高于现有的最先进方法。

Jun, 2023

跨领域迁移物理运动用于神经惯性跟踪

本研究提出了一种基于域不变特征的想法，可以在不需要任何配对数据的情况下，将传感器从一个环境转移到另一个环境，对于使用标志数据存在困难的长期传感器序列非常适用，并通过实验证明了其在物理知识转移方面具有很高的效率和准确性，可以从标准移动电话所得的各种附件中的原始 IMU 测量中重构出具有实际意义的轨迹。

Oct, 2018

惯性测量单元基于跨模态迁移学习在人体活动识别中的调查

人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

Mar, 2024

多层特征交互融合的组合式活动识别

本文提出了一种新颖的框架，通过交互式融合，即将不同空间的特征进行投影并使用辅助预测任务进行引导，实现了语义信息、位置信息和外貌信息的融合，从而实现了复杂动作的识别，并在两个数据集上进行了验证，取得了比通用识别算法更好的结果。

Dec, 2020

基于 CNN 的多级门控平均融合（MGAF）进行深度和惯性传感器的人体动作识别

本文利用深度和惯性传感器，采用卷积神经网络进行人体动作识别。提出了一种新型的多阶段带门控的平均融合网络（MGAF）来提取和融合 CNN 不同层次中的中间特征。通过使用计算效率高的门控平均融合网络（GAF）结构以及形成来自深度数据的顺序前视图图像（SFI）和来自惯性传感器数据的信号图像（SI）提高了识别准确率。该方法与之前的融合方法相比，在提高识别准确率的同时大大降低了计算成本。

Oct, 2020

信号提取：多模态活动识别中的判别信号编码

该研究提出了一种支持多种传感器模态的简单、有效和灵活的动作识别方法，将多元信号序列编码成图像，并使用最近提出的 EfficientNet CNN 架构进行分类，实验结果表明该方法在多个数据集上的表现均优于目前的激光雷达数据集识别方法。

Mar, 2020

可穿戴活动识别的单模态和多模态传感器融合

综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解，因此，人类活动识别受益于综合冗余和互补信息（单模态 / 多模态）。然而，这并不是一项容易的任务，它需要多学科的方法，包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力（音频和大气压力）和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法，其中一些实现在嵌入式设备上，并在实时环境中进行了测试。

Apr, 2024

MuJo：人体活动识别的多模态联合特征空间学习

通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。

Jun, 2024

深度视频中的多模态多部分学习与动作识别

提出了一种基于结构稀疏性的联合稀疏回归学习方法，利用来自稀疏部位集的多模态特征的组合将每个动作建模为结构稀疏性，以此来表示各个部位的动态和外观。

Jul, 2015

从 CNN 到 Transformers 的多模态人体动作识别：一项调查

多模态人体动作识别的综述研究，重点关注多模态数据融合设计方面的经典和新兴技术，分析了卷积神经网络和 Transformer 建模方法在该问题上的流行趋势和更高效的模型设计选择，并讨论了实践模型训练中的有前景的架构和融合设计选择，以及多模态数据集的规模和评估视角，提出了多模态人体动作识别的挑战与未来发展方向。

May, 2024