基于 CNN 的多级门控平均融合（MGAF）进行深度和惯性传感器的人体动作识别

Oct, 2020

基于 CNN 的多级门控平均融合（MGAF）进行深度和惯性传感器的人体动作识别

CNN based Multistage Gated Average Fusion (MGAF) for Human Action Recognition Using Depth and Inertial Sensors

Zeeshan Ahmad, Naimul khan

TL;DR本文利用深度和惯性传感器，采用卷积神经网络进行人体动作识别。提出了一种新型的多阶段带门控的平均融合网络（MGAF）来提取和融合 CNN 不同层次中的中间特征。通过使用计算效率高的门控平均融合网络（GAF）结构以及形成来自深度数据的顺序前视图图像（SFI）和来自惯性传感器数据的信号图像（SI）提高了识别准确率。该方法与之前的融合方法相比，在提高识别准确率的同时大大降低了计算成本。

Abstract

convolutional neural network (CNN) provides leverage to extract and fuse features from all layers of its architecture. However, extracting and fusing intermediate features from different layers of CNN structure is still uninvestigated for →

convolutional neural network multistage gated average fusion human action recognition depth and inertial sensors feature extraction

发现论文，激发创造

使用参数优化的多阶段图卷积网络和 Transformer 模型进行人类活动识别的特征融合

使用深度学习模型（如卷积神经网络和 Transformer）进行人类活动识别，研究表明特征融合对于改善活动识别系统的准确性和稳健性具有重要意义。使用 HuGaDB、PKU-MMD、LARa 和 TUG 数据集，PO-MS-GCN 和 Transformer 模型在准确性上进行了训练和评估，PO-MS-GCN 模型在效果上优于其他先进模型，并且特征融合在不同数据集上改善了结果。

Jun, 2024

利用惯性传感器的多域多模态融合人体动作识别

本文提出了一个多域多模态融合框架，利用卷积神经网络和规范相关融合来提取不同域的特征以识别多重动作，并将输入惯性数据转换为信号图像进行处理，并在三个惯性数据集上得到了比现有文献更准确的结果。

Aug, 2020

PerceptionNet：一种用于延迟传感器融合的深度卷积神经网络

本文介绍了一种基于深度卷积神经网络的感知网络（PerceptionNet），其应用于多模态时间序列传感器数据中的后期二维卷积，以自动提取用于人类动作识别的有效特征。我们通过在两个公共可用的 HAR 数据集上进行评估来展示我们的方法，表明所提出的模型有效地融合了多模态传感器，并通过超过 3％的平均准确度优于基于：（i）从人体中提取的特征，（ii）利用早期融合方法的深度卷积神经网络和（iii）长期短期记忆（LSTM）的最先进的 HAR 方法。

Nov, 2018

一个多阶段自适应特征融合神经网络用于多模态步态识别

通过多阶段特征融合策略（MSFFS），自适应特征融合模块（AFFM）和多尺度时空特征提取器（MSSTFE）提出了一种多阶段自适应特征融合（MSAFF）神经网络，结合了多种模态的优势，在多个数据集上展现出最先进的性能。

Dec, 2023

传感器融合优化门控深度学习架构

本文提出两种更优化的结构：一种采用更粗粒度的门控机制，使用组级别融合权重；另一种是使用组级别和特征级别的融合权重的两阶段门控机制，实验结果表明所提出的门控结构在面对传感器噪声和故障时具有鲁棒性并显著提高了性能。

Oct, 2018

基于传感器的人体动作识别的多视角融合变压器

本文介绍了一种新方法，即多视图融合变压器（MVFT），通过编码时间视图、频繁视图和统计视图来生成多视图特征，并提出一种新的注意机制以揭示细节关系建模。实验表明，该方法比几种最先进的方法更优异。

Feb, 2022

卷积神经网络实现人类活动识别

本文提出了使用卷积神经网络 (CNNs) 对人类活动进行分类的方法，该方法利用惯性传感器测量身体的加速度和角速度，并使用不同的神经网络结构适应运动信号，探究单个、双个和三个传感器系统的分类潜力，实验结果表明该方法具有很好的分类性能。

Jun, 2019

从 CNN 到 Transformers 的多模态人体动作识别：一项调查

多模态人体动作识别的综述研究，重点关注多模态数据融合设计方面的经典和新兴技术，分析了卷积神经网络和 Transformer 建模方法在该问题上的流行趋势和更高效的模型设计选择，并讨论了实践模型训练中的有前景的架构和融合设计选择，以及多模态数据集的规模和评估视角，提出了多模态人体动作识别的挑战与未来发展方向。

May, 2024

基于视觉与惯性传感器数据的新型二流决策级融合技术，用于自动多模态人类活动识别系统

本文提出了一种新颖的多模态人体活动识别系统，并使用了两种流的决策级融合来融合视觉和惯性传感器的信息，通过此方法准确率远高于现有的最先进方法。

Jun, 2023

HAR-GCNN: 利用深度图卷积神经网络从高度未标记的移动传感器数据中识别人类活动

提出了一种基于深度图卷积神经网络的人体活动识别方法（HAR-GCCN），该方法利用传感器测量之间的时间相邻性来预测未分类活动的正确标签。通过新的训练策略和数据集，该方法在多个数据集上展现了比现有基线方法优越约 25％和高达 68％的分类准确性。

Mar, 2022