使用跨模态知识挖掘的对比学习进行多模态人体活动识别

May, 2022

使用跨模态知识挖掘的对比学习进行多模态人体活动识别

Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal Human Activity Recognition

Razvan Brinzea, Bulat Khaertdinov, Stylianos Asteriadis

TL;DR本文提出了一个名为 CMC-CMKM 的多模态自监督学习框架，可以学习到更好的人体活动识别特征。在两个广泛使用的数据集上进行的广泛实验表明，该框架在不同场景下的性能显著优于对比单模态和多模态基线，在有些情况下甚至可以与监督方法相竞争。

Abstract

human activity recognition is a field of research where input data can take many forms. Each of the possible input modalities describes human behaviour in a different way, and each has its own strengths and weaknesses. We explore the hypothesis that leveraging multiple modalities can l

human activity recognition multimodal self-supervised learning feature representations contrastive multiview coding semi-supervised learning

发现论文，激发创造

MuJo：人体活动识别的多模态联合特征空间学习

通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。

Jun, 2024

使用硬负采样的多模态对比学习在人类活动识别中的应用

人类活动识别（HAR）是一个广泛研究的课题，其中对于多模态 HAR，采用一种硬负采样方法以及对骨骼和 IMU 数据对的硬负采样损失进行学习，能够提供强大的特征表征，用于活动识别。

Sep, 2023

惯性测量单元基于跨模态迁移学习在人体活动识别中的调查

人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

Mar, 2024

人体活动检测的多任务自监督学习

本文提出了一种基于自监督技术的特征学习方法，应用于无形标签的传感器数据。该方法可以应用于人类活动识别等领域，可以通过转化识别任务提供监督信号提取有价值的特征，并在智能手机环境下的无人监督、半监督和迁移学习的情况下实现了与完全监督网络相当甚至更好的性能。该技术可被广泛应用于其他领域。

Jul, 2019

面向人类中心感知的多模态通用预训练

本文提出 Human-Centric Multi-Modal Contrastive Learning 框架，通过密集内部样本对比学习和稀疏结构感知对比学习目标，实现多视角数据有效特征表示，为数据高效下游任务转移提供了通用的预训练模型。

Mar, 2022

多模态数据中的人类动作识别：一篇综述

本文综述了基于不同数据形式的深度学习方法在人类动作识别方面的应用以及涉及 co-learning 和融合等技术，并对多个基础数据集进行了实验比较研究与探讨未来研究方向。

Dec, 2020

可穿戴活动识别的单模态和多模态传感器融合

综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解，因此，人类活动识别受益于综合冗余和互补信息（单模态 / 多模态）。然而，这并不是一项容易的任务，它需要多学科的方法，包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力（音频和大气压力）和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法，其中一些实现在嵌入式设备上，并在实时环境中进行了测试。

Apr, 2024

从 CNN 到 Transformers 的多模态人体动作识别：一项调查

多模态人体动作识别的综述研究，重点关注多模态数据融合设计方面的经典和新兴技术，分析了卷积神经网络和 Transformer 建模方法在该问题上的流行趋势和更高效的模型设计选择，并讨论了实践模型训练中的有前景的架构和融合设计选择，以及多模态数据集的规模和评估视角，提出了多模态人体动作识别的挑战与未来发展方向。

May, 2024

UniS-MMC: 多模态分类方法，通过单模态监督的多模态对比学习

本文提出了一种新的多模态对比方法，以无单模预测的弱监督下探索更可靠的多模态表示，实验证明该方法优于当前最先进的多模态方法，适用于图像 - 文本分类。

May, 2023

多模态情感分析中的单模编码和跨模态预测的多模态对比学习

本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

Oct, 2022