本文提出一种 Modality Compensation Network（MCN）用于 RGB-D 摄像机采集的视频中的人类动作识别。该网络通过深度 CNN 和 LSTM 网络构建，使用骨骼作为辅助模态来提取源模态的更具有区分性的特征，并通过调整适应性表示学习，以弥补测试时甚至是训练时骨架的信息损失。实验结果表明，在四个广泛使用的动作识别基准测试上，MCN 优于现有的最佳方法。

Jan, 2020

提出了一种名为 Modality Mixer (M-Mixer) 网络的新型网络，有效地利用和整合不同模态的互补信息和动作的时间上下文，以实现动作识别，通过在 NTU RGB+D 60、NTU RGB+D 120 和 NW-UCLA 数据集上的测试结果，证明了该方法优于最先进的方法。

Nov, 2023

本文提出了一个名为 CMC-CMKM 的多模态自监督学习框架，可以学习到更好的人体活动识别特征。在两个广泛使用的数据集上进行的广泛实验表明，该框架在不同场景下的性能显著优于对比单模态和多模态基线，在有些情况下甚至可以与监督方法相竞争。

May, 2022

研究如何将针对 RGB 视频训练的行动识别网络适应于识别 3D 人体姿势序列这样的另一个模态，提出了一种基于互相学习的小型学生网络集成和交叉模态知识蒸馏的方法，使得几乎达到了使用完全监督训练的学生网络的精度。

Oct, 2019

本研究提出了一种新的框架 MEACI-Net，采用 RGB 模态和运动模态，并针对压缩视频动作识别常见的问题，加入了 Motion Enhancement、Selective Motion Complement 和 Cross-Modality Augment 模块，实现了两种模态间的交互作用和特征增强，有效提高了识别准确率和计算效率。

May, 2022

本研究提出了一种新的多模态视频动作识别方法，利用 RGB 数据以外的深度数据进行训练，在测试时利用 RGB 数据进行分类，通过精简网络来进行深度特征的提取，经过实验得到了目前最佳的分类结果。

Jun, 2018

我们提出了一种具有交叉模态知识蒸馏的双向融合网络（CMDFusion），通过 2D 到 3D 融合和 3D 到 2D 融合显式和隐式增强了 3D 特征，并通过从 2D 网络到 3D 网络的蒸馏传递 2D 知识，使得 3D 网络能够根据 3D LIDAR 输入生成 2D 信息，无需在推理过程中使用 RGB 图像。我们的 CMDFusion 在 SemanticKITTI 和 nuScenes 数据集上表现出了最佳性能。

Jul, 2023

本研究提出了基于 2D CNN 的动作识别方法 (CMR)，通过引入 CME 和 SME 两个 motion enhancement 模块，分别从通道和空间维度上对动态信息进行加强，进一步提高了识别准确率。在 Something-Something V1、V2 和 Kinetics-400 数据集上取得了有竞争力的性能表现。

Mar, 2021

本文提出了一种基于转换器的跨模态融合框架 CMX，用于针对自主车辆的 RGB-X 语义分割，结果表明 CMX 可以推广到不同的感知模态，并实现在多个基准数据集上的最新技术性能。

Mar, 2022

本文提出一种新的深度自编码器共享特定特征分解网络，将多模态信号分解成一系列组件，进而结合特征结构提出了一种结构化稀疏学习机以获得更好的分类性能，实验证明该方法在动作识别方面最先进。

Mar, 2016