通过 Part-aware Unified Representation between Language and Skeleton (PURLS) 方法，本文介绍了一种针对无监督骨架动作识别的新方法，通过在本地和全局尺度上探索视觉语义对齐，引入新的提示模块和划分模块生成对齐的文本和视觉表示，并在多个数据集上进行评估，结果显示 PURLS 具有普适性和卓越的性能。

Jun, 2024

自我监督表示学习在人体动作识别方面得到了快速发展。本文首先提出了一种隐式知识交换模块（IKEM），用于减轻低性能模态之间的错误知识传播。然后，我们进一步提出了三种新模态来丰富不同模态之间的互补信息。最后，通过锚点、正样本和负样本之间的约束关系，我们提出了一种新的教师 - 学生框架，将次要模态的知识蒸馏到强制性模态中，名为关系型跨模态知识蒸馏。实验证明了我们方法的有效性，可以高效利用基于骨架的多模态数据。源代码将公开发布在给定的网址。

Sep, 2023

通过提出一种针对多模态学习的目标后融合方法并使用 Uni-Modal Ensemble (UME) 和 Uni-Modal Teacher (UMT) 的策略来得出 Uni-Modal 特征和 paired 特征的分布，可以在各种多模态数据集上实现与其他复杂的后融合或中间融合方法可比的结果。我们证明，缺乏在每个模态上进行 Uni-modal feature learning 的现象将确实损害模型的泛化能力。

May, 2023

我们的研究提出了一种创新方法，通过对齐和绑定不同模态的时间序列表示，以引导神经编码器揭示这些多模态特征之间的潜在模式关联，从而解决了由于复杂的特征融合方法和对异质特征的依赖导致的扩展性问题，并在多个应用领域的不同时间序列数据集上验证了该方法的有效性。

Dec, 2023

本文提出了一种基于无监督学习的多模态图像配准方法，采用图像分解的方法将多模态图像分解成通用潜在形状空间和独立潜在外观空间，并且通过因式分解潜在形状代码来进行配准，提出了两种评估网络的指标并与传统的多模态注册方法进行了比较，结果表明我们的方法在大大缩短计算时间的情况下取得了与其他方法竞争性的性能。

Mar, 2019

本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

Oct, 2020

基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

May, 2024

本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

Jan, 2023

本研究提出了一种新的多模态视频动作识别方法，利用 RGB 数据以外的深度数据进行训练，在测试时利用 RGB 数据进行分类，通过精简网络来进行深度特征的提取，经过实验得到了目前最佳的分类结果。

Jun, 2018

我们介绍了 U3M：一种用于多模态语义分割的无偏多尺度模态融合模型，其通过有效提取和整合全局和局部特征，实现了在多个数据集上的优越性能，并证实了在各种环境中增强语义分割的鲁棒性和多样性。

May, 2024