研究对知识蒸馏在多模态数据集上的应用，提出了一种多模态知识蒸馏框架MSD，其中引入辅助损失项和基于显著度得分的加权方案以及基于权重学习的方法，实验结果表明MSD比KD在四个多模态数据集上表现更好。

Jan, 2021

本文提出了一种去耦合的多模态蒸馏（DMD）方法，通过使用图蒸馏单元（GD-Unit）和构建动态图来实现灵活和自适应的多模态知识蒸馏，以提高每种模态的辨别特征。实验结果表明，DMD方法优于最先进的MER方法，并且在DMD中的图边展现出与无关/专用空间以及有意义的分布模式。

Mar, 2023

本文介绍了一种基于多模态表示学习的学生-教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

Jun, 2023

提出了一种名为VideoAdviser的视频知识蒸馏方法，用于实现高效性能的多模块转移学习；通过使用基于CLIP的教师模型向基于RoBERTa的学生模型提供丰富的多模态知识监督信号，从而在多个挑战性的多模态任务中实现了有效的知识转移。

Sep, 2023

本文提出了一种基于自蒸馏 (SDT) 的基于变压器模型，该模型通过利用变压器来捕捉内部和跨模式之间的相互作用，并通过设计分层门控融合策略来动态学习模式之间的权重，并将所提出模型的软标签作为额外的训练监督，从而学习更具表现力的模式表示，实验证明 SDT 在 IEMOCAP 和 MELD 数据集上优于之前的最先进基线模型。

Oct, 2023

本文提出了一种创新的方法，解决了将多模态情感识别模型转化为更实用和资源有效的单模态对应模型的挑战，重点关注仅基于语音的情感识别。

Jan, 2024

多模情感识别模型在实验室环境中取得了显著的表现，但在野外环境中，由于训练所使用的模态的不可用性或质量问题，这些模型存在困难。通过引入特权信息来进行深度学习模型的训练，以利用仅在训练期间可用的额外模态数据。本文提出一种基于最优输运的结构化知识蒸馏机制 (PKDOT) 方法，通过计算余弦相似度矩阵并选择前k个锚点，以得到更稳定的蒸馏过程。实验证明该方法在两个不同问题上的性能优于现有的特权知识蒸馏方法，具有模态和模型无关性。

Jan, 2024

探讨使用自我监督学习方法进行多模态动态面部表情识别的研究，并提出了解决该任务中的主要挑战以及相应解决方案，最终在DFEW和MFAW两个常用的动态面部表情识别基准数据集上实现了超过当前最先进方法的改进。

Apr, 2024

为了在计算资源有限的环境下部署高级多模态技术，我们提出了一种从预训练多模态大模型中动态自适应多尺度蒸馏的方法，通过仅使用输出特征和原始图像级信息来优化模型，显著降低复杂性和训练成本，实现了跨模态检索任务的最先进性能。

Apr, 2024

我们介绍了一种新颖的多模态协同知识蒸馏方案，专为高效的单眼动作识别任务而设计。这种方法允许轻量级的单模态脉冲神经网络（SNN）从事件帧多模教师网络中提取丰富的知识。这种方法的核心优势在于能够利用传统帧中丰富而更粗糙的时间线索来进行有效的情感识别。因此，我们的方法熟练地解释了传统帧领域中的时间和空间信息，避免了对专用传感设备（例如事件相机）的需求。通过对现有和我们编制的单眼情感识别数据集进行全面展示，我们的方法在准确性和效率方面实现了卓越的性能，超越了现有的最先进方法。

Jun, 2024