本文介绍了一种自监督学习方法，以学习音频和视频表征，并通过行动识别任务的实验验证了其解决音频 - 视觉实例区别问题和提高迁移学习性能的贡献。

Mar, 2021

本文提出了一种基于多模态的神经网络的暴力检测方法，通过发布了一个大规模多场景的数据集 XD-Violence，证明了该方法在判断暴力视频方面的优越性，并通过实验证明了多模态（包括视听）输入和建模关系的积极影响。

Jul, 2020

文中介绍了一种自监督学习方法，通过交叉模态辨别视频和音频来学习视听表征，其采用对比学习方法来进行。该方法通过优化交叉模态辨别而非内部模态辨别，可以学习到来自视频和音频的良好表征，并可于行动识别任务中获得高竞争性能。同时，文中提到该方法采用交叉模态协同度量相似性，构造更好的正负样本集合，从而实现了对可视相似度的校准。

Apr, 2020

本文介绍了一种新的跨模态知识迁移方法，使用组合对比学习来学习复合嵌入，通过学习多模态知识来改善视频表示学习表现。在三个视频数据集上进行的实验表明，该方法显著优于现有的知识蒸馏方法。

Apr, 2021

本论文提出了模态噪声过滤和对比语义校准的跨模态蒸馏方法，可以显著提高视觉动作识别和视频检索的性能。

Apr, 2023

跨模态蒸馏是一个重要主题，用于包含有限知识的数据模态，如深度图和高质量素描。我们提出了一个基于对比学习的跨模态对比蒸馏（CMCD）的通用框架，该框架利用正负对应关系更好地蒸馏可泛化的特征，并在实验结果和收敛分析中验证了源模态和目标模态之间的距离对目标模态下游任务的测试误差有着显著影响。

May, 2024

通过使用语言模型构建语义音视频标签字典，本文提出了一种新的音视频框架来有效利用任何仅具有视觉注释的数据集中的音频模态，在训练阶段使用 SAVLD 以及预训练的多标签模型来估计音视频模态相关性，并提出了一种可学习的无关模态 dropout 方法；此外，本文还提出了一种新的双流视频 Transformer 来高效地建模视觉模态。 Kinetics400 和 UCF-101 上的结果表明，该框架优于大多数相关的行动识别方法。

Mar, 2022

通过利用多种多样性的模态，如 RGB，光流和音频，以及仅具备视频级别注释的多模态暴力检测模型的学习，我们提出了一种新的弱监督多模态暴力检测方法，明确解决了信息冗余，模态不平衡和模态异步性等三个关键挑战，进一步提出了一种时间一致性对比损失来语义对齐成对融合特征。在最大规模的 XD-Violence 数据集上的实验表明，提出的方法实现了最先进的性能。

May, 2024

本文研究针对深度伪造技术的威胁，提出了一种在表征层面上辅助音频和视觉融合的多模态深度伪造检测方法，通过使用模态不变和特定的表 征确保保留表示真实或伪造内容的共同模式和每个模态的特定模式，实验证明该方法相比于单模态和多模态音 视频深度伪造检测的最先进方法能够提高 17.8% 和 18.4% 的准确性。

Oct, 2023

提出了一种新颖的自监督 MM-DistillNet 框架，利用多个教师的多样性模态（包括 RGB、深度和热成像）来同时利用互补线索并将知识蒸馏到单一的音频学生网络中，而且还引入了一种新的自监督假设任务来使我们不依赖于人工标注。该方法在探测物体方面具有优越性能，即使在移动的情况下也能使用声音来检测多个物体。

Mar, 2021