Apr, 2024

应对测试时自鸣镜视频中的缺失模态

PDF
TL;DR通过测试时间自适应的方式，本研究提出了一种用于处理缺失模态的自监督在线解决方案，称为 MiDl（具有自我蒸馏的互信息）。通过最小化预测和可用模态之间的互信息，该方法鼓励模型对测试中存在的特定模态源不敏感。此外，我们还采用了自我蒸馏方法，以在两种模态都可用时保持模型的原始性能。MiDl 无需重新训练，在各种预训练模型和数据集上进行的实验表明，其实现了显著的性能改善。
egocentric videosmultiple modalitiestest-time adaptationmissing modalitiesself-distillation
发现论文，激发创造
  • 探索多模式自为视角数据集中的缺失模态

    本研究通过引入 Missing Modality Token（MMT）的新概念，综合分析了缺失模态对自我中心动作识别的影响，并证明了 MMT 方法在处理缺失模态时的优越性。

    Jan, 2024

  • 可学习的跨模态知识蒸馏在多模态学习中的应用与缺失模态

    本文提出了一种可学习的跨模态知识蒸馏（LCKD）模型，通过从最佳性能模态中提取有用信息，自适应地识别重要模态并将知识蒸馏给其他模态，从而解决了缺失模态问题，实验证明 LCKD 在肿瘤分割中的表现超过其他方法，分割 Dice 分数提高了 3.61％、5.99％和 3.76％。

    Oct, 2023

  • 增强多模态学习：元学习的跨模态知识蒸馏处理缺失模态

    我们提出了一种称为元学习的跨模态知识蒸馏的新方法，可以使多模态模型在缺少重要模态的情况下仍具有高准确性。该方法通过自适应估计每种模态的重要性权重，并利用跨模态知识蒸馏将高重要性权重的模态的知识转移到低重要性权重的模态上，从而产生高准确性模型。该方法在多个任务中有效，并实验结果表明在脑肿瘤分割和音视觉 - MNIST 分类方面，优于现有的模型。

    May, 2024

  • 自我中心行为识别的多模态蒸馏

    本文研究了如何在仅使用 RGB 帧作为输入的情况下，保持多模态方法的性能表现，进而采用多模型知识蒸馏框架来处理这个问题，并在输入视角数量减少的情况下展示了更高的性能。

    Jul, 2023

  • 跨模态知识蒸馏增强的多模态表征学习

    本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

    Jun, 2023

  • 多流网络的模态蒸馏用于动作识别

    本研究提出了一种新的多模态视频动作识别方法，利用 RGB 数据以外的深度数据进行训练，在测试时利用 RGB 数据进行分类，通过精简网络来进行深度特征的提取，经过实验得到了目前最佳的分类结果。

    Jun, 2018

  • 利用对抗性判别式模态蒸馏技术学习含特殊信息的数据

    本研究针对深度学习中的异构数据模态问题提出了一种新的方法 —— 基于对抗学习与特权信息框架下的 RGB-D 视觉任务的幻象网络训练方法，旨在从深度和 RGB 视频中提取信息，使得在测试时，只需要使用 RGB 数据即可。这一方法在 NYUD 数据集的目标分类和最大多模态视频行为识别数据集（NTU RGB+D）以及美国西北大学加洛斯高等研究院的数据集上均取得了领先的结果。

    Oct, 2018

  • I$^2$MD：带有内外模态相互蒸馏的三维动作表征学习

    介绍了一种新的互模态和内模态的相互蒸馏框架，通过改进跨模态交互和解决相似样本干扰问题，实现了自监督学习，在三个数据集上取得了新的记录。

    Oct, 2023

  • 借宝于邻：针对多模态学习的上下文学习在缺失模态和数据稀缺情况下的应用

    通过使用检索增强上下文学习来解决多模态机器学习中缺失模态和样本有限的问题，提高分类模型性能和样本效率。

    Mar, 2024

  • 基于模态感知的对比实例学习与自监督蒸馏用于弱监督的音视频暴力检测

    本文提出一种基于弱监督学习的音视频暴力检测方法，通过模态感知对比学习与自我蒸馏策略，有效地提高了音视频一致性，克服了多通道学习中的异质性问题，并在大规模 XD-Violence 数据集上达到更优的检测性能。

    Jul, 2022