CVPRApr, 2020

知识作为先验：跨模态知识泛化在无优先知识数据集上

PDF
TL;DR本文提出了一种名为 “跨模态知识普适” 的新方法，将一个以高级模态（教师）训练的模型中的知识传递给以较弱模态（学生）训练的另一个模型，同时不需要在教师数据集中配对数据。通过在参数上建模知识，来将源数据集中积累的跨模态知识泛化到目标数据集，最终在标准基准数据集上展示了 3D 手势估计的竞争性表现。
cross-modal knowledge distillation3d hand pose estimationtarget datasetsource datasetcross-modal knowledge generalization
发现论文，激发创造
  • 可学习的跨模态知识蒸馏在多模态学习中的应用与缺失模态

    本文提出了一种可学习的跨模态知识蒸馏（LCKD）模型，通过从最佳性能模态中提取有用信息，自适应地识别重要模态并将知识蒸馏给其他模态，从而解决了缺失模态问题，实验证明 LCKD 在肿瘤分割中的表现超过其他方法，分割 Dice 分数提高了 3.61％、5.99％和 3.76％。

    Oct, 2023

  • 跨模态知识蒸馏用于动作识别

    研究如何将针对 RGB 视频训练的行动识别网络适应于识别 3D 人体姿势序列这样的另一个模态，提出了一种基于互相学习的小型学生网络集成和交叉模态知识蒸馏的方法，使得几乎达到了使用完全监督训练的学生网络的精度。

    Oct, 2019

  • 感知模态聚焦假设：跨模态知识蒸馏的理解

    本文主要探讨了跨模态知识迁移中知识蒸馏的机制，并提出使用模态 Venn 图和模态聚焦假设来提高跨模态知识迁移的有效性。通过对 6 个多模态数据集的实验结果，证明了作者的假设，并指向未来的改进方向。

    Jun, 2022

  • 增强多模态学习：元学习的跨模态知识蒸馏处理缺失模态

    我们提出了一种称为元学习的跨模态知识蒸馏的新方法，可以使多模态模型在缺少重要模态的情况下仍具有高准确性。该方法通过自适应估计每种模态的重要性权重，并利用跨模态知识蒸馏将高重要性权重的模态的知识转移到低重要性权重的模态上，从而产生高准确性模型。该方法在多个任务中有效，并实验结果表明在脑肿瘤分割和音视觉 - MNIST 分类方面，优于现有的模型。

    May, 2024

  • 跨模态对比学习蒸馏理论研究

    跨模态蒸馏是一个重要主题，用于包含有限知识的数据模态，如深度图和高质量素描。我们提出了一个基于对比学习的跨模态对比蒸馏（CMCD）的通用框架，该框架利用正负对应关系更好地蒸馏可泛化的特征，并在实验结果和收敛分析中验证了源模态和目标模态之间的距离对目标模态下游任务的测试误差有着显著影响。

    May, 2024

  • 多模态到单模态的分割网络知识蒸馏

    本文介绍了一个用于医学图像分割的 KD-Net 框架，该框架可以从一个多模态网络（teacher）向一个单模态网络（student）传输知识，证明了其在使用 BraTS 2018 数据集进行脑肿瘤分割任务时，有效提高了分割的准确性。

    Jun, 2021

  • 跨模态知识蒸馏增强的多模态表征学习

    本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

    Jun, 2023

  • MSD: 多模态理解中的显著性感知知识蒸馏

    研究对知识蒸馏在多模态数据集上的应用，提出了一种多模态知识蒸馏框架 MSD，其中引入辅助损失项和基于显著度得分的加权方案以及基于权重学习的方法，实验结果表明 MSD 比 KD 在四个多模态数据集上表现更好。

    Jan, 2021

  • 多模态知识扩展

    该研究提出了一种新的基于知识蒸馏的多模态知识增强 (MKE) 框架，能够有效利用大量未标记的多模态数据，并将该框架与半监督学习机制联系起来，提出了关于多模态学生模型去噪能力的理论解释。

    Mar, 2021

  • 跨模态迁移的学习模态知识对齐

    通过进行一系列实验，本研究揭示了模态间差距与知识重用程度之间的关联，定义了作为模态知识差异的知识不匹配性，并提出了模态知识对齐元学习方法（MoNA）来减小模态间的知识差异，实验证明该方法可以在跨模态迁移中更好地重用源模态知识，并改进现有的微调方法。

    Jun, 2024