CVPRApr, 2021

通过知识蒸馏应对视觉问答差异预测任务中的缺失模态

PDF
TL;DR本文提出了一种新颖的方法来解决视觉问答 - 差异预测任务中由缺失模态引起的问题，使用特权知识蒸馏方案来处理测试时缺少的基本真相答案，通过一个采用图像 / 问题 / 答案三元组作为输入的 “大型” 教师模型以及一种将知识蒸馏到以图像 / 问题对作为输入的目标网络（学生）的模型组合，我们在 VizWiz 和 VQA-V2 答案差异数据集上进行了实验证明了我们的方法的性能和未来研究的多样性。
visual question answer-differencemissing modalitiesprivileged knowledge distillationbig teacher modelvqa-v2 answer difference datasets
发现论文，激发创造
  • 通过知识蒸馏开发多语言和混合编码的视觉问答系统

    提出一种基于知识蒸馏方法的英语语言 - 视觉模型拓展到同等效果的多语种和混合编码模型的方法，其使用多个中间层来逐步提取知识，同时在 11 种不同语言设置下创建大规模的多语种和混合编码的 VQA 数据集。

    Sep, 2021

  • 可学习的跨模态知识蒸馏在多模态学习中的应用与缺失模态

    本文提出了一种可学习的跨模态知识蒸馏（LCKD）模型，通过从最佳性能模态中提取有用信息，自适应地识别重要模态并将知识蒸馏给其他模态，从而解决了缺失模态问题，实验证明 LCKD 在肿瘤分割中的表现超过其他方法，分割 Dice 分数提高了 3.61％、5.99％和 3.76％。

    Oct, 2023

  • 知识作为先验：跨模态知识泛化在无优先知识数据集上

    本文提出了一种名为 “跨模态知识普适” 的新方法，将一个以高级模态（教师）训练的模型中的知识传递给以较弱模态（学生）训练的另一个模型，同时不需要在教师数据集中配对数据。通过在参数上建模知识，来将源数据集中积累的跨模态知识泛化到目标数据集，最终在标准基准数据集上展示了 3D 手势估计的竞争性表现。

    Apr, 2020

  • MSD: 多模态理解中的显著性感知知识蒸馏

    研究对知识蒸馏在多模态数据集上的应用，提出了一种多模态知识蒸馏框架 MSD，其中引入辅助损失项和基于显著度得分的加权方案以及基于权重学习的方法，实验结果表明 MSD 比 KD 在四个多模态数据集上表现更好。

    Jan, 2021

  • 在视觉问答中通过模态感知特征蒸馏增强连续学习

    模态感知特征蒸馏在多模态连续学习中表现出优于现有基准方法的结果，并强调了解决模态特定动态性的重要性以防止遗忘。

    Jun, 2024

  • 知识蒸馏的视觉语言模型压缩

    本文提出 VL distillation，使用知识蒸馏方法将基于 transformer 的大型 VL 模型压缩成小型 VL 模型，以提高图像字幕生成和视觉问答任务中的性能。

    Apr, 2021

  • 面向基于知识的视觉问答的多模式逆填空任务

    本文提出一种基于预训练的多模态逆推理任务方法，用于解决基于知识库的视觉问答，该方法适用于不同的神经网络架构，相比于没有预训练的基准模型，检索和阅读理解的相对 MRR 和相对 F1 分别提高了 9% 和 15%。

    Jan, 2023

  • 增强多模态学习：元学习的跨模态知识蒸馏处理缺失模态

    我们提出了一种称为元学习的跨模态知识蒸馏的新方法，可以使多模态模型在缺少重要模态的情况下仍具有高准确性。该方法通过自适应估计每种模态的重要性权重，并利用跨模态知识蒸馏将高重要性权重的模态的知识转移到低重要性权重的模态上，从而产生高准确性模型。该方法在多个任务中有效，并实验结果表明在脑肿瘤分割和音视觉 - MNIST 分类方面，优于现有的模型。

    May, 2024

  • 跨模态知识蒸馏增强的多模态表征学习

    本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

    Jun, 2023

  • 利用问题类型先验知识的多重交互学习，限制视觉问答中的答案搜索空间

    这篇论文提出了一种新的 VQA 模型，利用问题类型先验信息，通过利用不同联合模态方法在回答不同类型的问题时的行为之间的多重交互来优化 VQA，实验表明该方法表现最佳。

    Sep, 2020