Jul, 2021

VidLanKD: 通过视频提炼的知识转移来改进语言理解

PDF
TL;DR本文提出了一种名为 VidLanKD 的视频 - 语言知识蒸馏方法，通过在视频文本数据集上训练一个多模教师模型，再将其知识转移到一个文本数据集上的学生语言模型，以达到优化语言理解的目的。实验结果表明，VidLanKD 模型在多个语言理解任务上均取得了较好的效果。
visual groundingvokenizationvideo-language knowledge distillationmulti-modal teacher modellanguage understanding
发现论文，激发创造
  • C2KD: 跨语言跨模态知识蒸馏在多语言文本 - 视频检索中的应用

    本研究提出了一种跨语言跨模态知识蒸馏的方法，使用跨语言文本数据训练学生模型，以匹配用英语文本数据训练的教师模型的跨模态预测。通过引入新的多语言视频数据集 Multi-youcook2 验证了该方法的有效性。

    Oct, 2022

  • VideoDistill: 视频问答的语言感知视觉蒸馏

    通过受到人类认知和学习模式的启发，我们提出了一种视频问题回答（VideoQA）的框架 VideoDistill，该框架在视觉感知和答案生成过程中具有语言感知（即以目标驱动为特征）的行为，通过思考、观察和回答的方式生成与问题相关的显著图像。

    Apr, 2024

  • 多视角知识蒸馏强鲁棒性再识别

    该研究旨在构建一种基于视角知识蒸馏（VKD）的模型，通过在 teacher-student 框架下将多种视角信息作为监督信号进行主动学习，从 Video-To-Video 到 Image-To-Video，显著提高了人、动物、车辆重识别的性能。

    Jul, 2020

  • 知识蒸馏的视觉语言模型压缩

    本文提出 VL distillation，使用知识蒸馏方法将基于 transformer 的大型 VL 模型压缩成小型 VL 模型，以提高图像字幕生成和视觉问答任务中的性能。

    Apr, 2021

  • KD-VLP: 用目标知识蒸馏改善端到端的视觉与语言预训练

    本文提出了一种基于图片格特征和语言信息的端到端多模式表示学习框架，其中使用自监督的对象知识蒸馏以提高跨模态对齐的准确性和效率，并在广泛的视觉和语言任务上取得了竞争性的表现。

    Sep, 2021

  • 数百万视频上的视觉语言模型蒸馏

    本研究利用合成的教学数据对图像语言基准进行微调，生成高质量的视频标题，构建适应视频和语言的模型，并在多个视频 - 语言基准上取得了显著结果。

    Jan, 2024

  • VideoAdviser: 多模态迁移学习的视频知识蒸馏

    提出了一种名为 VideoAdviser 的视频知识蒸馏方法，用于实现高效性能的多模块转移学习；通过使用基于 CLIP 的教师模型向基于 RoBERTa 的学生模型提供丰富的多模态知识监督信号，从而在多个挑战性的多模态任务中实现了有效的知识转移。

    Sep, 2023

  • 使用知识蒸馏的跨语言视觉语言模型训练 (cViL)

    本文提出了一种使用英文模型作为基础，在日语和印地语等其他语言上进行视觉问题回答的模型训练方法，并采用并行句子的知识蒸馏方法，相较于使用目标语言进行预训练的模型，大大减少了资源开销。通过构建大规模视觉问题回答数据集，实现了比现有技术提高了 4.4％和 13.4％的准确性。

    Jun, 2022

  • 从视觉语言模型中提炼，以改善视觉任务中的 OOD 泛化能力

    Vision-Language to Vision-Align, Distill, Predict (VL2V-ADiP) is a proposed approach that aligns vision and language modalities to distill pre-trained features and superior generalization for state-of-the-art results in Domain Generalization using Vision-Language Models like CLIP.

    Oct, 2023

  • 通过视觉语言知识蒸馏实现在 CLIP 上的多模态生成

    通过视觉 - 语言知识蒸馏 (VLKD) 增强双流 VLP 模型，使其具有多模态生成能力，实现开放式视觉问答和图像字幕等多模态生成任务的强零 - shot 性能。

    Mar, 2022