Dec, 2023

WAVER: 通过开放词汇知识提炼视觉语言模型实现写作风格无关的视频检索

PDF
TL;DRWAVER 是一种用于处理文本 - 视频检索任务中的写作风格变化的交叉领域知识蒸馏机制，通过利用预训练的视觉语言模型中的开放词汇属性，达到从教师模型向视觉学生模型转移文本知识的目的，并在四个标准基准数据集上的实证研究中取得了最先进的表现。
text-video retrievalmultimedia content managementwaverknowledge distillationwriting-style variations
发现论文，激发创造
  • VideoDistill: 视频问答的语言感知视觉蒸馏

    通过受到人类认知和学习模式的启发，我们提出了一种视频问题回答（VideoQA）的框架 VideoDistill，该框架在视觉感知和答案生成过程中具有语言感知（即以目标驱动为特征）的行为，通过思考、观察和回答的方式生成与问题相关的显著图像。

    Apr, 2024

  • VidLanKD: 通过视频提炼的知识转移来改进语言理解

    本文提出了一种名为 VidLanKD 的视频 - 语言知识蒸馏方法，通过在视频文本数据集上训练一个多模教师模型，再将其知识转移到一个文本数据集上的学生语言模型，以达到优化语言理解的目的。实验结果表明，VidLanKD 模型在多个语言理解任务上均取得了较好的效果。

    Jul, 2021

  • 跨模态通用蒸馏方法用于文本 - 视频检索

    这篇论文探索了利用大规模预训练的多个文本编码器设计的算法，提出了一种新颖的综合蒸馏方法 TeachText，并将其拓展应用到视频检索上，在多个视频检索基准上超过了现有技术，而且在测试时不会增加计算负荷。

    Apr, 2021

  • C2KD: 跨语言跨模态知识蒸馏在多语言文本 - 视频检索中的应用

    本研究提出了一种跨语言跨模态知识蒸馏的方法，使用跨语言文本数据训练学生模型，以匹配用英语文本数据训练的教师模型的跨模态预测。通过引入新的多语言视频数据集 Multi-youcook2 验证了该方法的有效性。

    Oct, 2022

  • 使用知识蒸馏的跨语言视觉语言模型训练 (cViL)

    本文提出了一种使用英文模型作为基础，在日语和印地语等其他语言上进行视觉问题回答的模型训练方法，并采用并行句子的知识蒸馏方法，相较于使用目标语言进行预训练的模型，大大减少了资源开销。通过构建大规模视觉问题回答数据集，实现了比现有技术提高了 4.4％和 13.4％的准确性。

    Jun, 2022

  • 基于文本的知识助力视觉：视频行为预测的简单跨模态蒸馏

    本研究将预训练语言模型中的知识转移应用于视觉模型中，以提高动作预测的效果，实验表明简单的蒸馏技术可以在两个动作预测数据集上实现一定的相对增益。

    Oct, 2022

  • 通过知识蒸馏开发多语言和混合编码的视觉问答系统

    提出一种基于知识蒸馏方法的英语语言 - 视觉模型拓展到同等效果的多语种和混合编码模型的方法，其使用多个中间层来逐步提取知识，同时在 11 种不同语言设置下创建大规模的多语种和混合编码的 VQA 数据集。

    Sep, 2021

  • 使用 Wasserstein 知识蒸馏提高神经主题模型

    本文提出了一种知识蒸馏框架，以压缩具有大内存占用的上下文化主题模型，而不会在主题质量上造成损失，并在两个公开数据集上进行实验以证明其有效性。

    Mar, 2023

  • 从阅读器向检索器提取知识以作问答之用

    本文提出了一种受到知识蒸馏启发的学习信息检索器的技术，在没有标注的查询和文档对的情况下，利用阅读器模型的注意力分数来获得检索器的合成标签，用于下游任务，最终在问题回答方面达到了最先进的结果。

    Dec, 2020

  • In-Style: 文本与未编辑视频之间的风格迁移用于文本 - 视频检索

    在没有手工标注的配对数据的情况下，提出了一种使用未经整理和未配对数据进行文本 - 视频检索的新设置，该方法通过学习文本查询的样式并将其传输到未经整理的网络视频来解决这个问题。通过引入多样式对比训练程序，提高了模型在多个数据集上的泛化能力，并在零样本文本 - 视频检索方面改进了最先进的性能。

    Sep, 2023