ICCVAug, 2023

Tem-adapter: 图像文本预训练方法用于视频问答

PDF
TL;DR通过引入 Tem-Adapter，结合视觉时间对齐器和文本语义对齐器，利用图像预训练的知识来弥合图像和视频领域之间的差距，以实现学习时间动力学和复杂语义的目的，并通过两个 VideoQA 基准测试验证了该方法的有效性。
video-language pre-trained modelsknowledge adaptationvideo question-answeringtemporal dynamicssemantic aligner
发现论文，激发创造
  • 时间感知的视频 - 语言预训练

    本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

    Jan, 2023

  • 文本 - 视频检索的跨模态适配器

    提出了一种跨模态适配器（Cross-Modal Adapter）方法，对预训练模型进行参数高效微调，可在多模态模型上减少 99.6％的参数、节省 30％的训练时间以及共享预训练模型， 在 MSRVTT、MSVD、VATEX、ActivityNet 和 DiDeMo 数据集上实现了优异或可比的性能。

    Nov, 2022

  • 文本到视频模型的概率适应

    探索如何适应大规模预训练的文本到视频模型到多个下游领域和任务而无需微调的问题，我们提出了 Video Adapter，它利用了大型预训练视频扩散模型的分数函数作为概率先验来指导任务特定的小型视频模型的生成，实验结果表明 Video Adapter 能够将大型预训练视频模型的广泛知识和高保真度融合到能够在动画、自我建模和模拟以及真实世界机器人数据建模等多种任务中生成高质量且专业的视频。

    Jun, 2023

  • 对齐前调整：利用实体到区域对齐的方法实现可迁移的视频动作识别

    大规模视觉语言预训练模型在各种视频任务中取得了显著的成功。本文提出了一种新的 “事前对齐，然后自适应”（ALT）范例，通过对每帧进行实体到区域的对齐来解决从静态图像到复杂活动概念的映射挑战，并使用 VLP 的视觉 - 语言对齐进行自适应，以帮助理解行为和复杂活动语义之间的差距。

    Nov, 2023

  • 使用实体提示进行语言及视频预训练

    本文提出了一种高效且有效的视频和语言预训练框架 ——Align and Prompt，通过提出视频 - 文本对比（VTC）损失和提示实体建模（PEM）任务来更好地跨模态对齐，从而学习精细的区域 - 实体对齐，与以前的方法相比取得了显着性能提升。

    Dec, 2021

  • 通过文本到视频模型的调整实现多样和一致的音视频生成

    生成多样化和逼真的视频，根据语义类别广泛的自然音频样本进行引导。采用了基于轻量级适配器网络的方法，将音频基础表示映射到文本 - 视频生成模型所期望的输入表示，实现了对文本、音频以及文本和音频的生成视频。在三个数据集上验证了该方法，展示了生成的音频视频样本的显著语义多样性，并提出了一种新的评估度量（AV-Align）以评估生成视频与输入音频样本的对齐性。与最新的先进方法相比，我们的方法生成的视频在内容和时间轴上都与输入音频更好地对齐，并且呈现更高的视觉质量和多样性。

    Sep, 2023

  • 从特征和样本的视角重新思考视频问答中的多模态对齐

    本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在 NExT-QA 基准测试上表现出很高的性能。

    Apr, 2022

  • 通过分离空间 - 时间建模学习视频问答的细粒度视觉理解

    该论文提出了一种新的视频 - 语言模型：去耦合的空间 - 时间编码器，通过将图像编码器中的空间模型独立于时间进行编码，将视频编码器中的时间模型放在较低的空间但更高的时间分辨率上进行编码并提出了一个新的预训练目标来帮助视频 - 语言模型学习视频 QA 中的时间关系以达到更好的视觉理解。

    Oct, 2022

  • 使用 CLIP 引导的视觉文本注意力进行视频问答

    本文提出了一种利用 Contrastive Language-Image Pre-training（CLIP）作为跨模态学习指导的 Visual-Text Attention 机制来应用于视频问答任务。在特定领域中提取视频和文本特征后，利用 CLIP 对一组通用知识域上视觉 - 文本特征进行特征提取，并提出了交叉域学习来提取目标域和通用域间的视觉和语言特征之间的注意力信息，将特征集成用于迁移学习，结果表明这种方法优于现有的最先进方法。

    Mar, 2023

  • 揭示视频问答的时间背景

    本文提出了一个基于循环神经网络的编码器 - 解码器方法，利用双通道排名损失来回答带有时间维度的选择题，同时探讨了 “填空题” 形式的方法来更细致地理解视频内容，并从 TACoS、MPII-MD、MEDTest 14 数据集中收集了超过 1,000 小时的 109,895 视频片段和 390,744 个对应的问题。大量实验表明，我们的方法显著优于已有的基准模型。

    Nov, 2015