MMDec, 2023

RTQ：基于图文模型重新思考视频语言理解

PDF
TL;DR我们提出了一种名为 RTQ（Refine，Temporal model 和 Query）的新型框架，同时解决了视频语言理解中的信息冗余、时序依赖和场景复杂度等挑战，这种方法通过对帧内冗余信息的优化、建模帧之间的时序关系和从视频中查询任务特定信息来实现。令人惊讶的是，即使在无视频语言预训练的情况下，我们的模型也表现出色，并且结果与或优于最先进的预训练方法。
video-language understandingimage-text modelssemantic detailstemporal relationsvideo-language pre-training
发现论文，激发创造
  • 通过文本理解视频场景：来自基于文本的视频问答的洞察

    研究人员广泛研究了视觉和语言领域，发现理解场景需要理解视觉和文字内容，特别是在视频中理解文字对于回答问题非常重要。本文集中探索了两个最近推出的数据集，NewsVideoQA 和 M4-ViteVQA，这两个数据集旨在通过文字内容进行视频问答。NewsVideoQA 数据集包含与新闻视频中的文本相关的问答对，而 M4-ViteVQA 包含来自不同类别（如视频博客、旅游和购物）的问答对。我们在各个层面上分析了这些数据集的构建情况，探讨了回答问题所需的视觉理解和多帧理解的程度。此外，本研究还进行了与仅文本模型 BERT-QA 的实验，结果显示在这两个数据集上，BERT-QA 的表现与原始方法相当，指示了这些数据集构建上的不足之处。此外，我们还探讨了域适应方面的问题，通过在 M4-ViteVQA 上进行训练并在 NewsVideoQA 上进行评估以及反之，从而探讨了跨领域训练的挑战和潜在好处。

    Sep, 2023

  • 通过分离空间 - 时间建模学习视频问答的细粒度视觉理解

    该论文提出了一种新的视频 - 语言模型：去耦合的空间 - 时间编码器，通过将图像编码器中的空间模型独立于时间进行编码，将视频编码器中的时间模型放在较低的空间但更高的时间分辨率上进行编码并提出了一个新的预训练目标来帮助视频 - 语言模型学习视频 QA 中的时间关系以达到更好的视觉理解。

    Oct, 2022

  • 数百万视频上的视觉语言模型蒸馏

    本研究利用合成的教学数据对图像语言基准进行微调，生成高质量的视频标题，构建适应视频和语言的模型，并在多个视频 - 语言基准上取得了显著结果。

    Jan, 2024

  • 分析视觉语言模型在视频理解任务上的零样本能力

    我们通过对图像文本模型在视频理解任务中的泛化能力进行详细研究，发现这些模型在视频行动识别、视频检索和视频多项选择方面表现出强大性能，对视频字幕能力中等，对视频问答能力较差，这些结果揭示了在避免昂贵的预训练阶段的同时，将基础图像文本模型应用于各种视频任务的益处。

    Oct, 2023

  • 通过冻结大型语言模型实现零样本视频问答

    本研究提出一种简单而有效的 Retrieving-to-Answer 框架，通过预先训练的多模态模型从通用文本语料库中检索到一组语义上相似的文本，再与问题一起使用大型语言模型产生答案，可以在多个 VideoQA 基准测试中达到较高水平，并且无需跨模态微调。

    Jun, 2023

  • 时间感知的视频 - 语言预训练

    本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

    Jan, 2023

  • 用于高效长视频问答的基于检索的视频语言模型

    使用检索式视频语言模型为长视频问答提供了一种简单而有效的方法，通过识别和选择最相关的视频片段并使用其关联的视觉标记作为上下文，从而降低了视频令牌的数量，消除了噪音干扰，并提高了系统性能。

    Dec, 2023

  • 走向全面的语言 - 视频表示：语言模型增强的 MSR-Video 到文本数据集

    通过自动增强语言 - 视频数据集和多方位视频字幕生成方法，提高语言 - 视频表示能力，并通过多模态检索模型验证其有效性。

    Jun, 2024

  • OST: 优化时空描述符提升通用视频识别中的文本知识

    通过将大型语言模型应用于视频领域，进行语义空间的优化，从而改善图像 - 语言模型在视频数据上的性能限制，并提高视频识别的准确性。

    Nov, 2023

  • 重新审视视频语言理解中的 “视频

    通过提出 atemporal probe 模型，本文探讨了视频和语言任务中现有的模型的局限性和潜力，并发现即使在面向较深层次视频理解的基准测试中，理解事件时间通常也不是实现强大或最新技术的性能所必需的。

    Jun, 2022