May, 2023

TVTSv2：学习开箱即用的大规模时空视觉表示

PDF
TL;DR本论文分析了导致视频模型性能下降的因素 —— 语言监督失真，提出了一种去除降级的预训练策略，并采用排序任务同时使用掩蔽技术进行可扩展的训练，得到了一系列新的模型。
foundation modelstask-agnosticspatiotemporal signalstext encoderpre-training strategy
发现论文，激发创造
  • 从自然剧本知识中学习可转移的时空表示

    本研究提出了一种利用语义转录排序来增强可转移的时空表示学习的方法，通过将视觉模型与自然转录的语言知识结合起来，使视频模型能够在时间上建立背景并重塑叙述性的转录，从而实现在多样化数据集上表现出色。

    Sep, 2022

  • SViTT: 稀疏视频文本 Transformer 的时间学习

    通过引入边缘稀疏性和节点稀疏性的 SViTT 稀疏视频文本架构可以以较低的成本进行多帧推理，优于朴素变压器基线，并对多个视频文本检索和问答基准进行了训练，以及在更长的片段长度下是针对模型稀疏性（sparsity）进行了培训。

    Apr, 2023

  • 对比预训练视频优先编码器的简单配方：超过 16 帧

    我们研究了长时间、真实世界的视频，发现了视频与文本模型的两个限制：空间能力不足和内存消耗过高。通过分析不同的高效方法进行内存 / 准确度权衡，我们发现简单地遮盖视频的大部分内容是扩展编码器的一种最有效方式。我们提出的简单方法，能够训练具有 10 亿参数的长视频到文本模型，并在长时间依赖性基准测试中胜过更大的信息聚合模型。

    Dec, 2023

  • OST: 优化时空描述符提升通用视频识别中的文本知识

    通过将大型语言模型应用于视频领域，进行语义空间的优化，从而改善图像 - 语言模型在视频数据上的性能限制，并提高视频识别的准确性。

    Nov, 2023

  • 自监督视频 Transformer

    本研究提出了一种基于未标记视频数据进行自监督训练的视频 Transformer 方法。通过使用不同的空间大小和帧速率创建局部和全局的时空视图，实现了视频内 actions 的时空不变性，并且该方法不再需要使用负样本或专用存储器。该方法在动作识别基准数据集（Kinetics-400，UCF-101，HMDB-51 和 SSv2）上表现出色，并能够在小批量的情况下更快地收敛。

    Dec, 2021

  • 凝固的时间：一种用于端到端检索的联合视频和图像编码器

    本研究目标是视频文本检索 - 特别是一种联合嵌入，可以实现高效的文本到视频检索。作者们提出了一种端到端可训练的模型，旨在利用大规模的图像和视频字幕数据集。该模型是近期 ViT 和 Timesformer 框架的改进扩展，包括时间和空间方面的注意力机制。通过训练 WebVid-2M 数据集，作者们表明这种方法在标准下游的视频检索基准测试中取得了最先进的结果。

    Apr, 2021

  • 通过分离空间 - 时间建模学习视频问答的细粒度视觉理解

    该论文提出了一种新的视频 - 语言模型：去耦合的空间 - 时间编码器，通过将图像编码器中的空间模型独立于时间进行编码，将视频编码器中的时间模型放在较低的空间但更高的时间分辨率上进行编码并提出了一个新的预训练目标来帮助视频 - 语言模型学习视频 QA 中的时间关系以达到更好的视觉理解。

    Oct, 2022

  • 扩展语言图像预训练模型以实现通用视频识别

    本文提出一种简单有效的方法，将预先训练好的语言 - 图像模型直接应用于视频识别中，使用跨帧注意力机制及视频特定提示方案，实现对长时序列的检测，提高了零样本下的准确率。

    Aug, 2022

  • 时间至上：为视频 Transformer 提供时间自监督

    本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

    Jul, 2022

  • 无监督时空表征学习大规模研究

    本文通过对四个最新的基于图像的视角的统一，提出了一种可以很好地概括所有这些方法的简单目标，该目标鼓励同一视频中的时间持久特征，在不同的无监督框架、预训练数据集、下游数据集和骨干架构中效果惊人，我们从该研究中得出了一系列有趣的观察结果，例如，即使时间跨度为 60 秒，鼓励长时间持久性也可以很有效。

    Apr, 2021