Nov, 2023

VideoCon: 强大的视频 - 语言对齐通过对比字幕

PDF
TL;DR通过介绍 VideoCon，我们的研究在应对视频字幕中语义上合理的对比变化方面改进了视频 - 语言对齐模型的鲁棒性，提出了一个广泛的对比失配频谱，并通过一个大规模语言模型构建了基于对比视频字幕的 VideoCon 对齐数据集，我们的对齐模型在人为生成的对比字幕上在视频 - 语言对齐任务中的 AUC 指标上有了 12 个百分点的提升，同时在诸如文本到视频检索（SSv2-Temporal）和视频问答（ATP-Hard）等时间广泛的视频 - 语言任务中表现出了零 - shot 的最新性能。
发现论文，激发创造
  • 数百万视频上的视觉语言模型蒸馏

    本研究利用合成的教学数据对图像语言基准进行微调，生成高质量的视频标题，构建适应视频和语言的模型，并在多个视频 - 语言基准上取得了显著结果。

    Jan, 2024

  • COSMO：简化的对比多模态流模型与交错预训练

    在视觉语言预训练的演变过程中，从短文理解到包含扩展文本上下文具有关键作用。通过引入对比损失到文本生成模型中，本文提出了一种结合对比学习和多模态处理的统一框架 (ModelName)，在涉及文本和视觉数据的任务中，显著提高模型性能，同时降低学习参数。此外，本文介绍了一个首个交叉视频 - 文本数据集 (VideoDatasetName)，通过全面的字幕，进一步增强模型在图像 - 文本任务中的性能。

    Jan, 2024

  • 扩展语言图像预训练模型以实现通用视频识别

    本文提出一种简单有效的方法，将预先训练好的语言 - 图像模型直接应用于视频识别中，使用跨帧注意力机制及视频特定提示方案，实现对长时序列的检测，提高了零样本下的准确率。

    Aug, 2022

  • 透过对比预训练提升的评论辅助视频语言对齐用于短视频幽默检测

    提出了一种新颖的两分支分层模型用于短视频幽默检测 (SVHD)，命名为 Comment-aided Video-Language Alignment (CVLA)，该模型通过数据增强的多模态对比性预训练，在各种模态通道上对原始信号进行操作，并通过在一致的语义空间中对齐视频和语言组件，得到合适的多模态表示。实验结果表明，CVLA 在 DY11k 和 UR-FUNNY 两个幽默检测数据集上远远超越了最先进的方法和几种竞争性基准方法。

    Feb, 2024

  • VidLA: 视频 - 语言对齐的大规模实现

    我们提出了 VidLA，这是一种用于大规模视频 - 语言对齐的方法，通过在不同时间分辨率上使用一组数据令牌，以层次化的方式捕捉短程和长程的时间依赖关系，并通过简单的双塔架构，使用预训练的图像 - 文本基础模型来提高最终性能。此外，我们利用最近的 LLMs 构建了迄今为止规模最大的视频 - 语言数据集，包含不同长度的视频片段，以帮助在不同时间尺度下提取更好的表示。实验证明，我们的方法在多个检索基准上超过了现有的最先进方法，特别是在较长的视频上，并在分类基准上具有竞争力。

    Mar, 2024

  • 无需对齐视频和文本数据的可伸缩精准的自监督多模态表征学习

    本文介绍了利用图像字幕预训练高质量视频模型的方法，并证明了以图像字幕代替自动语音识别字幕的预训练方法更有效，使用图像和视频一起进行预训练比单独使用一种模式的预训练能显著提高网络性能，并且这种方法可以与现有的预训练或数据挖掘方法相辅相成。

    Apr, 2023

  • BigVideo：一份大规模视频字幕翻译数据集，用于多模式机器翻译

    本研究提出了一个大规模的视频字幕翻译数据集 BigVideo，用于促进多模态机器翻译的研究；在跨模态编码器中引入了对比学习方法，结果表明视觉信息能够显著提高 NMT 模型的性能并帮助消除歧义。

    May, 2023

  • 视频文字弱监督对齐

    本文提出了一种方法来自动对齐视频和文本，并使用向量特征将其视为时间分配问题，最终得出整数解决方案，这在对齐视频与符号标签方面取得了显着的改进并在具有相关文本说明的挑战性数据集上进行了评估。

    May, 2015

  • 对比多模态预训练理解中文视频和语言

    本文提出了一种新型的视频 - 语言理解框架 VICTOR，通过对比学习范式构建了几个新型代理任务，使模型在不同角度能够更稳健并能够捕捉更多复杂的多模态语义和结构关系。通过在一个包括 10,000,000 个视频及其相应高质量文本描述的大规模中文视频语言数据集上训练 VICTOR，我们在一系列下游应用中展示了其优越的性能，并与 VideoBERT 和 UniVL 等先进的预训练方法进行了比较。

    Apr, 2021

  • 使用实体提示进行语言及视频预训练

    本文提出了一种高效且有效的视频和语言预训练框架 ——Align and Prompt，通过提出视频 - 文本对比（VTC）损失和提示实体建模（PEM）任务来更好地跨模态对齐，从而学习精细的区域 - 实体对齐，与以前的方法相比取得了显着性能提升。

    Dec, 2021