Jul, 2022

Clover: 一种统一的视频语言对齐和融合模型

PDF
TL;DR本文提出了 Clover 方法，通过一种新颖的三模式对齐预训练任务，提高了跨模式特征对齐和融合，同时通过从语义掩蔽样本学习和新的成对排名损失增强三模式对齐。Clover 在多个下游任务中取得了新的最先进水平，包括零 - shot 和微调设置下的三个检索任务和八个视频问答任务。
universal video-language modelclovervideo understanding taskscross-modal feature alignmenttri-modal alignment pre-training
发现论文，激发创造
  • UniVL: 用于多模态理解和生成的统一视频与语言预训练模型

    本论文提出了 UniVL：一种统一的视频和语言预训练模型，旨在为多模态理解和生成任务提供强大的视频和文本表示，并通过五个目标以及分阶段和增强视频表示的预训练策略来训练各组件，最终在五个下游任务上实现了最新的成果。

    Feb, 2020

  • 用于多通道视频 - 语言检索的预训练对比模型的快速适应

    探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

    Jun, 2022

  • VLM: 任务无关的视频语言模型预训练，用于视频理解

    提供了一种简化、任务无关的多模态预训练方法，可以接受视频或文本输入，或两者皆可用于各种端任务。实验结果表明，在多种任务中表现出比以前的方法更强的性能，通常优于任务特定的预训练。

    May, 2021

  • 视频与语言联系定位的多级对齐训练方案

    本文着眼于视频和语言之间的语义联系，提出了一种多级对齐训练方案，基于信息相似性从高层次的上下文到细粒度的语义，通过对称损失来对齐视频和语言的编码，从而在共享特征空间中确保相似信息紧密编码而不同语义的信息保持分开。我们的多级对齐训练可应用于各种视频和语言接地任务。连同任务特定的训练损失，我们的框架在多个视频 QA 和检索数据集上实现了与先前现有技术的可比较性能。

    Apr, 2022

  • 视频银行：融合和解耦增强跨模态生成

    该研究提出了一种名为 Video-Teller 的视频语言基础模型，通过多模态融合和细粒度模态对齐来显著增强视频到文本生成任务。实验结果表明，该模型在准确理解视频和生成连贯且精确的语言描述方面取得了显著效果。

    Oct, 2023

  • LAVENDER: 统一视频 - 语言理解作为遮蔽语言建模

    本文提出了一种名为 LAVENDER 的统一的视觉 - 语言框架，它使用遮蔽语言建模作为所有预训练及下游任务的共同接口，从而实现了简化的模型架构，并在 14 个视频 - 语言基准测试中取得了竞争力的表现。

    Jun, 2022

  • OmniVL: 图像 - 语言和视频 - 语言任务的基础模型

    OmniVL 提出了一种新的基础模型，它通过使用一种通用架构来支持图像语言和视频语言任务，采用了一种统一的基于 Transformer 的视觉编码器，以此来实现联合图像语言和视频语言的预训练，并展示了这种范式的好处，并且这种模型能够同时支持视觉任务，跨模态任务和多模态理解。

    Sep, 2022

  • 时间感知的视频 - 语言预训练

    本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

    Jan, 2023

  • WenLan：大规模多模态预训练桥接视觉和语言

    本文介绍了作者团队领导的 “文兰” 项目的主要研究方向，即通过两个塔的 BriVL 预训练模型和跨模态对比学习框架的先进算法，隐式地建模跨模态关联，从而更成功地实现大规模多模态预训练。同时，他们还建立了一个大规模的中文多源图像文本语料库，称为 RUC-CAS-WenLan，用于 BriVL 模型的预训练。实验结果表明，预训练的 BriVL 模型在各种下游任务中的性能优于 UNITER 和 OpenAI CLIP。

    Mar, 2021

  • Unicoder-VL: 一个视觉语言通用编码器，通过交叉模态预训练实现

    通过联合学习视觉和语言的表示，Unicoder-VL 提供了一个通用编码器，采用多任务交叉训练，包括掩码语言建模，掩码对象分类和视觉语言匹配等。在大规模图像字幕预训练之后，Unicoder-VL 可用于基于字幕的图像文本检索和视觉常识推理，取得了领先或可比的结果，展示了交叉模态预训练的强大能力。

    Aug, 2019