video-language pre-training | BriefGPT

关键词video-language pre-training

搜索结果 - 11

统一的视频 - 语言联合预训练与同步音频
我们提出了一种增强的视频语言预训练框架，使用同步音频，可以在统一的自监督转换器中学习三模态表示。我们的模型在仅使用 90 万条数据进行预训练的情况下，取得了相对于现有基准的改进结果，并通过定性可视化展示了其在学习有区分性的视觉文本表示方面的
PDF2 months ago
Video-LaVIT：统一的视频 - 语言预训练与解耦的视觉 - 运动词汇编
本文介绍了一种用于视频 - 语言预训练的高效视频分解的方法，该方法通过设计良好的分词器将视觉和时间信息离散化为少量的标记，从而使大规模生成式预训练能够统一视频、图像和文本内容。在图像和视频的理解和生成的 13 个多模态基准测试中，我们提出的
PDF5 months ago
MMRTQ：基于图文模型重新思考视频语言理解
我们提出了一种名为 RTQ（Refine，Temporal model 和 Query）的新型框架，同时解决了视频语言理解中的信息冗余、时序依赖和场景复杂度等挑战，这种方法通过对帧内冗余信息的优化、建模帧之间的时序关系和从视频中查询任务特定
PDF7 months ago
TESTA: 长篇视频 - 语言理解的时间空间令牌聚合
通过引入一种高效的方法 TESTA，我们提出了一个预训练视频语言模型，该模型在每个视频编码器块中配备了一个分割的时空令牌聚合模块，从而减少了可视令牌数量并提高了计算效率。
PDF8 months ago
EgoVLPv2: 骨干网络中融合的自我中心视频语言预训练
本文介绍第二代自我中心视频 - 语言预训练 (EgoVLPv2)，通过将跨模态融合直接纳入视频和语言主干网络，学习强大的视频文本表示，并在下游任务中灵活有效地支持不同的任务，并且我们提出的主干融合策略比堆叠额外的融合特定层更轻量化和计算效率
PDFa year ago
时间感知的视频 - 语言预训练
本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。
PDFa year ago
用于高效视频文本检索的掩码对比预训练
本文提出了一种简单而有效的视频 - 语言预训练框架，用于视频 - 文本检索任务，并采用掩蔽对比视频 - 语言预训练进行了优化，以提高预训练效率和性能，并实现了与图像 - 文本检索任务的竞争结果。
PDF2 years ago
SMAUG：用于高效视频语言预训练的稀疏掩蔽自编码器
研究报告介绍了一个高效的视频语言模型预训练框架 ——SMAUG，该框架采用掩蔽自编码器、时空标记稀疏模块等多种设计，旨在实现视觉和文本模态之间更好的交叉模态对齐、节省更多的预训练成本，并在多个基准测试上具有极高的性能。
PDF2 years ago
ICLRCLIP-ViP：基于预训练图文模型的视频语言表示对齐
通过对数据规模和语言源域差异的研究，本文提出了一种基于 CLIP 的 OmniSource 跨模态学习方法，称为 CLIP-ViP，通过视频代理机制改进后续预训练 CLIP，从而实现显著提高视频 - 文本检索的性能。该方法在多个数据集上均取
PDF2 years ago
CVPR针对检索的目标感知视频语言预训练
本文提出了基于物体感知的 Transformer 模型 Object-aware Transformers，使用边界框和物体标签来引导训练过程，将对象表示法引入视频 - 语言架构中，从而提高了视频文本匹配任务的性能。
PDF3 years ago
CUPID: 视语表征学习的预训练数据自适应筛选
该论文关于视频语言预训练和表示学习，提出了一种简单而有效的框架 CUPID，通过过滤和适应源数据到目标数据基于领域的预训练，有效地实现了源 - 目标域的迁移并提高了性能表现，是多种视频语言任务的新的最优解。
PDF3 years ago