video-language modeling | BriefGPT

关键词video-language modeling

搜索结果 - 5

LSTP：语言引导的时空提示学习长文视频文本理解
通过引入一种名为语言导向的时空提示学习（LSTP）的新方法，利用时间信息高效提取相关视频内容，并巧妙捕捉视觉和文本元素之间的复杂空间关系，从而显著提高计算效率、时间理解和时空对齐，通过两个挑战性任务的实证评估，证明了我们提出的 LSTP 范
PDF4 months ago
AAAIREAD-PVLA: 低资源视频 - 语言建模中的参数高效迁移学习的循环适配器及部分视频 - 语言对齐
针对预训练大规模 Transformer 模型在视频 - 语言建模任务中存在的存储成本高和训练不稳定等问题，本文提出了一种轻量级适配器方法，通过引入循环计算和部分最优传输来捕捉视频帧和文本单词之间的时间关系，以及保留任务相关信息，并在多个低
PDF7 months ago
半参数视频文本生成
通过对数据存储库中的视频采用非参数帧检索器进行预处理，将其与查询一起进行聚合，从而有效地表示长时间未修剪的视频的可扩展视频 - 语言建模新视角。在四个视频 - 语言数据集上达到了新的技术水平。
PDFa year ago
通过分离空间 - 时间建模学习视频问答的细粒度视觉理解
该论文提出了一种新的视频 - 语言模型：去耦合的空间 - 时间编码器，通过将图像编码器中的空间模型独立于时间进行编码，将视频编码器中的时间模型放在较低的空间但更高的时间分辨率上进行编码并提出了一个新的预训练目标来帮助视频 - 语言模型学习视
PDF2 years ago
VIOLET: 基于端到端视频 - 语言变换器的遮蔽视觉令牌建模
VIOLET 是一个采用视频变换器来显式建模视频输入的全尺寸端到端视频语言变换器，通过设计一个新的预训练任务 Masked Visual-token Modeling（MVM）进行更好的视频建模，综合分析证明了其显式时间建模和 MVM 的有
PDF3 years ago