long-form videos | BriefGPT

关键词long-form videos

搜索结果 - 10

太多的帧，不全是有用的：长篇视频问答的高效策略
长篇视频中的关键帧选择和顺序感知字幕生成能够显著减少信息冗余，我们提出的 LVNet 框架通过两种新的方法在 LVQA 基准数据集上实现了最先进的性能。
PDF23 days ago
通过生成式预训练学习长形式视频首选权
通过使用视觉位置如边界框和关键点来表示视频中的关键信息，我们的方法利用生成式预训练技术（GPT）对长时视频进行学习，证明了其在长时视频先验学习中具有巨大潜力。
PDF2 months ago
CVPR大规模语言模型在视频摘要预训练中的扩展
利用大型语言模型生成大规模的视频摘要数据集，提出了一种新的视频摘要模型，并呈现了一个由专业人员注释的高质量摘要的基准数据集，实验证明该方法在多个基准测试中达到了最新的最佳效果。
PDF3 months ago
LSTP：语言引导的时空提示学习长文视频文本理解
通过引入一种名为语言导向的时空提示学习（LSTP）的新方法，利用时间信息高效提取相关视频内容，并巧妙捕捉视觉和文本元素之间的复杂空间关系，从而显著提高计算效率、时间理解和时空对齐，通过两个挑战性任务的实证评估，证明了我们提出的 LSTP 范
PDF4 months ago
MM寻找悬念：肥皂剧中的多模态剧情张力
使用多模态方法来预测片花价值，从长视频中选择适合制作片花的时刻是一项具有挑战性和耗时的任务，该方法在新引入的肥皂剧数据集上展示了预测片花价值的挑战并受益于多模态信息。
PDF5 months ago
MM-VID: 用 GPT-4V (ision) 推进视频理解
MM-VID 利用 GPT-4V 和图像、音频和语音的专用工具，提供综合系统来促进高级视频理解，尤其是解决长篇视频和涉及推理等复杂任务的挑战。通过使用 GPT-4V 进行视频转文本生成，MM-VID 能够将多模态元素转录为长文本脚本，从而实
PDF8 months ago
TESTA: 长篇视频 - 语言理解的时间空间令牌聚合
通过引入一种高效的方法 TESTA，我们提出了一个预训练视频语言模型，该模型在每个视频编码器块中配备了一个分割的时空令牌聚合模块，从而减少了可视令牌数量并提高了计算效率。
PDF8 months ago
ICCVMEGA: 电影视频分割的多模态对齐、聚合与蒸馏
本研究介绍了一种用于电影长视频分割的多模态对齐聚合与提取的方法（MEGA），该方法通过利用多个媒体模态来粗略对齐不同长度和不同模态的输入，并采用增强的瓶颈融合层和对比损失来保持时间同步并实现跨模态的标签转移与段落划分。实验结果表明，MEGA
PDF10 months ago
CVPR为长形视频理解选择性结构状态空间
本论文提出了一种轻量级掩膜生成器的技术，采用长短掩膜对 S4 模型进行改进，从而更有效、准确地模拟视频中的长期时空依赖关系，并在三个数据集上均取得了比之前最先进的 S4 模型更高的准确性，降低了 23％的内存占用。
PDFa year ago
CONE：一种针对长视频时间对齐的高效粗到细对齐框架
本文提出了一种名为 CONE 的窗口层级的粗细粒度多模态对齐框架，该框架通过使用对比学习进行识别候选窗口和排名候选时刻，从而提高视频时序定位的精确度和效率，在两个大规模视频时序定位基准测试中均取得了业界最佳成果。
PDF2 years ago