video understanding | BriefGPT

关键词video understanding

搜索结果 - 168

InfiniBench：用于非常长视频理解的大规模多模态模型综合基准测试
理解长视频的困难和挑战，现有的基准测试主要关注较短的视频片段。为了弥补这一差距，我们引入了 InfiniBench，这是一个全面的、针对非常长视频理解的基准测试，它具有最长的视频持续时间、最大数量的问答对以及多样化的问题类型。通过对现有的大
PDF4 days ago
VideoMambaPro：Mamba 视觉理解的重大进展
通过对自我注意力和 Mamba 之间的差异进行理论分析，我们提出了 VideoMambaPro（VMP），通过向 VideoMamba 骨干结构添加掩码反向计算和元素残差连接来解决 Mamba 的两个限制，从而实现了卓越的视频动作识别性能，
PDF5 days ago
OmAgent: 复杂视频理解的多模态代理框架与任务分割
OmAgent 是一个能够在多模态环境下高效地存储和检索视频帧的系统，通过动态调用 API 和工具进行查询处理和准确性增强，可以确保鲁棒的视频理解，显著减少信息丢失。
PDF8 days ago
VideoHallucer：评估大型视频语言模型中的内在和外在幻觉
最近多模态大型语言模型在视频理解方面取得了重要进展，但这些模型常受到 “幻觉” 的困扰，本文介绍了 VideoHallucer，它是对大规模视频语言模型的幻觉检测的首个综合性基准。通过评估 11 个大规模视频语言模型，我们发现当前的模型大多
PDF8 days ago
MMBench-Video：一种用于整体视频理解的长形多镜头基准
通过引入 MMBench-Video 来评估大规模视觉语言模型在视频理解方面的表现，该评估基准充分考虑视频内容，并充分评估模型的时间理解能力，从而为改进大规模视觉语言模型的评估提供了有价值的资源，促进了视频理解领域的进展。
PDF12 days ago
走向全面的语言 - 视频表示：语言模型增强的 MSR-Video 到文本数据集
通过自动增强语言 - 视频数据集和多方位视频字幕生成方法，提高语言 - 视频表示能力，并通过多模态检索模型验证其有效性。
PDF13 days ago
幻觉减轻促进长期视频理解
本文提出了一种基于现有多模态大型语言模型的全面幻觉缓解方法，通过使用 CLIP 分数指导带有问题的帧采样过程，并将问题信息注入到图像 Q-former 的查询中以获取更重要的视觉特征，最终在 MovieChat 数据集上取得了 84.2％和
PDF15 days ago
VideoVista: 视频理解和推理的通用基准测试
通过提供综合评估多模态大型模型在视频理解和推理中的性能的全方位评估基准 VideoVista，本文揭示了视频 LMM 面临的困难、推理能力的不足以及开源视频 LMM 的性能低于 GPT-4o 和 Gemini-1.5 的问题，强调了 Vid
PDF15 days ago
短片数据集 (SFD): 故事级视频理解的基准
最近的视觉语言模型的进展在很大程度上推动了视频理解。然而，现有的数据集和任务存在显著的局限性。我们提出了一个包含 1,078 个公开可用的业余电影的短片数据集（SFD），它包括广泛的类型和最小的数据泄漏问题。通过多项选择和开放式问题回答的方
PDF18 days ago
用多模态查询在视频中定位事件
本研究介绍了一个用于视频事件定位的多模态查询基准（ICQ），该基准以多模态语义查询为输入，包括一个描述事件的参考图像和一个用于调整图像语义的修正文本。通过对 4 种风格的参考图像和 5 种类型的修正文本进行系统评估，我们提出了 3 种适应方
PDF18 days ago
视频多媒体语言模型基准测试的可扩展合成框架
VideoNIAH 是一个简单但高度可伸缩的基准构建框架，通过合成视频生成，将测试视频内容与查询 - 响应解耦，并通过插入多个不相关的图像 / 文本 ' 针' 来生成注释，从而确保视频来源的多样性和各种查询 - 响应。
PDF19 days ago
VideoGPT+: 图像和视频编码器的综合应用以提升视频理解能力
VideoGPT+ combines the benefits of image and video encoders to improve video understanding, achieving enhanced performan
PDF19 days ago
MMWorld: 视频中多学科多方面世界模型评估之路
多模态语言模型 (MLLMs) 在解释和推理复杂的现实世界动态方面展示出新兴的 “世界模型” 的能力。为了评估这些能力，我们提出视频是理想的媒介，因为它们包含了丰富的现实世界动态和因果关系的表示。为此，我们引入了 MMWorld，一个新的多
PDF20 days ago
Vript: 一部视频胜过千言万语
通过使用 Vript 数据集，我们提出了 Vriptor 模型，它是一个功能强大的视频字幕生成模型，能生成密集详细的长视频字幕；此外，我们还介绍了 Vript-Hard，一个包含三个更具挑战性视频理解任务的基准测试集。
PDF22 days ago
ShareGPT4Video: 提升视频理解与生成，优化字幕
通过稠密和精确的字幕，在大视频 - 语言模型（LVLMs）的视频理解和文本 - 视频模型（T2VMs）的视频生成方面，我们提出了 ShareGPT4Video 系列，该系列包括 40K GPT4V 标注的各种长度和来源的视频稠密字幕，通过精
PDFa month ago
CVPR对比语言视频时间预训练
通过对比学习，LAVITI 引入了一种新方法来学习长视频中的语言、视觉和时间表示，目标是通过提取未修剪视频中的有意义的时刻来对齐语言、视频和时间特征，并使用可学习的时刻查询来解码视频和时间特征。此外，引入了相对时间嵌入（TE）来表示视频中的
PDFa month ago
使用大型语言模型的流式长视频理解
这篇论文介绍了 VideoStreaming，一种用于视频理解的先进视觉语言大型模型 (VLLM)，它能够通过编码和自适应选择的少量视频标记流式地理解任意长度的视频。
PDFa month ago
TOPA: 通过文本预对齐扩展大型语言模型用于视频理解
该论文介绍了一种名为 TOPA 的新方法，通过使用现有的大型语言模型（LLM）自动生成模拟真实视频 - 文本数据的连续文本帧，进而预对齐一种仅使用语言的 LLM 与视频模态之间的差距，并利用 CLIP 模型作为特征提取器来对齐图像和文本模态
PDFa month ago
MLLMs 的密集连接器
我们引入了密集连接器 —— 一个简单、有效且即插即用的视觉语言连接器，通过利用多层视觉特征显著增强现有的多模态大型语言模型 (MLLMs)，并且在仅依靠图像训练的情况下，展示了在视频理解方面的显著零样本能力。
PDFa month ago
抽榨时间给移动视频理解
借鉴 SqueezeTime 的概念，本文提出了一种轻量级视频识别网络（SqueezeTime）以在移动设备上实现高精度的视频理解，通过将时间轴压缩到通道维度，并设计了 Channel-Time Learning (CTL) Block，捕
PDF2 months ago