video large language models | BriefGPT

关键词video large language models

搜索结果 - 5

VideoLLaMA 2: 在视频 LLMs 中推进时空建模与音频理解
本论文介绍了一种名为 VideoLLaMA 2 的视频大型语言模型，它通过嵌入空间 - 时间卷积 (STC) 连接器和联合训练音频分支来增强视频和音频任务中的空间 - 时间建模和音频理解能力，并在多个任务上展示了竞争性结果，进一步提升了多模
PDF23 days ago
VTG-LLM：将时间戳知识整合到视频 LLMs 中以增强视频时间定位
基于 VTG 任务，本研究首先介绍了 VTG-IT-120K 这一高质量的综合指导调整数据集，其涵盖了时刻检索、密集视频字幕生成、视频摘要和视频亮点检测等 VTG 任务；其次，我们提出了一个特别设计的用于 VTG 任务的视频 LLM 模型，
PDFa month ago
CVPR考拉：关键帧条件化长视频 - LLM
提出了一种轻量级自监督方法，将可学习的时空查询引入预训练模型以适应长视频，通过在 HowTo100M 数据集上进行训练，并在零样本长视频理解基准测试中表现出良好性能。
PDF3 months ago
TempCompass：视频 LLMs 是否真正理解视频？
介绍了 TempCompass 基准测试，该基准测试引入了多样化的时间感知和任务格式，全面评估了 8 种最新的视频大语言模型以及 3 种图像大语言模型，并揭示了这些模型在时间感知方面表现出明显的不足。
PDF4 months ago
VLM-Eval: 视频大型语言模型的通用评估
本文提出了一个统一的评估方法，包括字幕、问答、检索和行动识别等多个视频任务，展示了基于 GPT 的评估方法在多个方面可以与人类一样的表现，同时也展示了一种简单的基准方法 Video-LLaVA，在评估视频 LLMs 时优于现有方法。此外，我
PDF7 months ago