video comprehension | BriefGPT

关键词video comprehension

搜索结果 - 7

InfiniBench：用于非常长视频理解的大规模多模态模型综合基准测试
理解长视频的困难和挑战，现有的基准测试主要关注较短的视频片段。为了弥补这一差距，我们引入了 InfiniBench，这是一个全面的、针对非常长视频理解的基准测试，它具有最长的视频持续时间、最大数量的问答对以及多样化的问题类型。通过对现有的大
PDF6 days ago
ICML视频 SALMONN：增强语音的视听大型语言模型
论文通过提出一种视频 - SALMONN 模型，利用音频 - 视觉大型语言模型（av-LLMs）实现视频处理，包括理解视觉帧序列、音频事件、音乐以及语音，并展示了超越其他 av-LLMs 的视频理解和推理能力。
PDF12 days ago
Pegasus-v1 技术报告
Pegasus-1 是一种专注于通过自然语言实现对视频内容理解和交互的多模式语言模型，其设计旨在解决视频数据所带来的独特挑战，如解释时空信息，以提供对各种长度的视频内容的细致理解。
PDF2 months ago
使用 VLM 进行零 - shot 视频问答：图像栅格能表达视频的价值
该研究提出了一种简洁而新颖的策略，利用图像网格的形式，将视频转化为单个复合图像，从而实现了对视频进行直接的高性能视觉语言模型的应用，无需任何视频数据训练，并在十个零样本视频问答基准中的九个基准中超越现有方法。
PDF3 months ago
运动引导的令牌压缩用于高效的掩码视频建模
通过提高 FPS 速率并使用 MGTC 方法，在视频理解方面取得了显著的性能提升，并在降低计算负担的同时保持了高的性能表现。
PDF6 months ago
人工智能光学硬件赋能 1.2 Tb/s 高分辨率高光谱视频理解
通过硬件加速的集成光电平台，在实时应用中进行多维视频理解，实现了 1.2 Tb/s 的数据处理速度，超过了同类光谱分辨率的技术数个数量级，为实时人工智能视频理解的多维视觉信息研究开辟了新的道路。
PDF7 months ago
ECCVGEB+: 通用事件边界字幕、关联和检索基准
本文介绍了一个新的数据集 Kinetic-GEB+，该数据集有助于通过状态更改促进视频的细粒度、鲁棒性和类人理解，还设计了新的 TPD 建模方法，可使视觉差异的表示和精确定位状态更改得到显著的性能改进。
PDF2 years ago