video tasks | BriefGPT - AI 论文速递

关键词video tasks

搜索结果 - 7

多模态大型语言模型对视频片段检索的惊人有效性
利用图像 - 文本预训练的多模态大语言模型（MLLMs）进行时刻检索，获得了令人惊讶的有效性，并且在时刻检索和时序动作定位任务上实现了最新的性能。
PDF8 days ago
VURF：视频理解的通用推理与自我完善框架
本研究介绍了一种基于大型语言模型的视频理解和推理框架，通过利用其背景学习能力生成可执行的视觉程序，从而提高视觉编程方法在视频任务中的性能。
PDF3 months ago
VIDiff: 多模态指令扩散模型的视频翻译
我们提出了 Video Instruction Diffusion（VIDiff），这是一个统一的基础模型，专为广泛的视频任务设计，包括理解任务（如语言引导的视频对象分割）和生成任务（视频编辑和增强）。我们的模型可以根据用户指令在几秒钟内编
PDF7 months ago
MVBench：全面多模式视频理解基准测试
通过引入全面的多模式视频理解基准 (MVBench)，该研究提出了一种新的静态到动态方法，将静态任务转化为动态任务，评估多模式大型语言模型 (MLLMs) 的时间理解能力，并且开发了一种强大的视频 MLLM 基准模型 VideoChat2，
PDF7 months ago
分析视觉语言模型在视频理解任务上的零样本能力
我们通过对图像文本模型在视频理解任务中的泛化能力进行详细研究，发现这些模型在视频行动识别、视频检索和视频多项选择方面表现出强大性能，对视频字幕能力中等，对视频问答能力较差，这些结果揭示了在避免昂贵的预训练阶段的同时，将基础图像文本模型应用于
PDF9 months ago
ICCVVideo OWL-ViT：视频中的时间一致性开放世界定位
基于 OWL-ViT 模型，我们通过添加一个 Transformer 解码器来成功将开放世界模型应用于视频以实现开放世界定位，从而实现了更好的时间一致性和更强的开放世界能力。
PDF10 months ago
重新审视基于 CLIP 的图像到视频知识传递的时间建模
本论文基于 CLIP 模型，提出了一种名为 STAN 的时空建模机制，用于将图像 - 文本预训练模型扩展到视频领域，并在视频文本检索和视频识别等多项任务中展现了其优越性。
PDFa year ago