video reasoning | BriefGPT - AI 论文速递

关键词video reasoning

搜索结果 - 6

CREMA: 多模态组合视频推理的高效模块适应与融合
本文提出了一种高效的模态融合框架 CREMA，用于将任何新的模态注入视频推理，通过使用现有的预训练模型增强给定视频的多个信息模态，然后引入一个与每个可访问模态相关的多个参数高效模块的查询转换器，将不同的数据类型整合到响应产生的 LLM 令牌
PDF5 months ago
AAAIYTCommentQA: 教学视频中的视频问题可回答性
展示了 YTCommentQA 数据集，该数据集包含了 YouTube 上自然生成的问题，按照其可回答性和回答所需的模态进行分类，实验结果突出了在视频推理中视觉和脚本信息的综合作用。
PDF5 months ago
FunQA: 朝着令人惊喜的视频理解方向
本研究引入了 FunQA 挑战性视频问题回答数据集，它是专门设计的，以评估和增强基于反直觉和有趣视频的视频推理深度，涵盖幽默类，创意类和魔术类，总共包括 312K 自由文本 QA 对以及 4.3K 视频剪辑，跨越 24 小时总计。
PDFa year ago
逐帧思考：使用视频填充和预测评估视频思维链
为了提高视频推理的能力和降低处理数百或数千帧的计算复杂度，我们提出了 VideoCOT 的新研究方向，旨在利用视觉语言模型的多模式生成能力对视频关键帧进行增强。我们引入了 VIP 数据集，其中包含各种现实生活视频和场景描述，以及两个新的视频
PDFa year ago
CVPR从表示到推理：面向视频问答的证据与常识推理
为了深化视频理解，包含描述、证据推理和常识推理等四类问题，我们提出了因果 - 视频问答任务及两步解决方案，发现最新 VideoQA 方法在描述方面表现强而在推理方面表现弱，希望 Causal-VidQA 能够引导视频理解研究从表示学习向深度
PDF2 years ago
ICLRComPhy: 从视频中对对象和事件进行组合式物理推理
本文介绍 ComPhy 数据集，该数据集含有一些移动和交互对象的视频，用于评估模型是否能够理解隐藏的物理性质，实验结果表明，一些当前先进的视频推理模型无法捕捉这些隐藏的属性。此外，本文进一步提出了一种名为 Compositional Phy
PDF2 years ago