video understanding | BriefGPT

关键词video understanding

搜索结果 - 169

抽榨时间给移动视频理解
借鉴 SqueezeTime 的概念，本文提出了一种轻量级视频识别网络（SqueezeTime）以在移动设备上实现高精度的视频理解，通过将时间轴压缩到通道维度，并设计了 Channel-Time Learning (CTL) Block，捕
PDF2 months ago
检索增强型零样本视频字幕生成
该论文提出了一种利用现有的大规模视觉和语言模型进行测试时间适应性直接生成字幕的方法，通过使用多个关键模型来桥接视频和文本，并使用可学习的令牌来传递信息。在实验中，该方法在多个数据集上取得了与现有最先进方法相比的 4％至 20％的 CIDEr
PDF2 months ago
电影聊天 +: 针对长视频问答的问题感知稀疏记忆
基于 Atkinson-Shiffrin 记忆模型与 Transformer 中的记忆承载器，通过特殊设计的记忆机制，无需额外的可训练时序模块，使用零 - shot 方法将预训练的多模态大型语言模型应用于理解长视频，提出了 MovieCha
PDF2 months ago
SFMViT：慢快相遇在混沌世界中
通过使用具有高质量视频特征提取的双流时空特征提取网络 SFMViT 和锚定修剪策略，我们有效地提高了模型性能，并在混乱场景中实现了 26.62% 的平均精度 (mAP)。
PDF2 months ago
利用时间语境进行视频动作识别
TC-CLIP 是一种改进的视觉语言模型，通过引入时间上下文信息和制造上下文令牌来实现视频理解和行为识别的效果提升。
PDF3 months ago
以意图为条件的注视导向图神经网络用于动作预测
通过将人类凝视引入计算算法，我们提出了一种基于视觉 - 语义图的 “凝视引导行为预测” 算法，利用图神经网络识别行为者的意图并预测行为序列以达到该意图，并通过收集包含人类凝视数据的 VirtualHome 环境中生成的家庭活动数据集，在 1
PDF3 months ago
基于 Transformer 的人类注视行为在视频中的预测模型
基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法，通过观看视频并模拟人类注视行为，该方法能有效地复制人类注视行为并应用于实际任务。
PDF3 months ago
MiniGPT4-Video: 提升多模态 LLM 在视频理解中的能力：交错的视觉 - 文本标记
这篇论文介绍了 MiniGPT4-Video，一种用于视频理解的多模态大型语言模型。该模型能够处理时间视觉和文本数据，从而能够理解视频的复杂性。通过扩展 MiniGPT-v2 模型的能力，该模型能够处理连续的视频帧序列，使其能够理解视频。M
PDF3 months ago
CVPRSnAG: 视频定位的可扩展和准确性
在本文中，我们研究了跨模态融合对视频定位模型可扩展性的影响，通过分析发现，针对长视频和大量文本查询的情况，后期融合是一种更具成本效益的融合方案，并提出了一种基于视频的采样方案以实现高效训练。基于这些发现，我们提出了 SnAG，作为可扩展且准
PDF3 months ago
ST-LLM：大型语言模型是有效的时间学习器
通过在 Large Language Models（LLMs）中添加 Spatial-Temporal 序列建模，提高视频理解能力，并通过动态掩蔽策略和全局 - 局部输入模块提升效率和稳定性，从而在 VideoChatGPT-Bench 和
PDF3 months ago
CVPROmniVid: 通用视频理解的生成框架
通过使用语言作为标签并引入时间和区域标记，我们寻求统一视频理解任务的输出空间，以建立全共享的编码器 - 解码器架构，并通过大量实验证明这一简单而直接的想法在七个视频基准测试中取得了最先进的或有竞争力的结果，为更普遍的视频理解提供了新的观点。
PDF3 months ago
长视频理解语言库
本文介绍了一种语言仓库 (LangRepo)，用于长文本视频理解，通过维护简明有结构信息作为可解释的（即全文本）表示。该仓库基于多尺度视频块进行迭代更新，并引入了专注于修剪文本中的冗余信息和在各个时间尺度提取信息的写入和读取操作。该提出的框
PDF3 months ago
VideoAgent：一个增强记忆的多模态视频理解代理
利用多模态代理、统一记忆机制和零样本工具使用能力来解决视频理解中的长期时间关系问题，在多个长期视觉理解基准测试中表现出色，相比基准模型，NExT-QA 平均提升 6.6%，EgoSchema 平均提升 26.0%，缩小了开源模型与私有对应模
PDF4 months ago
探索预训练的文本到视频传播模型用于视频对象分割
探索了基于预训练的文本到视频 (T2V) 扩散模型产生的视觉表示，在视频理解任务中的应用，通过验证经典的参考视频对象分割 (R-VOS) 任务的假设，介绍了一个名为 “VD-IT” 的新框架，结合了预训练的 T2V 模型，利用文本信息作为条
PDF4 months ago
视频曼巴组合套件：状态空间模型作为视频理解的多功能替代方案
本研究通过广泛实验评估不同模型角色的 Mamba 对视频理解的潜力，探索其在视频理解领域的替代性，发现 Mamba 在仅视频和视频语言任务上展现出强大的潜力，并显示了有希望的效率 - 性能平衡，为未来的视频理解研究提供了宝贵的数据和见解。
PDF4 months ago
VideoMamba：高效视频理解的状态空间模型
提出了一种名为 VideoMamba 的基于 Mamba 的视频理解方法，克服了现有 3D 卷积神经网络和视频变换器的限制，通过线性复杂度运算实现了高效的长视频建模，同时展示了在视觉域上的可扩展性、在短期行动识别上的敏感性、在长期视频理解上
PDF4 months ago
背包里装满技能：多角度任务视角下的自我中心视频理解
为了将对视频流的整体感知有效地传递给智能机器，我们通过学习将概念关联和来自不同任务的抽象知识协同利用来学习新技能，提出了一种统一的视频理解方法，它结合了人类行为的共享时间建模和最小开销，支持多个下游任务及在学习新技能时的合作，并通过四个 E
PDF4 months ago
MovieLLM：使用 AI 生成的影片增强长视频理解能力
MovieLLM 提出了一种新颖的框架，利用 GPT-4 和文本到图像模型生成详细的脚本和对应的视觉，从而创造出长视频的合成高质量数据。该方法通过解决数据稀缺和偏见等问题，显著提高了多模态模型对复杂视频叙事的理解能力，克服了现有数据集的限制
PDF4 months ago
稳健视频特征提取的时空提示网络
帧质量下降是视频理解领域中的主要挑战之一。为了弥补由于帧质量下降而引起的信息损失，最近的方法利用基于 Transformer 的集成模块来获得时空信息。然而，这些集成模块过于复杂和繁重。在本文中，我们提出了一个简洁且统一的框架，称为时空提示
PDF5 months ago
ICLR长时嘈杂视频的多粒度对应关系学习
该研究通过提出 NOise Robust Temporal Optimal traNsport (Norton) 框架，解决了视频和语言之间的 MNC 问题，通过音频固定运输（OT）框架捕捉长期依赖关系，并通过过滤无关片段和标题来对齐异步片
PDF5 months ago