video grounding | BriefGPT - AI 论文速递

关键词video grounding

搜索结果 - 16

统一的静态和动态网络：用于视频定位的高效时域滤波
我们设计了一个统一的静态和动态网络 (UniSDNet)，用于在跨模态环境中学习视频和文本 / 音频查询之间的语义关联以实现高效的视频定位；我们的 UniSDNet 适用于自然语言视频定位（NLVG）和口语语言视频定位（SLVG）任务，并在
PDF3 months ago
Video-GroundingDINO: 面向开放词汇的时空视频定位
该研究论文介绍了一种开放式语义和语境视频定位模型，通过使用预训练的空间定位模型，克服了固定词汇和有限训练数据的限制，取得了在闭合式和开放式语境下的卓越性能。
PDF6 months ago
LLM4VG：大型语言模型对视频定位的评估
近年来，研究人员试图调查 LLM 在处理视频方面的能力，并提出了几种视频 LLM 模型。然而，LLM 在处理视频对齐（VG）方面的能力仍然不清楚，也没有在文献中进行探索。为了填补这一空白，本文提出了 LLM4VG 基准测试，对不同的 LLM
PDF6 months ago
探索使用扩散模型的迭代细化来进行视频定位
DiffusionVG 是一个以扩散模型为基础的新框架，通过生成随机噪声输入逐步改进的逆向扩散过程，将视频定位作为一项条件生成任务，并在主流 Charades-STA 和 ActivityNet Captions 基准测试中展示了竞争性甚至
PDF8 months ago
ViGT：在 Transformer 模型中具有可学习令牌的无需提议的视频定位
基于视觉和语言描述，本研究提出了一种新的边界回归范式来定位视频中的行为或事件，通过一个可学习的回归标记来预测时间边界，而非跨模态特征，取得了良好的效果并得到了进一步验证。
PDFa year ago
ICCVG2L: 通过测地线和博弈论实现语义对齐和统一视频定位
通过地理和博弈论，我们介绍了一种语义对齐和均匀的视频定位框架（G2L），以解决视频定位中的语义重叠和稀疏注释困境，从而量化时序远离的矩阵之间的相关性，学习了细粒度的语义对齐并获得了令人满意的效果。
PDFa year ago
EMNLP弱监督的时间文章定位
通过提出一个新的挑战性任务 Weakly-Supervised temporal Article Grounding (WSAG) 和一个有效的方法 DualMIL，可以在一个相关的多媒体资源 (文章和视频) 的不同层级之间定位相关句子。我
PDF2 years ago
CVPR动物王国：一个用于动物行为理解的大型且多样化的数据集
创建了一个大而多样的数据集 Animal Kingdom，用于多种已注释的任务，帮助更全面地理解自然动物行为，包括视频定位、精细多标签动作识别和姿势估计任务，跨越了 6 个动物大类的 850 个物种，提出了一种 CARe 模型，可以学习识别
PDF2 years ago
EMNLP多模态 Transformer 在视频锚定中的设计追求
本篇论文提出了一种新型的端到端、多模态 Transformer 模型 ——GTR，通过将视频定位看作一个集合预测任务来实现，采用立方体嵌入层将原始视频转换为视觉令牌；在解码器中，采用新型的多头跨模态注意力机制来更好地融合两种模态，整个模型的
PDF3 years ago
AAAI负样本很重要：度量学习在时间定位中的复兴
该文提出了一种度量学习框架下使用互相匹配网络来解决视频时序定位问题，通过构造负交叉模态对和跨不同视频的负对样本来增强联合表示学习的性能，实验表明该方法在四个视频时序定位基准测试上取得了与最先进方法相比高度竞争的表现，并为第三个 PIC 研讨
PDF3 years ago
ICCV基于支持集的跨监督视频 grounding
本文提出了一种支持集合基的跨监督 (Sscs) 模块来改进现有的视频文本关系模型技术，该模块由辨别对比目标和生成描述目标组成，利用 support-set 概念加强互动学习，并在三个具有挑战性的数据集上获得了竞争性的结果。
PDF3 years ago
CVPR双重对比学习的干预式视频对齐
本文提出了一种新的干预视频地基范式，即基于结构因果模型和 do-calculus 的干预视频地基（IVG），并引入双重对比学习方法（DCL）来提高文本和视频之间的匹配度，实验证明了这些方法的有效性。
PDF3 years ago
ACL带序列匹配的并行关注网络用于视频 grounding
本文提出了一个名为 SeqPAN 的并行注意力网络，用于解决视频 grounding 时的多模态表示学习和目标时刻边界预测问题。通过一个自主引导的并行注意力模块，SeqPAN 可以有效地捕捉自我模态上下文和视频文本的跨模态关注信息，并使用序
PDF3 years ago
基于视觉转换器的人类中心时空视频定位
本文介绍了一项新任务 —— 人体中心的时空视频定位（HC-STVG），并提出了一种名为 Spatio-Temporal Grounding with Visual Transformers（STGVT）的基准方法，该方法使用 Visual
PDF4 years ago
CVPR视频定位用的密集回归网络
本研究旨在解决自然语言查询的视频地面问题，并通过使用密集监管改进视频地面的准确性，相比与现有方法，我们的方法在三个数据集上均有明显的优势。
PDF4 years ago
AAAI阅读，观看和移动：用强化学习将自然语言描述与视频时序地联系起来
本文通过强化学习和多任务学习建立一个分阶段调整临时定位边界的代理模型，在考虑附加边界信息的训练过程中稳步提高绩效，达到了 ActivityNet'18 DenseCaption 和 Charades-STA 数据集上的最优性能。
PDF5 years ago