Aug, 2024

无训练视频时间定位的基于大规模预训练模型的方法

HTML
PDF
TL;DR本研究解决了现有视频时间定位模型依赖特定数据集进行训练并普遍缺乏泛化能力的问题。提出的无训练视频时间定位方法通过利用大规模预训练模型的能力，分析查询文本中的多个子事件及其时间关系，使得该方法在零-shot视频时间定位任务上表现优越，并在跨数据集和OOD情境下展现出更好的泛化能力。
发现论文，激发创造
  • 使用引导注意力在视频中进行自然语言查询的无需提议的时间时刻定位

    本文提出了一种更有效率的、端到端可训练的、不需要先提出建议的方法，以自然语言作为查询，解决了在长视频中定位时间点的问题。通过引入动态滤波器、新的损失函数和软标签等三个关键组件，实现从语言信息到视觉领域的转换，并评估了该方法在两个基准数据集上的表现优越性。

    Aug, 2019

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在ActivityNet Captions数据集和Charades-STA数据集上取得良好的表现。

    Jan, 2020

  • 一种简单而有效的视频时间对齐方法，具有交叉模态注意力

    本文主要研究了利用语言引导定位视频中的相关片段的问题，提出一种简单直观的跨模态注意力模块(CMA)和针对此任务的新回归损失函数来提高定位精度，并在Charades-STA和ActivityNet Captions数据集上超越了目前最先进的方法。

    Sep, 2020

  • 视频中的时序句子地位划分：调查与未来方向

    该论文调查了自然语言视频定位(TSGV)的基本概念和当前研究状况，并讨论了未来的研究方向，着重介绍了TSGV的多模态理解和交互技术，构建了TSGV技术的分类法，讨论了当前研究中存在的问题并分享了有前途的研究方向。

    Jan, 2022

  • 基于常识的快速视频时间对齐细节文本对齐学习

    本文提出一种基于常识感知的跨模态对齐框架，通过从语料库中提取结构化语义信息，设计跨模态交互模块获得桥接式视觉和文本特征，并将其整合到共同的空间中进行快速视频时间定位。在两个具有挑战性的数据集上，证明该方法能够以高速运行，且表现优于现有的方法。

    Apr, 2022

  • CONE：一种针对长视频时间对齐的高效粗到细对齐框架

    本文提出了一种名为CONE的窗口层级的粗细粒度多模态对齐框架，该框架通过使用对比学习进行识别候选窗口和排名候选时刻，从而提高视频时序定位的精确度和效率，在两个大规模视频时序定位基准测试中均取得了业界最佳成果。

    Sep, 2022

  • 面向时序视频定位的预训练语言模型参数高效集成

    探讨了在Temporal Video Grounding (TVG)任务中利用预训练语言模型 (PLM) 的效果，结合现有方法使用不同适配器降低额外参数的影响，结果表明适配器能够在保证性能的情况下，大大减少计算成本，并在三个挑战性的数据集上发现，通过对PLMs进行微调，TVG模型可以极大地受益于PLM。

    Sep, 2022

  • 弱监督的时间文章定位

    通过提出一个新的挑战性任务Weakly-Supervised temporal Article Grounding(WSAG)和一个有效的方法DualMIL，可以在一个相关的多媒体资源(文章和视频)的不同层级之间定位相关句子。我们提出了第一个WSAG数据集YouwikHow，利用wikiHow文章和YouTube视频中的多尺度描述，并证明了DualMIL的有效性。

    Oct, 2022

  • Video-GroundingDINO: 面向开放词汇的时空视频定位

    该研究论文介绍了一种开放式语义和语境视频定位模型，通过使用预训练的空间定位模型，克服了固定词汇和有限训练数据的限制，取得了在闭合式和开放式语境下的卓越性能。

    Dec, 2023

  • AutoTVG：一种面向时间视频定位的新型视觉语言预训练范式

    AutoTVG是一种新的视觉-语言预训练范式，旨在通过自动注释的未剪辑视频学习语义对齐和边界回归，从而在有限的监督下实现零样本测试中高竞争性的时态视频定位表现。

    Jun, 2024