Feb, 2021

基于跨度问答框架的自然语言视频定位再探讨

PDF
TL;DR本文提出基于 VSLNet 的自然语言视频定位 (NLVL) 方法，利用基于 span 的 question answering (QA) 框架来解决长视频定位中的性能衰退问题，并通过 VSLNet-L 模型进一步提高性能。实验结果表明，该方法优于现有方法，VSLNet-L 可以解决长时间视频性能衰退的问题。
natural language video localizationspan-based question answeringvslnetlong videosperformance improvement
发现论文，激发创造
  • 面向自然语言视频定位的基于 Span 的本地化网络

    本文提出了基于跨度问答的视频段定位网络（VSLNet）作为自然语言视频定位（NLVL）任务的解决方案，并通过有效的查询引导突出显示策略解决了 NLVL 与跨度问答之间的差异。在三个基准数据集上的实验表明，该方法优于现有的最优方法，采用笔画问答框架是解决 NLVL 的一个有前途的方向。

    Apr, 2020

  • 可学习时刻提议的自然语言视频本地化

    本文介绍了一种新的模型 ——LPNet，采用学习性提议网络实现了自然语言视频定位 (NLVL) 任务，较提出与排序模型达到更好的性能。

    Sep, 2021

  • 浏览、定位、然后阅读：一种类人的自然语言视频定位框架

    提出了一种基于 Skimming-Locating-Perusing 架构，并采用 frame-differentiable 和 boundary-precise 的方法用于自然语言视频定位，并在三个具有挑战性的基准测试中获得比先前方法更准确的分割边界。

    Jul, 2022

  • 零样本自然语言视频定位

    本文提出了一种新颖的伪监督方法，用于零样本学习自然语言视频定位模型，并在 Charades-STA 和 ActivityNet-Captions 数据集上实验验证该方法相较于其他方法性能有明显提升。

    Aug, 2021

  • 两阶段自然语言视频定位的边界提案网络

    本文提出了一种新颖的 Boundary Proposal Network (BPNet)，该框架是一个通用的两阶段结构，利用多模态交互将候选视频片段与语言查询匹配，从而实现对自然语言视频定位的优化。在 Charades-STA，TACoS 和 ActivityNet-Captions 等三个具有挑战性的 NLVL 基准测试数据集上的结果表明，BPNet 优于最先进的方法。

    Mar, 2021

  • 自链接图像语言模型用于视频定位和问答

    本文提出了一种新框架 SeViLA，该框架利用单个图像 - 语言模型同时解决视频中的时间关键帧定位和问答，并通过双向链式推断和自我精炼解决了一些昂贵的标注问题，实现了五项视频 QA 和事件预测任务的最佳性能。

    May, 2023

  • 一种用于长视频问答的简单 LLM 框架

    我们介绍了 LLoVi，这是一个用于长距离视频问答（LVQA）的基于语言的框架。我们的方法使用基于帧 / 片段级的视觉描述器和大型语言模型（如 GPT-3.5，GPT-4），结合简单且出奇有效的 LVQA 框架，将短期和长期建模方面分解为两个阶段，从而实现对整个视频的理解和问题的回答。

    Dec, 2023

  • 零样本自然语言视频定位中的常识

    本文研究了零样本自然语言视频定位（NLVL）中常识推理的有效性，并提出了一个名为 CORONET 的零样本 NLVL 框架，利用常识知识图谱，通过常识增强模块来弥合视频和生成的伪查询之间的差距。通过对两个基准数据集的实证评估，证明 CORONET 超过了零样本和弱监督的基准，不同召回阈值下的改进幅度高达 32.13％，在 mIoU 方面的改进幅度高达 6.33％，突出了利用常识推理进行零样本 NLVL 的重要性。

    Dec, 2023

  • 使用引导注意力在视频中进行自然语言查询的无需提议的时间时刻定位

    本文提出了一种更有效率的、端到端可训练的、不需要先提出建议的方法，以自然语言作为查询，解决了在长视频中定位时间点的问题。通过引入动态滤波器、新的损失函数和软标签等三个关键组件，实现从语言信息到视觉领域的转换，并评估了该方法在两个基准数据集上的表现优越性。

    Aug, 2019

  • 多尺度二维时间地图扩散模型用于自然语言视频定位

    自然语言视频定位（NLVL）是视频理解中复杂但关键的任务之一，本研究提出了一种旨在解决全局捕获视频数据时空动态的 NLVL 新方法，通过条件去噪扩散过程直接生成全局 2D 时空图。多尺度技术和创新的扩散解码器克服了 2D 时空图的稀疏性和不连续性，有效地捕捉了查询和视频数据在不同时间尺度下的交互作用。实验证明了我们设计的有效性。

    Jan, 2024