视频中时间句子定位的自适应提议生成网络

EMNLPSep, 2021

视频中时间句子定位的自适应提议生成网络

Adaptive Proposal Generation Network for Temporal Sentence Localization in Videos

Daizong Liu, Xiaoye Qu, Jianfeng Dong, Pan Zhou

TL;DR本文提出了一个自适应提案生成网络（APGN）来解决视频中的时间句子定位问题，使用前景 - 背景分类和提议生成来提高效率和减少冗余，并通过上下文交互增强生成提议的语义，取得了显著的优于先前最先进方法的性能。

Abstract

We address the problem of temporal sentence localization in videos (TSLV). Traditional methods follow a top-down framework which localizes the target segment with pre-defined segment proposals. Although they have achieved decent performance, the proposals are handcrafted and redundant.

temporal sentence localization video adaptive proposal generation network segment-level interaction state-of-the-art methods

发现论文，激发创造

时域行动提议的多粒度生成器

该论文提出了一种多粒度生成器（MGG），从不同的粒度角度利用视频视觉特征执行时间动作提议，将段提议生成器（SPP）和帧活性生产者（FAP）组合起来执行两个不同粒度的时间动作提议任务，可与现有的动作分类器一起用于视频检测任务，具有优于现有方法的性能表现。

Nov, 2018

动作定位的通用管道提议

本文提出了一种新的基于视频的行动定位框架，使用管道提案网络 (TPN) 生成通用的、独立于类别、视频级别的管状建议，可用于各种视频分析任务，包括行动识别和定位。与其他方法相比，我们的通用管状建议方法准确、通用，并在平滑 L1 损失函数下完全可微。在标准的 UCF-Sports、J-HMDB21 和 UCF-101 数据集上证明了算法的性能。我们的独立于类别的 TPN 优于其他管状建议方法，我们的统一时间深度网络在所有三个数据集上都实现了最先进的定位结果。

May, 2017

两阶段自然语言视频定位的边界提案网络

本文提出了一种新颖的 Boundary Proposal Network (BPNet)，该框架是一个通用的两阶段结构，利用多模态交互将候选视频片段与语言查询匹配，从而实现对自然语言视频定位的优化。在 Charades-STA，TACoS 和 ActivityNet-Captions 等三个具有挑战性的 NLVL 基准测试数据集上的结果表明，BPNet 优于最先进的方法。

Mar, 2021

上下文感知提议网络用于时间动作检测

本技术报告介绍了我们在 CVPR-2022 AcitivityNet 挑战赛中获取的第一名的解决方案，该解决方案旨在为长型未修剪视频中的特定类别的动作实例定位时间边界，并且通过提出 Context-aware Proposal Network (CPN) 等创新技术，在提高精度方面大有改进。

Jun, 2022

边界感知的时序动作定位的提案生成方法

通过引入对比学习，并将背景帧作为难负样本，提出了一种独立于现有 Temporal Action Localization（TAL）网络架构的边界感知候选生成方法（BAPG），用于改善 TAL 的性能。在 THUMOS14 和 ActivityNet-1.3 数据集上的实验结果表明，BAPG 能够显著提升 TAL 的性能。

Sep, 2023

面向弱监督时空语言联系的细粒度语义对齐网络

本篇论文提出了一种新的候选不受限制的方法 ——Fine-grained Semantic Alignment Network（FSAN），用于弱监督的 Temporal Language Grounding 任务，在两个广泛使用的基准测试中取得了最先进的性能。

Oct, 2022

面向上下文的 Biaffine 本地化网络用于时间句子定位

本文提出一种新颖的本地化框架，使用双仿射机制以同时为视频中的所有开始和结束索引打分，该框架结合了全局和本地上下文以实现时间句子定位，同时引入多模态自注意机制提供细粒度的查询引导视频表征。大量实验证明，我们的 CBLN 在三个公共数据集上显著优于现有技术，证明了提出的本地化框架的有效性。

Mar, 2021

分层本地 - 全局变压器用于时间句子定位

本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，通过跨模态平行变压器解码器将其编码为最终的基础。

Aug, 2022

可学习时刻提议的自然语言视频本地化

本文介绍了一种新的模型 ——LPNet，采用学习性提议网络实现了自然语言视频定位 (NLVL) 任务，较提出与排序模型达到更好的性能。

Sep, 2021

使用引导注意力在视频中进行自然语言查询的无需提议的时间时刻定位

本文提出了一种更有效率的、端到端可训练的、不需要先提出建议的方法，以自然语言作为查询，解决了在长视频中定位时间点的问题。通过引入动态滤波器、新的损失函数和软标签等三个关键组件，实现从语言信息到视觉领域的转换，并评估了该方法在两个基准数据集上的表现优越性。

Aug, 2019