CVPRMar, 2021

面向上下文的 Biaffine 本地化网络用于时间句子定位

PDF
TL;DR本文提出一种新颖的本地化框架，使用双仿射机制以同时为视频中的所有开始和结束索引打分，该框架结合了全局和本地上下文以实现时间句子定位，同时引入多模态自注意机制提供细粒度的查询引导视频表征。大量实验证明，我们的 CBLN 在三个公共数据集上显著优于现有技术，证明了提出的本地化框架的有效性。
temporal sentence groundinguntrimmed videolocalization frameworkbiaffine mechanismmulti-modal self-attention module
发现论文，激发创造
  • 通过上下文边界感知预测，在视频中确定语言查询的时间基点

    本文提出了一种基于 Contextual Boundary-aware Prediction (CBP) 的端到端模型来在视频中定位语句，并通过明确建模当前元素与其邻居之间的关系来聚合上下文信息，最终在三个公共数据集上表现显著优于现有的方法。

    Sep, 2019

  • 基于注意力位置回归的视频中语句的时序定位

    本篇论文提出一种基于注意力的位置回归（ABLR）方法，通过双向 LSTM 网络对视频和句子进行编码，并引入多模式协同注意力机制来预测句子查询的时间坐标，同时采用端到端的方式进行联合训练，以解决从全局视角下的时间句子定位问题，并在 ActivityNet Captions 和 TACoS 数据集上进行了全面的实验来验证该方法的有效性和效率。

    Apr, 2018

  • 分层本地 - 全局变压器用于时间句子定位

    本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，通过跨模态平行变压器解码器将其编码为最终的基础。

    Aug, 2022

  • 重新思考视频采样和推理策略，用于时间性句子定位

    本文提出了一种用于时序句子定位的新型 Siamese 取样与推理网络（SSRN），该网络使用 Siamese 取样机制在已有取样的基础上生成额外的情境帧，以更精细地理解活动，解决了已有方法中忽略的时序数据偏差和推理偏差问题，并能够在保证模型泛华能力的同时，对三个具有挑战性的数据集进行有效的定位。

    Jan, 2023

  • 面向弱监督时空语言联系的细粒度语义对齐网络

    本篇论文提出了一种新的候选不受限制的方法 ——Fine-grained Semantic Alignment Network（FSAN），用于弱监督的 Temporal Language Grounding 任务，在两个广泛使用的基准测试中取得了最先进的性能。

    Oct, 2022

  • 流式视频中的时间语句定位

    该研究旨在解决一项新颖任务 —— 流媒体视频中的时间句子定位，通过提出 TwinNet 结构和语言引导的特征压缩器，该方法在多个数据集上进行了广泛实验证明了其卓越性能。

    Aug, 2023

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 局部 - 全局视频文本交互的时间对齐

    该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

    Apr, 2020

  • 时间性句子定位的迭代对齐框架：渐进式参与指南

    本文提出了一个迭代对齐网络 (IA-Net) 来解决 TSG 任务，通过多步推理来互动地对齐视觉和语言特征，通过学习参数对多模态特征进行填充来缓解非匹配的问题，并且在并行方式下增强基本的共同注意力机制。为了进一步校准由每个推理步骤引起的不匹配的注意力，我们还设计了一个校准模块。本文的 IA-Net 模型在三个具有挑战性的基准测试中表现出更好的性能。

    Sep, 2021

  • 视频中时间句子定位的自适应提议生成网络

    本文提出了一个自适应提案生成网络（APGN）来解决视频中的时间句子定位问题，使用前景 - 背景分类和提议生成来提高效率和减少冗余，并通过上下文交互增强生成提议的语义，取得了显著的优于先前最先进方法的性能。

    Sep, 2021