EMNLPSep, 2021

时间性句子定位的迭代对齐框架：渐进式参与指南

PDF
TL;DR本文提出了一个迭代对齐网络 (IA-Net) 来解决 TSG 任务，通过多步推理来互动地对齐视觉和语言特征，通过学习参数对多模态特征进行填充来缓解非匹配的问题，并且在并行方式下增强基本的共同注意力机制。为了进一步校准由每个推理步骤引起的不匹配的注意力，我们还设计了一个校准模块。本文的 IA-Net 模型在三个具有挑战性的基准测试中表现出更好的性能。
temporal sentence groundingvision and language featuresiterative alignment networkmulti-step reasoningcalibration module
发现论文，激发创造
  • 分层本地 - 全局变压器用于时间句子定位

    本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，通过跨模态平行变压器解码器将其编码为最终的基础。

    Aug, 2022

  • 减少视觉和语言偏见以进行时间性句子定位

    本文提出了一种消除多媒体信息检索中选择偏差的 Debiasing-TSG（D-TSG）模型，实现在常见和罕见情况下的 Temporal sentence grounding，在三个基准数据集上取得了最先进的表现。

    Jul, 2022

  • 基于记忆的语义学习网络用于时序句子定位

    提出了一种名为记忆引导语义学习网络（MGSL-Net）的内存增强网络来学习和记忆 TSG 任务中常见且罕见的内容，通过动态地关联常见和罕见情况，缓解模型忘记的问题，并在测试阶段通过检索存储的记忆来增强罕见情况，实现更好的泛化。

    Jan, 2022

  • 流式视频中的时间语句定位

    该研究旨在解决一项新颖任务 —— 流媒体视频中的时间句子定位，通过提出 TwinNet 结构和语言引导的特征压缩器，该方法在多个数据集上进行了广泛实验证明了其卓越性能。

    Aug, 2023

  • 面向弱监督时空语言联系的细粒度语义对齐网络

    本篇论文提出了一种新的候选不受限制的方法 ——Fine-grained Semantic Alignment Network（FSAN），用于弱监督的 Temporal Language Grounding 任务，在两个广泛使用的基准测试中取得了最先进的性能。

    Oct, 2022

  • 先于视觉感知：一种压缩视频时序句子对齐的有效管道

    本研究针对压缩视频展开了时间句子引导的任务，并提出了一种全新的三分支压缩域空时融合框架（TCSF）来提取和聚合低级视觉特征以有效地进行时间句子引导。实验结果表明，TCSF 较其他最先进的方法具有更好的性能，并具有更低的复杂度。

    Mar, 2023

  • 弱监督的时间邻接网络 —— 针对语言基础理解

    本文提出了一种基于弱监督学习的弱时间语言接地算法，该算法通过利用时间相邻网络在多个实例学习 (MIL) 范式中学习跨模式语义对齐，同时引入互补分支和自我区分损失函数以增强语义判别能力。实验结果表明该方法非常有效。

    Jun, 2021

  • 重新思考视频采样和推理策略，用于时间性句子定位

    本文提出了一种用于时序句子定位的新型 Siamese 取样与推理网络（SSRN），该网络使用 Siamese 取样机制在已有取样的基础上生成额外的情境帧，以更精细地理解活动，解决了已有方法中忽略的时序数据偏差和推理偏差问题，并能够在保证模型泛华能力的同时，对三个具有挑战性的数据集进行有效的定位。

    Jan, 2023

  • 多教师知识蒸馏下视频中高效的时间句子定位

    本论文提出了一个基于知识蒸馏的新型高效多教师模型（EMTM），旨在在维持高性能的同时，实现在未修剪视频中检测自然语言查询所描述的事件时间戳的挑战。

    Aug, 2023

  • 基于多模态信息的时间句子定位在长视频中的基础调度

    通过使用多模态信息，我们提出了一种用于处理长视频中的 Temporal Sentence Grounding 任务的 Grounding-Prompter 方法，通过引导 LLM 进行 TSG，提高了推理能力和理解 TSG 任务的性能。

    Dec, 2023