ACLMay, 2023

MS-DETR：使用采样时刻交互实现自然语言视频定位

PDF
TL;DR本文旨在解决 Natural Language Video Localization（NLVL）的问题，通过提出 Moment Sampling DETR 算法，即基于提议的解决方案，生成候选时刻，并选择最佳匹配提议，同时使用可学习的模板进行多尺度视觉和语言编码，对数据集进行实验，提高了 MS-DETR 的准确性。
natural language video localizationnlvlproposalsmoment sampling detrdeetection transformer
发现论文，激发创造
  • 克服视觉和文本之间的弱对齐性以实现视频时刻检索

    提出一种名为 BM-DETR 的背景感知时刻检测变压器模型，通过利用负查询和周围的背景来考虑相关性并提高时刻灵敏度，从而提高视频时刻检索（VMR）的效果和泛化能力。

    Jun, 2023

  • 可学习时刻提议的自然语言视频本地化

    本文介绍了一种新的模型 ——LPNet，采用学习性提议网络实现了自然语言视频定位 (NLVL) 任务，较提出与排序模型达到更好的性能。

    Sep, 2021

  • TR-DETR: 具有任务互逆性的 Transformer 模型，用于联合出现时刻检索和摘要提取

    基于自然语言查询的视频时刻检索（MR）和精彩片段检测（HD）是两个高度相关的任务，目标是获取视频中的相关时刻和每个视频片段的精彩得分。本文提出了一种基于 DETR 的任务互补变换器（TR-DETR），专注于探索 MR 和 HD 之间的内在互补性。实验表明，TR-DETR 优于现有的最先进方法。

    Jan, 2024

  • QVHighlights: 通过自然语言查询识别视频中的时刻和亮点

    本篇研究提出了基于问题的视频亮点（QVHIGHLIGHTS）数据集，用于开发和评估系统以检测有关时刻以及突出亮点，同时使用 Moment-DETR，一个转换器编码器 - 解码器模型，将时刻检索视为直接预测问题，并且在利用 ASR 注释和进行弱监督预训练时表现出优异的性能。

    Jul, 2021

  • 基于查询的视频表示方法：用于时刻检索和精华片段检测

    本文提出了一种针对视频检索和重点检测的检测变压器模型 Query-Dependent DETR，通过显式注入文本查询的上下文信息并利用对偶输入对提高模型对查询信息的利用能力来改进现有的变压器模型，其在 QVHighlights、TVSum 和 Charades-STA 数据集上展现出优异的性能。

    Mar, 2023

  • 促使大型语言模型改写查询以定位时刻

    这篇文章讨论了如何利用大型语言模型来改进时刻定位的自然语言查询，使其更适合定位模型处理复杂的未剪辑视频内容。

    Jun, 2023

  • MH-DETR: 跨模态变换器进行视频片段和精华片段检测

    提出了面向视频时刻和精彩片段检测的 MH-DETR 模型，其采用简单而高效的池化操作和跨模态交互模块，以获得更好的时序内模态上下文和跨模态特征。在多个数据集上的实验结果表明，MH-DETR 优于现有的最先进方法，具有较高的准确性和鲁棒性。

    Apr, 2023

  • BAM-DETR: 视频中的时间句子定位的边界对齐时刻检测变换器

    我们引入了一种新颖的基于边界的时序定位模型，通过设计 Boundary-Aligned Moment Detection Transformer（BAM-DETR）和质量优先的排序方法，实现了在时序句子理解任务中的新的最佳成果。

    Nov, 2023

  • 自然语言视频时刻定位

    通过提出 Moment Context Network 来定位自然语言查询中的视频段，并通过构建 Distinct Describable Moments 数据集实现对局部视屏段的描述。

    Aug, 2017

  • 视频片段定位调查

    对现有的视频时刻定位技术（包括监督、弱监督和非监督），以及可用于视频时刻定位的数据集进行全面回顾，并讨论了大规模数据集和可解释视频时刻定位模型等未来发展方向。

    Jun, 2023