CVPRMar, 2023

基于查询的视频表示方法：用于时刻检索和精华片段检测

PDF
TL;DR本文提出了一种针对视频检索和重点检测的检测变压器模型 Query-Dependent DETR，通过显式注入文本查询的上下文信息并利用对偶输入对提高模型对查询信息的利用能力来改进现有的变压器模型，其在 QVHighlights、TVSum 和 Charades-STA 数据集上展现出优异的性能。
video moment retrievalhighlight detectiontransformer-based modelsquery-dependent detrnegative video-query pairs
发现论文，激发创造
  • TR-DETR: 具有任务互逆性的 Transformer 模型，用于联合出现时刻检索和摘要提取

    基于自然语言查询的视频时刻检索（MR）和精彩片段检测（HD）是两个高度相关的任务，目标是获取视频中的相关时刻和每个视频片段的精彩得分。本文提出了一种基于 DETR 的任务互补变换器（TR-DETR），专注于探索 MR 和 HD 之间的内在互补性。实验表明，TR-DETR 优于现有的最先进方法。

    Jan, 2024

  • MH-DETR: 跨模态变换器进行视频片段和精华片段检测

    提出了面向视频时刻和精彩片段检测的 MH-DETR 模型，其采用简单而高效的池化操作和跨模态交互模块，以获得更好的时序内模态上下文和跨模态特征。在多个数据集上的实验结果表明，MH-DETR 优于现有的最先进方法，具有较高的准确性和鲁棒性。

    Apr, 2023

  • 视频表示学习中基于相关性引导的查询依赖校准用于时间标定

    设计了一种基于相关性引导的检测变换器（CG-DETR），通过自适应的交叉关注层、推断视频剪辑和单词之间的细粒度相关性以及视频剪辑的文本参与度，对视频和文本查询之间的模态差距进行强大的跨模态交互，提高了瞬间检索和精彩时刻检测的性能。

    Nov, 2023

  • 克服视觉和文本之间的弱对齐性以实现视频时刻检索

    提出一种名为 BM-DETR 的背景感知时刻检测变压器模型，通过利用负查询和周围的背景来考虑相关性并提高时刻灵敏度，从而提高视频时刻检索（VMR）的效果和泛化能力。

    Jun, 2023

  • QVHighlights: 通过自然语言查询识别视频中的时刻和亮点

    本篇研究提出了基于问题的视频亮点（QVHIGHLIGHTS）数据集，用于开发和评估系统以检测有关时刻以及突出亮点，同时使用 Moment-DETR，一个转换器编码器 - 解码器模型，将时刻检索视为直接预测问题，并且在利用 ASR 注释和进行弱监督预训练时表现出优异的性能。

    Jul, 2021

  • GPTSee: 通过基于描述的相似特征增强时刻检索和亮点检测

    通过将生成的视频描述和查询语句在第二阶段的 Transformer 编码器 - 解码器中计算语义相似度并将高相似度的视频帧转换为位置信息，我们的方法在时刻检索和重点检测任务中表现出色，超过了传统方法 Moment-DETR 的定位准确性。

    Mar, 2024

  • MS-DETR：使用采样时刻交互实现自然语言视频定位

    本文旨在解决 Natural Language Video Localization（NLVL）的问题，通过提出 Moment Sampling DETR 算法，即基于提议的解决方案，生成候选时刻，并选择最佳匹配提议，同时使用可学习的模板进行多尺度视觉和语言编码，对数据集进行实验，提高了 MS-DETR 的准确性。

    May, 2023

  • 通过改进内容查询和相似查询聚合提升 DETR 变体性能

    本文介绍了一种自适应内容查询模块（SACQ），它利用变换器编码器的特征通过自注意力池化生成内容查询，解决了传统零初始化或可学习嵌入的内容查询缺乏信息导致性能不佳的问题。为了应对增强的集中力对匈牙利匹配训练过程的挑战，我们提出了查询聚合策略，合并来自不同查询的类似预测候选项，从而简化优化过程。在 COCO 数据集上的广泛实验证明了我们所提方法的有效性，在多种配置下对六种 DETR 变体均取得了超过 1.0 AP 的平均改进。

    May, 2024

  • 显著性 DETR：用分层显著性过滤改进检测 Transformer

    通过引入分层显著性筛选细化和稳定的两阶段初始化查询模块，该研究论文在 DETR 类方法中取得了显著的性能提升，克服了规模偏差和语义不匹配的问题，并在多个任务特定的检测数据集上实现了 4.0% ~ 4.4% 的平均准确率（AP）提高以及在 COCO 2017 数据集上实现了 49.2% 的 AP 提高，并且使用更少的 FLOPs 达到了更高的计算效率。

    Mar, 2024

  • 基于查询自适应的拥挤行人检测的 DETR

    本文提出一种自适应查询生成方法（RAQG），通过设计排名预测和自适应选择方法，使得 DETRs 在不同拥挤场景中能够自适应生成查询，并在 Crowdhuman 数据集和 Citypersons 数据集上取得了有竞争力的结果，特别是在 Crowdhuman 数据集上达到了 39.4% 的最佳 MR。

    Oct, 2023