Nov, 2023

BAM-DETR: 视频中的时间句子定位的边界对齐时刻检测变换器

PDF
TL;DR我们引入了一种新颖的基于边界的时序定位模型，通过设计 Boundary-Aligned Moment Detection Transformer（BAM-DETR）和质量优先的排序方法，实现了在时序句子理解任务中的新的最佳成果。
temporal sentence groundingdetr-like approachesboundary-oriented moment formulationboundary-aligned moment detection transformer (bam-detr)quality-based ranking method
发现论文，激发创造
  • 克服视觉和文本之间的弱对齐性以实现视频时刻检索

    提出一种名为 BM-DETR 的背景感知时刻检测变压器模型，通过利用负查询和周围的背景来考虑相关性并提高时刻灵敏度，从而提高视频时刻检索（VMR）的效果和泛化能力。

    Jun, 2023

  • MH-DETR: 跨模态变换器进行视频片段和精华片段检测

    提出了面向视频时刻和精彩片段检测的 MH-DETR 模型，其采用简单而高效的池化操作和跨模态交互模块，以获得更好的时序内模态上下文和跨模态特征。在多个数据集上的实验结果表明，MH-DETR 优于现有的最先进方法，具有较高的准确性和鲁棒性。

    Apr, 2023

  • MS-DETR：使用采样时刻交互实现自然语言视频定位

    本文旨在解决 Natural Language Video Localization（NLVL）的问题，通过提出 Moment Sampling DETR 算法，即基于提议的解决方案，生成候选时刻，并选择最佳匹配提议，同时使用可学习的模板进行多尺度视觉和语言编码，对数据集进行实验，提高了 MS-DETR 的准确性。

    May, 2023

  • 找到关注的焦点：面向事件的视频关键问题的 Transformer

    本文提出了一种事件感知的动态时刻查询方法，通过事件推理和时刻推理来预测视频中的时刻时间戳，实验证明了该方法在视频定位方面的有效性和高效性。

    Aug, 2023

  • TubeDETR: 基于 Transformer 的时空视频锚定

    提出了基于 Transformer 的 TubeDETR 模型，该模型能够高效地建模时空和多模态交互，用于解决视频中给定文本查询的时空定位问题，并且在视频定位任务上表现出色。

    Mar, 2022

  • TR-DETR: 具有任务互逆性的 Transformer 模型，用于联合出现时刻检索和摘要提取

    基于自然语言查询的视频时刻检索（MR）和精彩片段检测（HD）是两个高度相关的任务，目标是获取视频中的相关时刻和每个视频片段的精彩得分。本文提出了一种基于 DETR 的任务互补变换器（TR-DETR），专注于探索 MR 和 HD 之间的内在互补性。实验表明，TR-DETR 优于现有的最先进方法。

    Jan, 2024

  • TriDet: 基于相对边界建模的时间动作检测

    本文提出了一种一阶段框架 TriDet，用于时间动作检测，其结合了 Trident-head 和 SGP-based 特征金字塔的快速、高效特性，取得了在三个基准测试中的最优性能，表现出优异的时间动作检测结果。

    Mar, 2023

  • 双重 DETR 用于多标签时间动作检测

    提出了一种新的双层查询型时态行动检测框架 DualDETR，在多标签 TAD 基准测试中表现出优于现有最先进方法的性能，在 det-mAP 下实现了显著改进，在 seg-mAP 下取得了令人印象深刻的结果。

    Mar, 2024

  • 区域引导的时间句子定位的查询多样化转换器

    在本文中，我们提出了一种基于区域导向的 Transformer（RGTR）用于时间句子锚定，通过对时刻查询进行多样化处理以消除重叠和冗余预测，并使用锚对作为时刻查询引入显式的区域导向，从而降低了优化困难并确保了最终预测结果的多样性，同时设计了一个 IoU 感知评分头来提高建议质量。在 QVHighlights、Charades-STA 和 TACoS 数据集上的广泛实验证明了 RGTR 的有效性，优于最先进的方法。

    May, 2024

  • 增强 DETR 收敛和多尺度特征融合的语义对齐匹配

    本文提出 Semantic-Aligned-Matching DETR++（SAM-DETR++）算法，通过在同一特征嵌入空间中投影对象查询和编码图像特征以便更容易地匹配具有类似语义的对象。此算法有效地融合了多尺度特征，加速了 DETR 的收敛速度并提高了检测精度，拥有成为现有 DETR 收敛解决方案完美补充的潜力。

    Jul, 2022