May, 2024

区域引导的时间句子定位的查询多样化转换器

PDF
TL;DR在本文中，我们提出了一种基于区域导向的 Transformer（RGTR）用于时间句子锚定，通过对时刻查询进行多样化处理以消除重叠和冗余预测，并使用锚对作为时刻查询引入显式的区域导向，从而降低了优化困难并确保了最终预测结果的多样性，同时设计了一个 IoU 感知评分头来提高建议质量。在 QVHighlights、Charades-STA 和 TACoS 数据集上的广泛实验证明了 RGTR 的有效性，优于最先进的方法。
temporal sentence groundingdetr-based modelslearnable queriesregion-guided transformer (rgtr)iou-aware scoring head
发现论文，激发创造
  • 多模态 Transformer 在视频锚定中的设计追求

    本篇论文提出了一种新型的端到端、多模态 Transformer 模型 ——GTR，通过将视频定位看作一个集合预测任务来实现，采用立方体嵌入层将原始视频转换为视觉令牌；在解码器中，采用新型的多头跨模态注意力机制来更好地融合两种模态，整个模型的优化采用 Many-to-One 匹配损失函数，实现了记录性能和较快的推理速度，获得更好的结果。

    Sep, 2021

  • 分层本地 - 全局变压器用于时间句子定位

    本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，通过跨模态平行变压器解码器将其编码为最终的基础。

    Aug, 2022

  • 找到关注的焦点：面向事件的视频关键问题的 Transformer

    本文提出了一种事件感知的动态时刻查询方法，通过事件推理和时刻推理来预测视频中的时刻时间戳，实验证明了该方法在视频定位方面的有效性和高效性。

    Aug, 2023

  • TubeDETR: 基于 Transformer 的时空视频锚定

    提出了基于 Transformer 的 TubeDETR 模型，该模型能够高效地建模时空和多模态交互，用于解决视频中给定文本查询的时空定位问题，并且在视频定位任务上表现出色。

    Mar, 2022

  • 引用变压器：一种多任务视觉基础的一步方法

    本次研究提出了一个基于 transformer 架构的单阶段多任务模型，通过融合视觉和语言输入，实现了高度语义转换的视觉语言解析，通过上下文信息和多任务学习，该模型在包括命名实体识别等任务上，取得了比现有方法更加突出的性能优势。

    Jun, 2021

  • TransVG：基于 Transformer 的端到端视觉定位

    本文提出了一种基于 Transformer 的视觉定位框架 TransVG，通过建立多模态对应关系，实现使用简单 Transformer 编码器层替代复杂的融合模块，在五个广泛使用的数据集上取得了一系列最先进的记录并构建了基于 Transformer 的视觉定位框架基准。

    Apr, 2021

  • 使用 Transformer 进行视觉定位

    该论文提出了一种基于 Transformer 编码器 - 解码器的视觉 grounding 方法，通过在不损伤位置定位能力的前提下，在文本描述的指导下学习语义鉴别的视觉特征，具有强大的文本 - 视觉语境语义捕捉能力。实验结果表明，在保持快速推理速度的同时，该方法在五个基准上优于现有的提案 - free 方法。

    May, 2021

  • 时序语句定位的变换等变一致性学习

    介绍了一种新颖的自我监督学习框架，称为等变一致性规则学习（ECRL）框架，用于解决时间句子基础性问题（TSG），并利用该框架通过自我监督方式学习更具有区分性的针对每个视频的基于帧的查询相关表示。

    May, 2023

  • 视频表示学习中基于相关性引导的查询依赖校准用于时间标定

    设计了一种基于相关性引导的检测变换器（CG-DETR），通过自适应的交叉关注层、推断视频剪辑和单词之间的细粒度相关性以及视频剪辑的文本参与度，对视频和文本查询之间的模态差距进行强大的跨模态交互，提高了瞬间检索和精彩时刻检测的性能。

    Nov, 2023

  • 利用全局时间语义知识的视频句子定位

    利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

    Apr, 2024