Dec, 2023

RGNet：一个用于长视频的统一检索与定位网络

PDF
TL;DR通过统一跨模态 RG-Encoder 和稀疏采样技术，RGNet 方法实现了对长视频进行端到端的特定时刻定位，从而超过了以往在长视频时间定位数据集 MAD 和 Ego4D 上的方法，展示了最先进的性能。
end-to-end methodlong-form video temporal groundingproposal selectionrgnetvideo-text retrieval
发现论文，激发创造
  • 面向时间语言对接的关系感知视频阅读理解

    本文提出了一种使用选择 - 查询交互和选择 - 选择关系构建解决视频阅读理解中的时间语言接地问题的框架，并引入了一种新颖的多选择关系构造器，通过利用图卷积捕获最佳选择的视频时刻之间的依赖关系，并在 ActivityNet-Captions、TACoS 和 Charades-STA 数据集上进行了广泛的实验证明了我们的方法的有效性。

    Oct, 2021

  • VLG-Net: 视频语言图匹配网络用于视频 grounding

    本文提出了使用图神经网络来进行视频和文本信息的语义对齐，以识别语言查询相关的时间间隔，解决这个挑战性任务的关键是将其转化为一个基于算法的图匹配问题，并采用图匹配层进行跨模态上下文建模和多模态融合，使用视频 - 语言图匹配网络（VLG-Net）匹配视频和查询图，并使用掩码时刻注意力池将时刻候选项通过融合富有效果的片段特征进行生成。在 ActivityNet-Captions，TACoS 和 DiDeMo 三个常用数据集上，我们在带有语言查询的视频瞬间的时间本地化方面展示了优于现有技术水平的性能。

    Nov, 2020

  • 统一的静态和动态网络：用于视频定位的高效时域滤波

    我们设计了一个统一的静态和动态网络 (UniSDNet)，用于在跨模态环境中学习视频和文本 / 音频查询之间的语义关联以实现高效的视频定位；我们的 UniSDNet 适用于自然语言视频定位（NLVG）和口语语言视频定位（SLVG）任务，并在多个数据集上取得了 SOTA 性能。

    Mar, 2024

  • 视频定位用的密集回归网络

    本研究旨在解决自然语言查询的视频地面问题，并通过使用密集监管改进视频地面的准确性，相比与现有方法，我们的方法在三个数据集上均有明显的优势。

    Apr, 2020

  • 2023 年 GroundNLQ@Ego4D 自然语言查询挑战赛

    本文介绍了一种基于两阶段预训练策略及新颖的 GroundNLQ 模型的视频摘要方法。在 Ego4D 自然语言查询挑战方面获得优异的表现，超过其他团队。

    Jun, 2023

  • 利用全局时间语义知识的视频句子定位

    利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

    Apr, 2024

  • 基于多级弱监督关注重建网络的视频文本查询锚定

    本文提出一种基于弱监督学习的多级注意力重建网络（MARN）来实现视频中文本查询的时间定位，该方法又利用注意重建的思想，建立了一个候选时间片段的注意力模型，并利用候选片段和视频句子对进行训练。作者还利用 2D 卷积来提取更可靠的注意力图，并在 Charades-STA 和 ActivityNet-Captions 数据集上进行实验，表明 MARN 优于现有的弱监督方法。

    Mar, 2020

  • 多粒度感知网络用于视频中的时刻检索

    该论文提出了一种新的多粒度感知网络 (MGPN)，旨在改善视频中的时刻检索，将时刻检索建模为一种多选阅读理解任务，结合人类阅读策略，并通过优化算法提高了检索精度。

    May, 2022

  • 多模态 Transformer 在视频锚定中的设计追求

    本篇论文提出了一种新型的端到端、多模态 Transformer 模型 ——GTR，通过将视频定位看作一个集合预测任务来实现，采用立方体嵌入层将原始视频转换为视觉令牌；在解码器中，采用新型的多头跨模态注意力机制来更好地融合两种模态，整个模型的优化采用 Many-to-One 匹配损失函数，实现了记录性能和较快的推理速度，获得更好的结果。

    Sep, 2021

  • 利用多模态引导在长视频中定位时刻

    本文研究了基于视频的语言表示的大规模 MAD 数据集。 现有的基于句子的方法在长视频中表现效果不佳，本文提出了一种新的指导模型的方法，以提高基于句子的方法在长视频上的表现。该方法经实践证明，在 MAD 数据集上获得了更好的效果。

    Feb, 2023