ICCVAug, 2023

D3G: 利用高斯先验探索具有注视标注的时间句子定位

PDF
TL;DR通过减少标注成本并保持与全监督方法相竞争的性能，我们提出了一种基于动态高斯先验的望注释视图的时间句子定位框架，该框架在关键词之间进行了深入调研，并通过 Semantic Alignment Group Contrastive Learning 模块和 Dynamic Gaussian prior Adjustment 模块来提高性能。
temporal sentence groundingweakly supervised methodsfully supervised methodsglance annotationdynamic gaussian prior based grounding framework
发现论文，激发创造
  • 视频中的时间句子定位：数据集和度量的深入探讨

    本文主要研究 Temporal Sentence Grounding in Videos，在现有的评估协议中，重新组织两个广泛使用的 TSGV 基准及引入新的评估指标 dR @ n，IoU @ m 来校准基本的 IoU 分数，进一步监控 TSGV 的进展。

    Jan, 2021

  • 基于记忆的语义学习网络用于时序句子定位

    提出了一种名为记忆引导语义学习网络（MGSL-Net）的内存增强网络来学习和记忆 TSG 任务中常见且罕见的内容，通过动态地关联常见和罕见情况，缓解模型忘记的问题，并在测试阶段通过检索存储的记忆来增强罕见情况，实现更好的泛化。

    Jan, 2022

  • 减少视觉和语言偏见以进行时间性句子定位

    本文提出了一种消除多媒体信息检索中选择偏差的 Debiasing-TSG（D-TSG）模型，实现在常见和罕见情况下的 Temporal sentence grounding，在三个基准数据集上取得了最先进的表现。

    Jul, 2022

  • 通过单帧注释从文本查询中检索视频时刻

    本文提出一种称为 “glance annotation” 的新型注释范式，通过将输入的视频切分成多个片段，并利用对比学习的 ViGA 方法，得到具有高性能的视频片段检索结果。

    Apr, 2022

  • 使用深度语义聚类进行无监督的时间视频锚点定位

    本文提出一种无监督学习的方法 Deep Semantic Clustering Network，通过语言语义挖掘、视频语义聚合和前景注意力等步骤，实现对 Temporal video grounding 的定位，取得了竞争性的性能表现。

    Jan, 2022

  • 流式视频中的时间语句定位

    该研究旨在解决一项新颖任务 —— 流媒体视频中的时间句子定位，通过提出 TwinNet 结构和语言引导的特征压缩器，该方法在多个数据集上进行了广泛实验证明了其卓越性能。

    Aug, 2023

  • 深入探讨视频中去偏置的时间句子定位：数据集、度量和方法

    本文提出了一种新的视频文本时间对齐评估协议，包括将常用的数据集重新组织为不同的分布以及引入一种新的评估度量方法。此外，作者还提出了一种基于因果关系的多分支去偏置去混淆框架，帮助模型更好地对齐句子查询和视频片段的语义，实现了更好的性能。

    Mar, 2022

  • 视频中的时序句子地位划分：调查与未来方向

    该论文调查了自然语言视频定位 (TSGV) 的基本概念和当前研究状况，并讨论了未来的研究方向，着重介绍了 TSGV 的多模态理解和交互技术，构建了 TSGV 技术的分类法，讨论了当前研究中存在的问题并分享了有前途的研究方向。

    Jan, 2022

  • 分层本地 - 全局变压器用于时间句子定位

    本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，通过跨模态平行变压器解码器将其编码为最终的基础。

    Aug, 2022

  • 时序语句定位的变换等变一致性学习

    介绍了一种新颖的自我监督学习框架，称为等变一致性规则学习（ECRL）框架，用于解决时间句子基础性问题（TSG），并利用该框架通过自我监督方式学习更具有区分性的针对每个视频的基于帧的查询相关表示。

    May, 2023