Jun, 2022

带有时间边界不确定性的视频活动定位

PDF
TL;DR本文提出 Elastic Moment Bounding (EMB) 和 guided attention 机制，解决了视频活动定位训练时时间标注的不确定性问题，提高了在自然视频中的准确性和鲁棒性。
video activity localisationtemporal labellingelastic moment boundingguided attention mechanismmodel training
发现论文，激发创造
  • 视频活动定位中的跨句子时间和语义关系

    本研究提出了一种基于 CRM、利用句间关系建立视频片段并匹配的弱监督方法，从而解决视频活动定位中时间信息标定的问题，并在公开数据集上验证其优越性。

    Jul, 2021

  • 视频活动定位的边界去噪

    提出了一种称为 DenoiseLoc 的编码器 - 解码器模型，从去噪的角度研究了视频活动定位问题，通过边界去噪来预测具有精确边界的活动，能够提高准确性和收敛速度，并在多个视频活动理解任务上取得了最先进的性能。

    Apr, 2023

  • 穿越时间：视频活动的有效定位

    本文介绍了一种基于强化学习的视频定位技术，使用文本和视频的精细特征表示来准确定位语言查询中的片段，并仅浏览整个视频的 32-41% 以节约处理时间。

    Apr, 2019

  • 野外活动视频查询

    本文针对非平衡场景中的视频查询中的活动检索进行研究，提出了一种视觉 - 语义嵌入网络，该网络包含两个新模块：视觉对齐模块通过全局对齐输入视频和所有活动的固定大小视觉库表示之间的关系，语义模块在输入视频和固定大小的语义活动表示之间进行对齐。通过匹配具有相等规模的视觉和语义活动表示的视频，我们不再在检索过程中忽略不常见的活动。实验结果表明，我们的方法在各类活动的非平衡活动检索基准上具有有效性。

    Nov, 2023

  • 通过图像查询在视频中定位未见过的活动

    该研究提出了一个基于图像查询的自我注意力交互定位器实现在未剪辑视频中定位未知活动的方法，并对 ActivityNet 数据集进行了重新组织，实验表明该方法的有效性。

    Jun, 2019

  • 追求时间准确性的通用活动检测

    本文提出了一种通用的框架，利用新颖的提案方案和级联分类管道从未修剪的视频中准确检测各种活动，超越了现有最先进方法在 THUMOS14 和 ActivityNet 数据集上的表现。

    Mar, 2017

  • 视频语料库中的时刻定位层级多模态编码器

    本文提出了一种名为 HAMMER 的 HierArchical Multi-Modal EncodeR 模型，通过在粗略的片段级别和细粒度的帧级别编码视频，从多个子任务中提取不同尺度的信息，从而解决了在未处理和未分段的视频中定位未定义段的挑战。实验结果表明，我们的方法优于以前的方法和强基线，是此任务的新的 state-of-the-art。

    Nov, 2020

  • 使用引导注意力在视频中进行自然语言查询的无需提议的时间时刻定位

    本文提出了一种更有效率的、端到端可训练的、不需要先提出建议的方法，以自然语言作为查询，解决了在长视频中定位时间点的问题。通过引入动态滤波器、新的损失函数和软标签等三个关键组件，实现从语言信息到视觉领域的转换，并评估了该方法在两个基准数据集上的表现优越性。

    Aug, 2019

  • 越界：自我中心视角视频中对象交互的时间边界标注

    通过研究三个虚拟数据集的标注者在标注时间边界上的一致性问题，我们提出了一种使用基于认知模型的 “Rubicon Boundaries” 来更加一致地标注时间边界的方法，并在一个公共数据集上取得了总准确度提升 4% 和 55% 类别准确度提升的效果。

    Mar, 2017

  • 基于语言的时间定位中的活动概念挖掘

    该研究提出了一种用于在未剪辑的视频中进行基于语言的时间定位的新方法，该方法利用了语言查询和视觉模型之间的语义概念，以及利用活动分类器预测得分编码视觉概念，并且可以对滑动窗口进行回归定位。实验表明，该方法在 Charades-STA 和 TACoS 数据集上的表现显著优于其他方法，提高了 5％以上。

    Nov, 2018