Nov, 2018

基于语言的时间定位中的活动概念挖掘

PDF
TL;DR该研究提出了一种用于在未剪辑的视频中进行基于语言的时间定位的新方法，该方法利用了语言查询和视觉模型之间的语义概念，以及利用活动分类器预测得分编码视觉概念，并且可以对滑动窗口进行回归定位。实验表明，该方法在 Charades-STA 和 TACoS 数据集上的表现显著优于其他方法，提高了 5％以上。
temporal localizationactivity conceptslanguage queriessemantic cuesvideo sliding windows
发现论文，激发创造
  • TALL: 通过语言查询进行时间活动定位

    本文提出了一种使用自然语言查询来进行时间活动定位的方法，使用融合文本和视频特征的方法实现跨模态匹配，并采用后期处理技术进行结果的精确定位，实验结果验证了该方法的有效性。

    May, 2017

  • 穿越时间：视频活动的有效定位

    本文介绍了一种基于强化学习的视频定位技术，使用文本和视频的精细特征表示来准确定位语言查询中的片段，并仅浏览整个视频的 32-41% 以节约处理时间。

    Apr, 2019

  • 面向弱监督时序活动定位的对抗感知背景损失

    本文提出了一种新的基于弱监督学习的时间活动定位方法 A2CL-PT，通过使用两个三元组来学习每个活动类别的区分特征和每个视频中活动相关特征与背景特征的区分特征，以此增强识别无活动发生时的性能并提高精度，实验证明该方法有效，特别是在 THUMOS14 数据集上平均 IoU 阈值从 0.1 到 0.9 的平均 mAP 得分从 27.9％提高到 30.0％。

    Jul, 2020

  • 视频活动定位中的跨句子时间和语义关系

    本研究提出了一种基于 CRM、利用句间关系建立视频片段并匹配的弱监督方法，从而解决视频活动定位中时间信息标定的问题，并在公开数据集上验证其优越性。

    Jul, 2021

  • W-TALC: 弱监督下的时间活动定位和分类

    该论文提出了一种仅使用视频级标签的弱监督时序活动定位与分类框架，利用相关性来实现活动的时序定位，并在 Thumos14 和 ActivityNet1.2 数据集上实现了比当前最先进方法更好的性能。

    Jul, 2018

  • 利用文本信息提升弱监督的时间动作检测

    本文提出了一种利用文本信息来改进弱监督时间动作定位方法的算法，包括建立基于行为分类标签的文本描述，并通过文本分析找到与之相关的时间段以及通过视频分析来完整文本描述的生成目标。该方法在 THUMOS14 和 ActivityNet1.3 上取得了最领先性能，并且可以无缝地应用于现有方法，进一步提高其性能。

    May, 2023

  • 多层次语言和视觉融合的文本到视频检索

    本文提出了一种多层级的模型，早期并更紧密地集成了视觉和语言特性，用于解决从未剪辑的视频中基于文本的活动检索问题，其中包括注入文本特性以加速处理和提高性能，以及利用视觉特征在循环神经网络中模拟查询句子的单词级处理以学习细粒度的相似性度量，同时采用多任务损失函数。该方法在 Charades-STA 和 ActivityNet Captions 两个具有挑战性的基准测试中表现出较高效果。

    Apr, 2018

  • 带有时间边界不确定性的视频活动定位

    本文提出 Elastic Moment Bounding (EMB) 和 guided attention 机制，解决了视频活动定位训练时时间标注的不确定性问题，提高了在自然视频中的准确性和鲁棒性。

    Jun, 2022

  • 通过图像查询在视频中定位未见过的活动

    该研究提出了一个基于图像查询的自我注意力交互定位器实现在未剪辑视频中定位未知活动的方法，并对 ActivityNet 数据集进行了重新组织，实验表明该方法的有效性。

    Jun, 2019

  • 语义视频预测中的模块化行动概念建模

    该研究介绍了使用语义动作标签作为反向问题进行预测的方法，提出了一种名为模块化动作概念网络的视频预测模型，该模型可以生成对应的未来帧且无需边界框，还可以用于物体检测和高层次的认知任务。

    Nov, 2020