Feb, 2022

基于持续时间的 Vlog 叙述动作时间定位研究

PDF
TL;DR本文研究生活时尚视频中的时间人类行为定位，提出一个基于预期持续时间的简单而有效的方法，该方法使用数据集手动注释的 13,000 个行动，并分析它的语言和可视模态交互，并通过实验证明，相对于以往方法，该方法具有补充信息，并且在时间行动定位任务上的性能更好。
temporal action localizationlifestyle vlogsdatasetlanguage and visual modalitiesmethodology
发现论文，激发创造
  • 使用时间语言定位视频中的瞬间

    本文提出了一种新模型，该模型可以明确地推理视频中的不同时间片段，证明了在包括时间语言的短语定位中，时间上下文的重要性，并通过 TEMPO 数据集进行了实验以验证模型可靠性。

    Sep, 2018

  • 时刻数据集：百万事件视频用于事件理解

    Moments in Time 数据集是一个包含 100 万短视频的大型人工注释集合，主要用于研究动态事件的空间 - 音频 - 时间动态建模，包括 339 个类别的活动标注，可作为发展至人类日常处理的复杂性和抽象推理水平的模型的新挑战。

    Jan, 2018

  • 视频片段定位调查

    对现有的视频时刻定位技术（包括监督、弱监督和非监督），以及可用于视频时刻定位的数据集进行全面回顾，并讨论了大规模数据集和可解释视频时刻定位模型等未来发展方向。

    Jun, 2023

  • WhyAct: 生活视频中的行动原因识别

    本文介绍一种利用视频和文本信息来自动识别在线视频中人类行为原因的多模态模型，并基于手动注释数据集 WhyAct，研究了流行的生活方式视频类型。

    Sep, 2021

  • 学习在大规模视频数据中本地化时间事件

    该研究提出了两种方法来解决大规模视频数据中事件的时间定位问题，一种是采用梯度提升决策树模型，另一种是采用基于帧级数据、视频级数据和定位模型的深度学习模型组合，在第三届 Youtube-8M 视频识别挑战中获得第 5 名。

    Oct, 2019

  • 动作搜索：在视频中识别动作及其在时间动作定位中的应用

    本文提出了基于观察视频小部分来查找视频中特定动作的新问题：视频中的动作识别，并使用递归神经网络模仿人类查找动作的方式，同时建立了 Human Searches 数据集，从中得到人类注释者的行为数据，用于解决动作识别中缺乏数据的问题，实验表明，该模型不仅能够在观察视频的平均 17.3％的情况下高效地探索视频，还能以 30.8％的平均精度准确地找到人类活动。

    Jun, 2017

  • 连接视觉和语言：基于视频本地化叙述的研究

    本文提出了一种新形式的多模态视频注释方法：基于视频的定位叙事。在此方法中，注释员不仅可以说出视频中发生的事件，而且还可以使用鼠标追踪分段来定位句子的表示部分。同时，作者采用了该方法对三个数据集中的 20,000 个视频进行了注释，并提供了视频故事理解和视频问题回答任务的评测基准以及来自强基准模型的参考结果。

    Feb, 2023

  • 何时做什么？- 预测活动的时间发生

    提出了两种方法来进行视频动作的长期预测。使用卷积神经网络和循环神经网络进行学习，能够生成准确的未来预测甚至在包含大量不同动作的长视频中也可以处理噪音或错误的输入信息。

    Apr, 2018

  • 基于时间提案演化的精准时间动作定位

    提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

    Apr, 2018

  • 使用人类动作构建视频语言数据集进行多模态逻辑推理

    介绍了一个新的包含人类行为的视频和语言数据集，该数据集专注于描述动态人类动作的故事意图和局限性表达式，该数据集预计对评估包括否定和量化在内的复杂语句与视频之间的多模态推理系统非常有用。

    Jun, 2021