ECCVJul, 2018

诊断时间行为检测器中的错误

PDF
TL;DR本文提出了一种新的诊断工具，以分析视频中时间动作检测器的性能并比较不同方法的效果，该工具可以帮助研究人员改进处理关于时间动作检测中的问题，例如如何更好地处理时间上下文问题以及如何提高对实例绝对和相对大小的稳健性等问题。另外，该实验分析发现，标注者之间的不一致并不是在领域取得进展的主要障碍。
temporal action localizationdiagnostic toolperformance analysisannotator agreementvideo understanding
发现论文，激发创造
  • 评估时间动作检测模型对时间损坏的鲁棒性

    该研究建立了两个时间相关的损坏性能基准，并分析了七种不同的时间行为检测方法的鲁棒性，发现现有方法对于时间损坏很容易出现性能下降，特别是在行为定位方面。研究还提出了一种简单而有效的鲁棒训练方法，能够防御时间损坏并在清晰数据上获得改进。该研究将为将来鲁棒视频分析的研究提供基准。

    Mar, 2024

  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020

  • 对时序动作定位模型的数据效率和计算效率进行基准测试

    本文研究了时间动作定位中当前深度学习模型在数据和计算能力受限制的情况下的性能表现，并发现 TemporalMaxer 模型在数据受限情况下表现最佳，推荐 TriDet 模型在训练时间受限时使用。另外，通过将不同长度的视频输入模型进行推理，发现 TemporalMaxer 模型需要较少的计算资源，可能是由于其简单的架构造成的。

    Aug, 2023

  • 增强即时可辨性的时间动作定位

    基于 TriDet 模型的时间动作检测（TAD）在多个 TAD 数据集上表现出鲁棒性和最先进的性能，包括分层（多标签）TAD 数据集。

    Sep, 2023

  • 动作搜索：在视频中识别动作及其在时间动作定位中的应用

    本文提出了基于观察视频小部分来查找视频中特定动作的新问题：视频中的动作识别，并使用递归神经网络模仿人类查找动作的方式，同时建立了 Human Searches 数据集，从中得到人类注释者的行为数据，用于解决动作识别中缺乏数据的问题，实验表明，该模型不仅能够在观察视频的平均 17.3％的情况下高效地探索视频，还能以 30.8％的平均精度准确地找到人类活动。

    Jun, 2017

  • 视频动作检测：分析限制和挑战

    本文旨在探讨在视频动作检测中，除数据集规模外其他能够衡量数据集质量的属性，并且提出了一个新的，适用于真实世界应用的多演员多行为（MAMA）数据集，同时还对影响视频数据集的时间关系进行了相关性研究，进而发现现有方法存在偏见。

    Apr, 2022

  • 一项关于端到端时间动作检测的实证研究

    本文介绍了一种基于端到端学习的方法进行时间动作检测，相对于只有检测头优化的方法，端到端学习可以带来多达 11% 的性能改进，并针对影响 TAD 性能和速度的多种设计选择进行了深入研究，并提出了更高效的检测器。

    Apr, 2022

  • 探究用于时序动作定位的更强特征

    本文研究了时域动作定位的方法，发现基于变压器的方法可以实现更好的分类性能，但不能生成准确的动作提案，最后通过以较高的帧分辨率提取特征来提高时域动作定位的性能，最终在 CVPR2021HACS 挑战中取得了第一名。

    Jun, 2021

  • 自闭症谱系障碍婴儿未修整视频中行为瞬间的本地化

    采用机器学习技术和自注意力的时间动作定位模型，针对自闭症谱系障碍（ASD）的幼儿视频，发展了简化复杂建模和强调效率的 ASD 行为识别方法，为 ASD 筛查提供了有前景的早期干预和支持方案，成为首个实施未剪辑的 ASD 幼儿视频中端到端时态行动定位的研究。

    Apr, 2024

  • 逐步擦除、逐一收集：一种弱监督的时间动作检测器

    本文提出一种基于分类器的弱监督时间行为检测方法，使用条件随机场对时序定位输出进行精细化处理，并在 THUMOS'14 和 ActivityNet 数据集上取得了较好的检测效果。

    Jul, 2018