Sep, 2023

OTAS: 无监督的面向对象的时间动作分割的边界检测

PDF
TL;DR我们提出了一种名为 OTAS 的无监督框架，通过探索局部特征的优点，实现了时域行为分割，并通过自监督全局和局部特征提取模块以及边界选择模块，融合特征并检测行为分割的显著边界。在实验中，我们发现 OTAS 相对于推荐的 F1 分数平均提高了 41%，甚至在用户研究中优于人工标注的地面真值，并且 OTAS 具备实时推理能力。
发现论文，激发创造
  • O-TALC: 应对在线动作分割中过度细分的步骤

    在线临时动作分割通过改进的训练和推理方法提高了骨干动作识别模型的训练和在线帧级分类性能，可用于实时 HRI 任务，尤其在处理细粒度数据集时表现出色。

    Apr, 2024

  • 学习显著边界特征以实现无锚定时间行为定位

    本文提出了第一个完全基于无锚点的时间定位方法，该模型通过使用一种基本的可训练推荐器、一个基于显着性的细化模块以及若干一致性约束来实现。实验证明，我们的方法在 THUMOS14 上击败了所有锚点和动作导向方法，取得了最先进的结果，在 ActivityNet v1.3 上取得了可比较的结果。

    Mar, 2021

  • DIR-AS: 将个体识别和时间推理分离以进行动作分割

    本文提出了一种新颖的本地 - 全局注意力机制来解决行动分割中过度分割问题，同时通过时间金字塔扩张和池化来实现高效多尺度关注，将个体识别与时间推理解耦，并通过行动对齐模块来融合不同的粒度级别预测，从而实现更精确和更平滑的行动分割， 在 GTEA 和 Breakfast 数据集上取得了最先进的准确性。

    Apr, 2023

  • 基于边界感知查询投票的高效时间动作分割

    通过使用 BaFormer 方法，本研究提出了一种基于时间段分类的新视角，以实现高效的动作分割，过程中运用了 Transformer 的优势，将每个视频段作为实例标记，并赋予了内在的实例分割能力，通过使用全局查询进行类别无关的边界预测，得到连续的时间段建议。

    May, 2024

  • AutoLoc: 弱监督时序动作定位

    本文提出了一种基于弱监督的时序动作定位框架 AutoLoc, 运用 Outer-Inner-Contrastive (OIC) 损失函数，通过自动发现分段级别监督训练出定位模型，模型在 THUMOS'14 数据集中，IoU 阈值为 0.5 时，平均精度从 13.7% 提高至 21.2%，在 ActivityNet 数据集中，平均精度从 7.4% 提高至 27.3%。

    Jul, 2018

  • 多层监督的时间动作检测

    研究介绍在视频中训练时序动作检测需要大量标记数据，使用半监督学习和未标记数据可以降低标记成本。提出了一个半监督动作检测任务，设计了无监督前景注意力和信息瓶颈方法来提高性能并评估其在标记，未标记和弱标记数据下的表现。

    Nov, 2020

  • 通过全局分割掩码学习实现无需提案的时间动作检测

    该研究提出了一种无需 proposal 的时序行为检测模型 TAGS，该模型采用全局分割掩模学习每个动作实例的时序表达，通过针对全局时序表达进行检测，避免了 proposal 生成及评估所带来的高复杂度，从而在较低计算成本的情况下取得了当前最先进的性能。

    Jul, 2022

  • 基于动作 - 过渡感知边界对齐的高效有效的弱监督动作分割

    本研究提出了一种新的弱监督动作分割方法，通过直接定位几个动作转换来生成伪分割，并利用边界对齐和视频级别监督来有效地过滤噪声并检测转换。实验证明了这种方法在性能和训练速度上的有效性。

    Mar, 2024

  • 运动分析的鲁棒视觉跟踪

    通过分析运动模式使用固有的张量结构进行片段分割和目标追踪，该算法在 LaSOT、AVisT、OTB100 和 GOT-10k 等基准测试中取得了有竞争力的结果，并能够实现实时操作。

    Sep, 2023

  • 连续时间嵌入的无监督动作类别学习

    该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

    Apr, 2019