Sep, 2023

点级弱监督时域动作定位中的子动作原型学习

PDF
TL;DR通过子动作原型学习框架，包括子动作原型聚类和有序原型对齐，提出了一种弱监督时间动作定位方法，从对齐结果中生成伪标签来改善动作边界预测，并在三个流行基准测试中显著超越现有最优方法。
point-level weakly-supervised temporal action localizationsub-action prototype learning frameworksub-action prototype clusteringordered prototype alignmentpseudo label generation
发现论文，激发创造
  • 基于提议的时间动作定位与点级监督

    提出了一种用于点级别监督时序动作定位的新方法，通过生成和评估具有灵活时长的动作提案来定位动作，利用聚类算法生成密集伪标签提供更强的监督，并利用精细的对比损失进一步提高伪标签的质量，实验证明该方法在多个基准数据集上达到了与最先进方法相媲美甚至更好的性能。

    Oct, 2023

  • 通过学习明确的动作和情境子空间，实现弱监督的时间行为定位

    通过学习两个特征子空间（分别专门用于行为和背景）并利用时空运动预测来促进两个特征子空间的学习，本文提出了一种解决弱监督时间动作本地化的方法，该方法在 THUMOS14、ActivityNet v1.2 和 v1.3 数据集上优于现有的 WS-TAL 方法。

    Mar, 2021

  • POTLoc: 基于伪标签的点监督 Transformer 模型用于时态动作定位

    这篇论文提出了 POTLoc，一种基于伪标签导向的变压器，利用仅有的点级注释来进行弱监督的动作定位。POTLoc 通过自我训练策略来识别和追踪连续的动作结构，结合了变压器和时间特征金字塔的架构，通过伪标签来辅助变压器更好地学习动作动态，在 THUMOS'14 和 ActivityNet-v1.2 数据集上表现出优异性能，相较于现有的点级监督方法平均 mAP 提升了 5%。

    Oct, 2023

  • STAT: 通往可推广的时间动作定位

    提出了一种弱监督时序动作定位算法 STAT，通过引入自监督时序自适应教师模块和对齐模块，在不同数据分布下显著提高了动作定位方法的泛化能力。

    Apr, 2024

  • 双向语义一致性约束的弱监督时间动作定位

    该研究提出了一种名为双向语义一致性约束的方法来改善当前弱监督下的视频分类及定位发现问题。该方法采用时间相关增强来打破正样本动作与其 co-scene 动作之间的相关性，通过语义一致性约束来获得足够的信息区分两者，从而较好地应用于当前的 WTAL 方法，并且在 THUMOS14 和 ActivityNet 数据集上取得了较好的性能。

    Apr, 2023

  • 基于代表性片段知识传播的弱监督时态动作定位

    该研究提出了一种代表性摘要和传播框架，通过在视频中挖掘代表性片段来传播信息以生成更好的伪标签，从而解决了分类和定位之间的差异问题，并在 THUMOS14 和 ActivityNet1.3 数据集上取得了比现有方法更好的性能。

    Mar, 2022

  • AutoLoc: 弱监督时序动作定位

    本文提出了一种基于弱监督的时序动作定位框架 AutoLoc, 运用 Outer-Inner-Contrastive (OIC) 损失函数，通过自动发现分段级别监督训练出定位模型，模型在 THUMOS'14 数据集中，IoU 阈值为 0.5 时，平均精度从 13.7% 提高至 21.2%，在 ActivityNet 数据集中，平均精度从 7.4% 提高至 27.3%。

    Jul, 2018

  • 无监督预训练用于时间动作定位任务

    本文提出了自监督预训练的假动作定位任务（PAL）用于未监督的视频特征编码器的预训练，目的是为了提高时间动作定位任务的性能。与现有的方法相比，PAL 引入了一种时间等价对比学习范例，具有更好的适应性和性能。

    Mar, 2022

  • 无监督的时序动作定位：基于自主学习的渐进式学习

    提出了一种新颖的自适应递增学习模型，通过改进聚类置信度和可变速增量实例学习策略的设计，提高无监督时间动作定位的效果。

    Dec, 2023

  • 跨视频上下文知识的探索和利用，减少弱监督时序动作定位的歧义

    通过在数据集中探索并利用跨视频的上下文知识，我们的研究提供了一种新方法来间接改善对细粒度行动模式的整体理解，并减少模糊性。通过提出一个端到端框架，我们的方法在几个数据集上得到了比最先进方法更好的表现。

    Aug, 2023