ICCVDec, 2023

弱监督时序动作定位中前景和背景分离的再探：基于聚类的方法

PDF
TL;DR基于弱监督学习的时间动作定位，通过只用视频级别的动作标签来定位视频中的动作实例。通过无监督的片段聚类，提出了一种基于聚类的前景与背景分割算法，通过产生匹配多个可能的先验分布的高质量伪标签，确保片段的聚类分配与其前景和背景标签的准确关联，从而改善前景和背景分离。在 THUMOS14、ActivityNet v1.2 和 v1.3 的三个基准上评估了该方法，相比之前的方法，我们的方法在所有三个基准上都取得了良好的性能，同时更加轻量级。
temporal action localizationweakly-supervised learningunsupervised snippet clusteringforeground and background separationself-labeling mechanism
发现论文，激发创造
  • 弱监督时序动作定位的前景 - 动作一致性网络

    本文提出了一种名为 FAC-Net 的框架，基于 I3D 骨干结构，在其上附加了三个分支，分别是类别感知前景分类分支，类不可知的注意力分支和多实例学习分支。该框架可用于处理高水平视频理解中的弱监督时间行为定位任务，并在 THUMOS14 和 ActivityNet1.3 上取得了最先进的性能。

    Aug, 2021

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • 基于代表性片段知识传播的弱监督时态动作定位

    该研究提出了一种代表性摘要和传播框架，通过在视频中挖掘代表性片段来传播信息以生成更好的伪标签，从而解决了分类和定位之间的差异问题，并在 THUMOS14 和 ActivityNet1.3 数据集上取得了比现有方法更好的性能。

    Mar, 2022

  • 视频和图像联合分割与定位的前景聚类

    本文提出了一种新的框架，将视频 / 图像分割和区域定位视为一个单一的优化问题，并以非常弱的监督方式集成低级外观线索和高级定位线索的信息。该框架利用不同级别的两种表示，利用边界框和超像素之间的空间关系作为线性约束，同时在边界框和超像素级别上区分前景和背景。与以往主要依赖于判别聚类的方法不同，我们结合了一个前景模型，使得一个物体在所有图像帧中的直方图差异最小。利用超像素和边界框之间的几何关系使得分割线索可以传递以改善定位输出，反之亦然。前景模型的引入将我们的判别框架推广到视频数据，其中背景往往是相似的，因此不具有判别力。我们证明了我们的统一框架在 YouTube 对象视频数据集，Internet 对象发现数据集和 Pascal VOC 2007 上的有效性。

    Nov, 2018

  • 弱监督时间动作定位的背景抑制网络

    本文提出背景抑制网络 (BaS-Net) 来解决仅具备视频层级标签、而没有帧级标签的弱监督时序动作定位问题；该网络结构采用两个分支和非对称训练策略来抑制背景帧的激活，有效地提高了动作的定位表现。实验验证表明，BaS-Net 在 THUMOS'14 和 ActivityNet 等基准测试上的表现优于当前最先进的方法。

    Nov, 2019

  • 基于不确定性建模进行弱监督时序动作定位

    该论文提出了一种新的关于背景帧的观点，在这个观点中，背景帧是关于其不一致性的离群样本，通过学习不确定性，背景帧可以被检测出来，而这种不确定性的学习是通过多实例学习实现的，进一步引入了一个背景熵损失以更好地鉴别背景帧。研究表明，我们的不确定性建模可以有效地减轻背景帧的干扰，并且在 THUMOS'14 和 ActivityNet（1.2 和 1.3）基准测试上取得了明显优于最先进方法的性能表现。

    Jun, 2020

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 背景点击监督下的时间动作定位

    本文提出的 BackTAL 方法通过背景视频帧上的标签训练了一个更强的动作本地化器，相比传统的弱监督方法，其采取的动作 - 点击监督框架节省了注释成本并稳定提高了本地化性能。

    Nov, 2021

  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020

  • 面向弱监督时序活动定位的对抗感知背景损失

    本文提出了一种新的基于弱监督学习的时间活动定位方法 A2CL-PT，通过使用两个三元组来学习每个活动类别的区分特征和每个视频中活动相关特征与背景特征的区分特征，以此增强识别无活动发生时的性能并提高精度，实验证明该方法有效，特别是在 THUMOS14 数据集上平均 IoU 阈值从 0.1 到 0.9 的平均 mAP 得分从 27.9％提高到 30.0％。

    Jul, 2020