CVPRMay, 2021

视频中的弱监督行为选择学习

PDF
TL;DR该研究使用 action selection learning（ASL）方法来解决仅拥有视频级别标签的情况下本地化视频中的动作的问题，并在两个流行的基准测试中优于领先的基线，同时还分析了 ASL 的属性和动作性质。
localizing actionscomputer visionweakly supervisedtemporal localizationaction selection learning
发现论文，激发创造
  • 基于生成式注意模型的弱监督动作定位

    本文提出了一种使用条件变分自编码器模型来处理弱监督下的动作定位问题的方法，通过建立一个概率模型来模拟每一帧在给定关注度的情况下应当属于动作或非动作中的哪一类，从而有效地解决了动作与上下文之间相互混淆的问题。

    Mar, 2020

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020

  • 动作敏感度学习用于时间动作定位

    本研究提出了一种 Action Sensitivity Learning 框架，旨在识别和定位动作示例，并通过轻量级的 Action Sensitivity Evaluator 和 Action Sensitive Contrastive Loss 实现对应的学习和训练。实验结果表明，该框架在多种场景下均优于现有技术，达到了最高的平均 mAP 值。

    May, 2023

  • 一种灵活的动作定位训练模型，具有不同程度的监督

    提出了一种基于磁盘聚类的统一框架，它可以处理和结合不同类型的较低需求的弱监督，从视频中监测时空活动，并将其应用于训练设置中的不同类型的监督信号实验结果证明：该模型在 UC101-24 和 DALY 数据集上具有竞争性能，而且与之前的方法相比，使用的监督信号更少。

    Jun, 2018

  • 在有序约束条件下的视频弱监督动作标记

    本文介绍了一种基于弱监督时序标注的视频动作分类方法，将视频分为多个时间间隔并为每个时间间隔分配一个动作标签，以实现动作时序的定位，并学习每个动作的鉴别器。通过新的数据集对该方法进行了测试。

    Jul, 2014

  • 演员监督的时空动作定位

    本文介绍一种视频动作时空本地化的方法，着重于弱监督学习，只需要视频类标签即可。利用演员在动作中的变换特性，引入基于演员提议的算法及注意力机制，对三个行为数据集进行测试，实验结果表明，该方法在弱监督下可以实现与一些强监督学习相当的性能。

    Apr, 2018

  • 基于不确定性建模进行弱监督时序动作定位

    该论文提出了一种新的关于背景帧的观点，在这个观点中，背景帧是关于其不一致性的离群样本，通过学习不确定性，背景帧可以被检测出来，而这种不确定性的学习是通过多实例学习实现的，进一步引入了一个背景熵损失以更好地鉴别背景帧。研究表明，我们的不确定性建模可以有效地减轻背景帧的干扰，并且在 THUMOS'14 和 ActivityNet（1.2 和 1.3）基准测试上取得了明显优于最先进方法的性能表现。

    Jun, 2020

  • 背景点击监督下的时间动作定位

    本文提出的 BackTAL 方法通过背景视频帧上的标签训练了一个更强的动作本地化器，相比传统的弱监督方法，其采取的动作 - 点击监督框架节省了注释成本并稳定提高了本地化性能。

    Nov, 2021