CVPRMay, 2023

基于提议的多实例学习用于弱监督时间动作定位

PDF
TL;DR研究了针对弱监督下的时空动作定位问题，提出了一种基于提议的多实例学习框架，其中包括环绕对比特征提取模块来抑制具有对比性的短提议、提议完整性评估模块来抑制低质量提议以及实例级别排名一致性损失来实现动作定位。实验结果表明，该方法性能优越。
weakly-supervisedtemporal action localizationproposal-based multiple instance learningcontrastive feature extractioninstance-level rank consistency loss
发现论文，激发创造
  • 层次结构潜在注意力建模的弱监督动作定位

    本文提出了一种基于注意力机制的分层结构潜在模型，用于学习特征语义的时间变化，通过两个组件进行实现：第一个是无监督的变点检测模块，通过在时间层次中学习视频特征的变化率来检测变点；第二个是基于注意力的分类模型，将前景的变点作为边界来选择。通过在两个基准数据集 THUMOS-14 和 ActivityNet-v1.3 上进行广泛实验，结果表明我们的方法优于当前最先进的方法，并且甚至与全监督方法具有可比较的性能。

    Aug, 2023

  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020

  • 基于期望最大化多示例学习的弱监督行为定位

    本研究提出了一种基于 EM-MIL 的方法，显式建模了弱监督下动作定位的关键动作片段分配，采用期望最大化算法迭代优化下限，实现了在 THUMOS14 和 ActivityNet1.2 数据集上最先进的表现。

    Mar, 2020

  • 基于提议的时间动作定位与点级监督

    提出了一种用于点级别监督时序动作定位的新方法，通过生成和评估具有灵活时长的动作提案来定位动作，利用聚类算法生成密集伪标签提供更强的监督，并利用精细的对比损失进一步提高伪标签的质量，实验证明该方法在多个基准数据集上达到了与最先进方法相媲美甚至更好的性能。

    Oct, 2023

  • 一种用于弱监督时序动作定位的混合注意机制

    本论文提出了一种名为 HAM-Net 的新颖框架，该框架采用混合注意机制来解决现有方法中存在的问题，包括对背景活动的建模和完整性的捕捉，实验证明其在多个数据集上均取得了最新的最佳性能。

    Jan, 2021

  • 从未剪辑的视频中识别不确定动作

    本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

    Jul, 2020

  • 利用较少标签学习时间动作建议

    本文提出了一种半监督学习算法，用于训练时间动作建议网络，能够在只有很少的标签可用时生成比全监督对照组和其他强半监督基线更好的建议，并验证其在两个具有挑战性的动作检测视频数据集 ActivityNet v1.3 和 THUMOS14 上的有效性，表明我们的半监督方法始终与或优于全监督最先进方法。

    Oct, 2019

  • ASM-Loc：面向弱监督时序动作定位的行为感知分段建模

    提出了一个新的弱监督方法，动态采样小 action segment，使用 intra- and inter-segment attention 精确地定位动作，并使用多步骤的改进策略，有效解决了动作定位问题。

    Mar, 2022

  • 弱监督技术下的多模态视觉概念学习

    本文介绍了两种基于多示例学习框架的弱监督技术，即模糊集多示例学习和概率标签多实例学习，旨在利用文本线索自动识别视频概念，同时提供一种提取复杂语义中的弱标签的新方法。作者在 COGNIMUSE 数据库中展示了这些方法在面部和动作识别任务上的较强性能。

    Dec, 2017

  • 对于全幅图像分类，重新考虑多实例学习：你只需要一个良好的实例分类器

    本文提出了一种基于对比学习和原型学习的实例级 MIL 框架，旨在有效完成实例分类和包分类任务，并提出了通过原型学习生成精确伪标签的方法。在四个数据集上的广泛实验和可视化证明了我们方法的强大性能。

    Jul, 2023