CVPRApr, 2021

自监督学习用于半监督的时间动作提议

PDF
TL;DR本文提出了一种基于自监督学习和半监督学习相结合的时间动作预测模型，其中自监督分支中定义了两个预处理任务，用于学习时间信息的关系结构。实验结果表明，该模型表现优于现有的半监督学习方法和与完全监督方法相媲美。
self-supervised learningsemi-supervised learningaction proposal generationtemporal feature shiftclip-order prediction
发现论文，激发创造
  • 无需提议的半监督时空动作检测

    本文提出了一种基于 SPOT 的半监督时间动作检测模型，通过并行化的定位和分类架构有效地消除了定位和分类之间的错误传播路径，实现了对自我监督模型预训练的新颖预文本任务，通过在两个标准基准测试上的实验证明了我们的 SPOT 在许多方面都优于现有的最先进的替代方案，此外，他们还提供了 SPOT 的 PyTorch 实现。

    Jul, 2022

  • 利用较少标签学习时间动作建议

    本文提出了一种半监督学习算法，用于训练时间动作建议网络，能够在只有很少的标签可用时生成比全监督对照组和其他强半监督基线更好的建议，并验证其在两个具有挑战性的动作检测视频数据集 ActivityNet v1.3 和 THUMOS14 上的有效性，表明我们的半监督方法始终与或优于全监督最先进方法。

    Oct, 2019

  • CTAP: 补充时间行为建议生成

    这篇论文提出了一种称为 CTAP 的新型时间行动提案生成器，该生成器将滑动窗口和行动得分分组结合起来进行提案生成，并使用时间卷积神经网络进行提案排名和边界调整，实验结果显示其在 THUMOS-14 和 ActivityNet 1.3 数据集上的平均召回率（AR）远远优于现有技术，并在现有行动检测器中的应用展现出显著的改进。

    Jul, 2018

  • 基于自监督的部分时空骨骼序列动作表示学习

    本研究提出了一种利用部分骨骼序列的局部关系的 Partial Spatio-Temporal Learning（PSTL）框架，并采用独特的时空屏蔽策略构建负样本无人机结构。该方法在 NTU-60、NTU-120 和 PKU-MMD 等基准测试中均取得了 SOTA 表现，并在实际评估中验证了方法的鲁棒性。

    Feb, 2023

  • 无监督预训练用于时间动作定位任务

    本文提出了自监督预训练的假动作定位任务（PAL）用于未监督的视频特征编码器的预训练，目的是为了提高时间动作定位任务的性能。与现有的方法相比，PAL 引入了一种时间等价对比学习范例，具有更好的适应性和性能。

    Mar, 2022

  • 半监督主动学习视频行为检测

    本文主要研究标签高效学习、视频动作检测、半监督主动学习、信息样本选择和时空定位等主题。提出了一个半监督主动学习方法，利用标记和未标记数据以及信息样本选择来进行动作检测。通过提出的噪声增强和基于高通滤波的关注机制（fft-attention）等技术，提高了半监督学习在视频动作检测中的准确性和泛化能力。通过在 UCF-101-24、JHMDB-21 和 Youtube-VOS 等数据集上的实验证明了该方法的有效性。

    Dec, 2023

  • 联合自监督时域适应进行动作分割

    本研究提出了一种自监督时序领域自适应方法，将动作分割任务作为一个跨领域问题进行重新构造，通过利用未标记的视频来解决由空间 - 时间变化引起的域间差异问题，同时还使用二进制和连续领域预测两个辅助任务，以匹配局部和全局时间动态的特征空间，表现优于其他域自适应方法，并具有使用更少标记训练数据实现相当性能的优势。

    Mar, 2020

  • 无监督行动分割的 Action Shuffle 交替学习

    本文介绍了一种使用自监督学习和 RNN/HMM 算法实现无监督动作分割的方法，该方法优于现有技术在多个数据集上的表现。

    Apr, 2021

  • 自适应图增强变压器生成时序动作建议

    利用增强型 Transformer 和自适应图卷积网络来生成明确涉及情境且复杂的视频中的动作提议，以提高提议质量和保持本地上下文关联性。通过 THUMOS14 和 ActivityNet1.3 数据集的实验验证，该方法优于目前的 TAPG 模型。

    Mar, 2021

  • 基于时序分离结构的弱监督多动作检测循环网络

    本文提出了一种 STAR 网络，用于弱监督多个动作的检测，借助于注意力机制聚合视频片段并使用改进的循环神经网络建立动作之间的时间关系。同时，使用 ST-GradCAM 来生成更精确的时间提案，实验表明本方法在 THUMOS'14 和 ActivityNet1.3 数据集上性能优于现有的弱监督方法，并与全监督方法性能相当。

    Nov, 2018