CVPRMay, 2021

联合表示学习与在线聚类进行无监督动作分割

PDF
TL;DR本文提出了一种新颖的无监督活动分割方法，该方法使用视频帧聚类作为预文本任务，并同时执行表示学习和在线聚类。通过使用时间最优传输来利用视频中的时间信息，同时，在计算伪标签聚类分配的标准最优传输模块中加入保留活动时间顺序的时间正则化项。与之前的方法相比，我们的方法不需要在离线模式下存储整个数据集的特征，而是以在线模式每次处理一个小批量。 extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par with or better than previous methods, despite having significantly less memory constraints.
发现论文，激发创造
  • 连续时间嵌入的无监督动作类别学习

    该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

    Apr, 2019

  • 基于无监督帧到片段对齐的置换感知动作分割

    本文提出了一种新颖的基于 Transformer 的框架，用于无监督活动分割，利用帧级别线索和段级别线索。我们的方法通过一个帧级别预测模块开始，该模块通过 Transformer 编码器估计逐帧动作类别。为了利用段级别信息，我们引入了一个段级别预测模块和一个帧到段对齐模块。

    May, 2023

  • 无监督动作分割的时态一致非平衡最优输运

    我们提出了一种基于解决优化传输问题的长时间、未修剪视频的动作分割任务的新方法。通过将时间一致性先验编码到 Gromov-Wasserstein 问题中，我们能够从视频帧和动作类之间的噪声亲和 / 匹配成本矩阵中解码出一个时间一致的分割。与以前的方法不同，我们的方法不需要知道视频的动作顺序以实现时间一致性。此外，我们得到的（融合的）Gromov-Wasserstein 问题可以使用几次投影镜像下降的迭代在 GPU 上高效解决。我们在无监督学习环境中展示了我们方法的有效性，其中我们的方法用于为自我训练生成伪标签。我们在 Breakfast、50-Salads、YouTube 指南和桌面装配数据集上评估了我们的分割方法和无监督学习管道，得到了无监督视频动作分割任务的最新结果。

    Apr, 2024

  • 基于时间加权的层次聚类法用于非监督行动轮廓分割

    提出一种全自动且无监督的方法，使用有效的时间加权层次聚类算法，对视频进行行动划分并在五个具有挑战性的动作分割数据集上展示出明显的性能改善。

    Mar, 2021

  • 从视频中无监督学习和分割复杂活动

    本文介绍了一种新的无监督视频分割方法，采用迭代鉴别生成方法，通过学习视频视觉特征并建模时序结构，将复杂活动划分为多个子活动，并引入背景模型，验证结果优于现有无监督及弱监督方法。

    Mar, 2018

  • 非修剪序列中无监督行为学习的联合视觉 - 时间嵌入

    本文提出了一种基于视觉和时间嵌入空间的非监督学习方法，在不需要手动注释的情况下，通过连续的视频帧中存在的视觉线索，成功地检测到相关的行动群簇，并且适用于时间分割任务。

    Jan, 2020

  • 通过密集轨迹聚类进行视频表征的非监督学习

    本文提出了一个基于无监督学习的方法来学习视频中的动作识别表示，该方法结合图像表示中的两种顶级目标 —— 实例识别和局部聚合，以及通过 IDT 描述符构成的集群。使用此方法，我们在 UCF101 和 HMDB51 动作识别基准测试中取得了优异的结果，并且成功捕捉了视频动态。

    Jun, 2020

  • 基于聚类视角的时间戳监督动作分割

    本文从聚类的角度提出了一种框架来解决视频动作分割中矛盾间隙带来的错误伪标签问题，并引入了聚类损失函数，使得相同动作段内的帧特征更加紧凑，实验结果表明该方法有效。

    Dec, 2022

  • 利用三元组损失进行无监督动作分段

    本文提出了一种全新的无监督学习框架来从单一的输入视频中学习适合于行动分割任务的动作表示，无需任何训练数据，达到了与现有无监督方法相比更高质量的时间边界恢复，并通过应用聚类算法在学习的表示上取得了具有竞争力的表现。

    Apr, 2023

  • 多视角教学视频的弱监督在线动作分割

    本文提出了一种弱监督的在线动作分割框架，采用动态规划方法来在线分割流媒体视频，并通过引入 Online-Offline Discrepancy Loss（OODL）优化分割结果的时间一致性，同时仅在训练期间使用多视角帧级一致性作为弱标注来提高精度及减少标注成本，实验结果在烹饪和组装等两个领域的 Breakfast 和 IKEA ASM 数据集中均得到了验证。

    Mar, 2022