Jul, 2022

利用行动亲合力和连续性进行半监督时间动作分割

PDF
TL;DR提出半监督学习方法解决在只有一小部分有标签数据和大量没有标签数据的工程视频中，发现行动并将其分段的任务，其中两个新的损失函数和自适应边界平滑方法也被提出，并在三个基准测试中评估，结果表明它们显著提高了行为分割性能，并在用少量标记数据（5％和 10％）的情况下取得了与全监督相当的结果。
semi-supervised learningtemporal action segmentationaction affinity lossaction continuity lossadaptive boundary smoothing
发现论文，激发创造
  • 连续时间嵌入的无监督动作类别学习

    该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

    Apr, 2019

  • 利用三元组损失进行无监督动作分段

    本文提出了一种全新的无监督学习框架来从单一的输入视频中学习适合于行动分割任务的动作表示，无需任何训练数据，达到了与现有无监督方法相比更高质量的时间边界恢复，并通过应用聚类算法在学习的表示上取得了具有竞争力的表现。

    Apr, 2023

  • 使用迭代软边界分配的弱监督动作分割

    本文提出了一种新的行为建模框架，包括一种名为 Temporal Convolutional Feature Pyramid Network（TCFPN）的新型时态卷积网络和一种名为 Iterative Soft Boundary Assignment（ISBA）的新型弱监督序列建模训练策略，用于进行长且未修剪的视频中的弱监督人类行为分割。 并以 Breakfast 和 Hollywood Extended 这两个基准数据集进行评估，实验结果表明，其方法达到了与最先进方法相当或更好的性能。

    Mar, 2018

  • 基于动作 - 过渡感知边界对齐的高效有效的弱监督动作分割

    本研究提出了一种新的弱监督动作分割方法，通过直接定位几个动作转换来生成伪分割，并利用边界对齐和视频级别监督来有效地过滤噪声并检测转换。实验证明了这种方法在性能和训练速度上的有效性。

    Mar, 2024

  • 无监督动作分割的时态一致非平衡最优输运

    我们提出了一种基于解决优化传输问题的长时间、未修剪视频的动作分割任务的新方法。通过将时间一致性先验编码到 Gromov-Wasserstein 问题中，我们能够从视频帧和动作类之间的噪声亲和 / 匹配成本矩阵中解码出一个时间一致的分割。与以前的方法不同，我们的方法不需要知道视频的动作顺序以实现时间一致性。此外，我们得到的（融合的）Gromov-Wasserstein 问题可以使用几次投影镜像下降的迭代在 GPU 上高效解决。我们在无监督学习环境中展示了我们方法的有效性，其中我们的方法用于为自我训练生成伪标签。我们在 Breakfast、50-Salads、YouTube 指南和桌面装配数据集上评估了我们的分割方法和无监督学习管道，得到了无监督视频动作分割任务的最新结果。

    Apr, 2024

  • 视频动作检测端到端半监督学习

    提出一种利用半监督学习方法，结合已标注和未标注数据对视频行为检测进行改进的方法，其中使用分类一致性和时空一致性约束，提出了两个新的正则化约束条件，即时间相关性和梯度平滑性，以处理视频中存在的背景和固定区域，进而实现更好的检测效果。在 UCF101-24 数据集上，仅仅使用已标注数据的 20％，该方法就比最近的完全监督式方法提高了 8.9％和 11％，且在 Youtube-VOS 上的视频对象分割上也表现出了很好的泛化能力。

    Mar, 2022

  • 非修剪序列中无监督行为学习的联合视觉 - 时间嵌入

    本文提出了一种基于视觉和时间嵌入空间的非监督学习方法，在不需要手动注释的情况下，通过连续的视频帧中存在的视觉线索，成功地检测到相关的行动群簇，并且适用于时间分割任务。

    Jan, 2020

  • 迭代对比分类半监督时序动作分割

    本论文提出一种基于卷积网络和聚类的半监督学习方法，提高了时间动作分割的性能，其中包括无监督表示学习、带时间接近度限制和多分辨率相似性的特征聚类、以及迭代对比分类等方法。

    Dec, 2021

  • 基于时间加权的层次聚类法用于非监督行动轮廓分割

    提出一种全自动且无监督的方法，使用有效的时间加权层次聚类算法，对视频进行行动划分并在五个具有挑战性的动作分割数据集上展示出明显的性能改善。

    Mar, 2021

  • 基于聚类视角的时间戳监督动作分割

    本文从聚类的角度提出了一种框架来解决视频动作分割中矛盾间隙带来的错误伪标签问题，并引入了聚类损失函数，使得相同动作段内的帧特征更加紧凑，实验结果表明该方法有效。

    Dec, 2022