CVPRMar, 2024

增量动作分段的连续时间合成

PDF
TL;DR数据回放是一种成功的图像增量学习技术，但在视频领域的应用尚不成熟。本论文首次探索了视频数据回放技术在增量动作分割中的应用，重点关注动作时间建模。我们提出了一种名为 Temporally Coherent Action (TCA) 的模型，通过生成模型来表示动作，而不是存储单个帧。引入了捕捉时间相干性的条件变量，使得我们的模型能够理解动作特征随时间的演化。在 Breakfast 数据集上进行的 10 个任务的增量设置中，我们的方法与基准方法相比，在精度上实现了最多 22% 的显著增长。
data replayincremental learningvideo data replayaction segmentationtemporal modeling
发现论文，激发创造
  • 迭代对比分类半监督时序动作分割

    本论文提出一种基于卷积网络和聚类的半监督学习方法，提高了时间动作分割的性能，其中包括无监督表示学习、带时间接近度限制和多分辨率相似性的特征聚类、以及迭代对比分类等方法。

    Dec, 2021

  • 视频中动作识别的类递增学习

    利用时间通道重要性映射和知识蒸馏的方法，解决了视频识别增量学习中的遗忘问题，并证明了该算法相比于针对图像数据的现有增量学习方法更为有效。

    Mar, 2022

  • 时间循环一致性学习

    本文提出了一种基于自我监督学习的视频时序对齐表征学习方法，其通过训练神经网络使用时间循环一致损失（TCC）来找到多个视频之间在时间上的对应关系，从而得到每一帧的表征，可用于快速地对视频进行对齐和分类。该方法在少量监督数据和其他自监督方法上都有较好的表现，同时还可用于多种视频应用领域的数据同步和异常检测。

    Apr, 2019

  • S3Aug：用于动作识别的分割、采样和平移

    本文介绍了 S3Aug，一种用于动作识别的视频数据增强方法。该方法通过分割和标签转换，从单个训练视频生成新的视频，并通过采样修改某些类别的标签图像，以生成多样的视频，并通过移动中间特征来增强生成视频帧之间的时间连贯性。通过在 UCF101、HMDB51 和 Mimetics 数据集上的实验证明了所提方法的有效性，尤其对于 Mimetics 数据集中的非上下文视频。

    Oct, 2023

  • 基于强化学习的端到端流媒体视频时间动作分割

    该论文提出了一种基于增强学习的端到端流媒体视频时态行为分割方法 (SVTAS-RL)，它将时态行为分割任务作为一种行为段聚类任务，通过引入强化学习来缓解优化目标和方向不一致的问题，实验结果表明 SVTAS-RL 模型在多个数据集上与最先进的时态行为分割模型相媲美，并在超长视频数据集 EGTEA 上展示出更大的优势，因此该方法能够取代所有当前的时态行为分割模型，尤其适用于长视频时态行为分割任务。

    Sep, 2023

  • 综合生成回放的任务增量分割：具有并行外观和语义遗忘

    任务增量学习中的综合生成回放框架通过合成图像 - 掩模对来还原外观和语义知识，解决了出现同时外观和语义遗忘的问题。

    Jun, 2024

  • 利用时间梯度进行半监督动作识别学习

    本文提出利用时态梯度提升多模态特征提取以改善在少量标记数据情况下的半监督视频动作识别，方法在多个半监督设置中均取得了最先进的结果。

    Nov, 2021

  • 无监督的时序动作定位：基于自主学习的渐进式学习

    提出了一种新颖的自适应递增学习模型，通过改进聚类置信度和可变速增量实例学习策略的设计，提高无监督时间动作定位的效果。

    Dec, 2023

  • 高效动态查询中的行动计数

    视频内的动作周期重复计数是一项旨在量化重复动作周期的任务，本研究提出了一种新方法，利用动作查询表示定位重复的动作周期，并进一步开发了两个关键组件，以解决时间重复计数的基本挑战。

    Mar, 2024

  • 高时间分辨率行动识别序列建模

    本文介绍了一个新数据集 StrokeRehab，旨在解决机器学习中的一个重要问题，即从视频和运动数据中识别出细微的运动，提出了一种以语音识别技术为灵感的基于序列到序列模型的高分辨率动作识别方法，并在 StrokeRehab 数据集以及标准测试数据集 50Salads，Breakfast 和 Jigsaws 上取得了当前最优的结果。

    Nov, 2021