CVPRApr, 2022

TransRAC: 使用 Transformer 编码多尺度时间相关性用于重复行为计数

PDF
TL;DR为解决现有短视频针对长视频中多样化和实际情况不足的问题，本文提出了一种包含多尺度时间关联的 transformer 编码方法和基于密度图回归的行动周期预测方法，并提供了更细致的注释来解决重复行动计数过程中的不一致现象。该方法不仅在所有数据集上均优于现有方法，而且在未经微调的未见过数据集上也表现更好。
repetitive action countingvideo datasetsmulti-scale temporal correlationdensity map regression-based methodfine-grained annotation
发现论文，激发创造
  • 高效动态查询中的行动计数

    视频内的动作周期重复计数是一项旨在量化重复动作周期的任务，本研究提出了一种新方法，利用动作查询表示定位重复的动作周期，并进一步开发了两个关键组件，以解决时间重复计数的基本挑战。

    Mar, 2024

  • 上下文感知和规模无关的时间重复计数

    本研究提出了一种上下文感知、不受时间尺度影响的框架，用于解决复杂重复动作的数量估计问题。通过回归方法和粗到细的循环长度细化方法，该框架能够准确地捕获不同领域的重复模式，此外，还构建了一个新的、最大的基准来促进该领域的训练和评估。

    May, 2020

  • FCA-RAC: 首周期注释重复动作计数

    我们提出了一个名为首轮注释重复动作计数（FCA-RAC）的框架，通过标记技术、自适应采样策略、多时序颗粒度卷积（MTGC）模块和训练知识增强（TKA）策略，有效改善了现有数据集的局限性，提高了模型的泛化性能和推广到未知动作的能力。

    Jun, 2024

  • MS-TCT: 多尺度时间卷积转换器用于动作检测

    我们提出了一种基于 ConvTransformer 网络的行动检测方法，通过三个组件（时间编码器、时间尺度混合器和分类器）高效地捕捉视频中的短期和长期时间信息，实验表明该方法在 Charades、TSU 和 MultiTHUMOS 数据集上效果显著优于现有方法。

    Dec, 2021

  • 全分辨率重复计数

    本文提出结合离线特征提取和时间卷积网络从全面的时间分辨率角度理解重复动作，设计了不需要下采样即可保留所有重复内容的重复计数网络，并利用动态扩展的时间感受野框架来检索所有重复内容，实验证明该方法优于或可与其他方法相媲美。

    May, 2023

  • 递归变压器变分自编码器用于多动作运动合成

    通过 Recurrent Transformers 和条件变分自编码器的结合，我们提出了一种新的迭代式方法，能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证，表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。

    Jun, 2022

  • 一种用于密集多标签动作检测的有效高效方法

    通过在转换器层中嵌入相对位置编码和非分层结构来解决密集多标签场景下同时学习时间依赖和共现动作关系的挑战，并通过引入一种新的学习范式，以在推断期间不施加额外计算成本的方式显式建模时间共现动作依赖性。

    Jun, 2024

  • 视频行为识别模型的大规模稳健性分析

    本文对现有的视频动作识别模型进行大规模的复杂性分析，提供了不同的基准数据集，并研究了现有模型对 90 种不同扰动的鲁棒性，结果表明，基于 Transformer 的模型相对于基于 CNN 的模型更具鲁棒性。

    Jul, 2022

  • 高时间分辨率行动识别序列建模

    本文介绍了一个新数据集 StrokeRehab，旨在解决机器学习中的一个重要问题，即从视频和运动数据中识别出细微的运动，提出了一种以语音识别技术为灵感的基于序列到序列模型的高分辨率动作识别方法，并在 StrokeRehab 数据集以及标准测试数据集 50Salads，Breakfast 和 Jigsaws 上取得了当前最优的结果。

    Nov, 2021

  • 视频动作转换网络

    本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文

    Dec, 2018