野外类别无关视频重复计数
本研究提出了一种上下文感知、不受时间尺度影响的框架,用于解决复杂重复动作的数量估计问题。通过回归方法和粗到细的循环长度细化方法,该框架能够准确地捕获不同领域的重复模式,此外,还构建了一个新的、最大的基准来促进该领域的训练和评估。
May, 2020
本文提出结合离线特征提取和时间卷积网络从全面的时间分辨率角度理解重复动作,设计了不需要下采样即可保留所有重复内容的重复计数网络,并利用动态扩展的时间感受野框架来检索所有重复内容,实验证明该方法优于或可与其他方法相媲美。
May, 2023
视频内的动作周期重复计数是一项旨在量化重复动作周期的任务,本研究提出了一种新方法,利用动作查询表示定位重复的动作周期,并进一步开发了两个关键组件,以解决时间重复计数的基本挑战。
Mar, 2024
本文提出了一种使用卷积神经网络对视频进行表示并使用 ReActNet 对视频进行分类的方法,以定位视频中的有重复运动的部分。该方法可处理任何数量和持续时间的重复段,并具有较好的通用性和性能。
Oct, 2019
本文提出了一种新的框架来量化视频数据中经常性动态的存在和强度,并通过将非线性时间序列分析的思想与计算拓扑的思想相结合,将在视频数据中找到经常性动态的问题转化为确定相关几何空间的圆形性或环形性来提供周期性(完美重复)和准周期性(具有非可比周期的周期模式的叠加)的连续度量。经过广泛的测试,我们证明了我们的得分对于几个噪声模型 / 水平的鲁棒性,并且我们的周期性得分在与人类生成的周期性排名相比时优于其他方法,而我们的准周期性得分清楚地表明了振动声门的视频中存在双音发声,这在以前从未 quantitatvely 完成。
Apr, 2017
本文旨在研究视频中的重复性问题,采用小波变换处理视频的非静态和非平稳动态。通过流场及其微分,我们得到了 3D 中固有周期性的三种基本运动类型和三种运动连通性,以及研究 2D 周期性运动的 18 种基本情况,为了处理不同的重复外观,我们建议测量前景运动的时间变化流及其微分(梯度,发散和旋度),并介绍了一个新的数据集 QUVA Repetition 来验证我们的理论。 最后,我们得到了比深度学习方法更为良好的结果。
Feb, 2018
本文介绍了一种将视听融合用于视频中重复活动计数的新方法,通过使用音频信息可以在遇到困难的视觉条件下获得更精确的结果。通过引入音频学习模块和可靠性评估模块的跨模态时间交互进行分析,已经在一个数据集上对该模型进行了学习和评估,并针对具有挑战性的视觉条件引入了数据集变体。实验表明,使用音频以及其他模块可显著提高模型的性能。
Mar, 2021
我们的研究通过引入一种名为不规则视频动作计数(IVAC)的新方法,解决了传统视频动作计数方法在忽视动作重复复杂性方面的不足,并提出了一种包括一致性和不一致性模块以及独特的拉 - 推力损失机制支持的新方法,该模型在视频动作计数任务性能上创造了新的基准,并在不同视频内容上展现出了出色的适应性和泛化性能。
Mar, 2024
视频重复计数是指推断视频中重复动作或运动的次数。我们提出了一种以样本为基础的方法,通过发现目标视频中重复的视频样本之间的视觉对应关系来进行计数。我们的提出的 Every Shot Counts(ESCounts)模型是一个基于注意力的编码解码器,它可以对长度不同的视频以及来自相同和不同视频的样本进行编码。在训练过程中,ESCounts 通过回归视频中与样本高度对应的位置来学习。同时,我们的方法还学习了一种能够编码普遍重复运动表示的潜在表示,我们可以用于不需要样本的零样本推断。经过对常用数据集(RepCount、Countix 和 UCFRep)的大量实验,ESCounts 在所有三个数据集上都达到了最先进的性能。在 RepCount 数据集上,ESCounts 将误差范围从 0.39 降低到 0.56,并将平均绝对误差从 0.38 降低到 0.21。详细的实验进一步证明了我们方法的有效性。
Mar, 2024
通过使用循环数据,本文提出了 CycleCL,一种特定设计用于周期性数据的自我监督学习方法。该方法利用预训练特征从同一个阶段近似采样一对帧以及不同阶段的负对帧,并通过优化特征编码器和重新采样三元组的方式来学习具备所提到的期望特性的特征。在工业和多个人类动作数据集上的评估表明,CycleCL 在所有任务中显著优于以往的基于视频的自我监督学习方法。
Nov, 2023