DynamoNet:动态动作和运动网络
本文提出了一种名为动态采样网络(DSN)的新框架来提高视频中的动作识别效果,并增加推理时的效率。DSN 由采样模块和分类模块组成,其目标是学习一种采样策略,以即时选择保留哪些片段并使用这些选择的片段训练剪辑级分类器,从而实现基于这些选择的片段执行动作识别。通过基于四个行动识别数据集的广泛实验来研究 DSN 框架的不同方面,实验结果表明,仅使用不到一半的片段,DSN 能够大大提高推理效率,并仍然能够获得略微更好或相当的识别精度,达到了领先水平。
Jun, 2020
本文提出了一种动态推断方法,从网络深度和输入视频帧数的角度来提高推断效率,通过在输入帧和计算图的深度之间建立将预测模块放置在预先选择的检查点上,并按照预定义的路径逐步在网格上进行推断,可在中途进行预测和提前停止。通过实例化三个动态推断框架并使用两个知名的骨干卷积神经网络,证明了新方法的优越性。
Feb, 2020
本文提出了一种动态未来网络,通过构建具有非平凡建模能力的生成模型来显式关注运动异质性,在限定数据量的情况下,生成大量高质量、任意时间持续、在时空上具有令人信服的变化的运动,取得了优越的定性和定量结果。
Aug, 2020
本文介绍了动态图像的概念,它是一种新型的紧凑表示方法,可用于视频分析,特别是与卷积神经网络(CNNs)相结合。它允许将任何视频转换为图片,从而可以立即将现有的针对静态图像分析的 CNN 模型扩展到视频,并在动作识别等标准基准测试中实现了最先进的性能。
Dec, 2016
该研究提出一种轻型的生成网络,用于提高压缩视频中噪声较多的运动向量的信噪比和准确性,从而实现更具有辨别力的运动提示 (DMC) 表示,并在行动识别任务中进行了联合训练,从而接近于光流使用的高精度;该方法在三个行动识别数据集上进行了广泛的评估,并证实了其有效性。
Jan, 2019
介绍一种新的动态滤波网络架构,使得学习的滤波器可以根据输入动态生成,具有高度适应性,且不会过多增加模型参数。通过可视化学习到的滤波器,证明该网络可以在无标签数据上学习信息,从而可以用于各种无监督预训练任务,例如光流和深度估计。
May, 2016
本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征,通过训练神经网络来区分不同的时间变换的视频序列,使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明,可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。
Jul, 2020