关于学习带有注意力移动的空间序列
本论文提出了一种新颖的基于循环神经网络和空间注意力模型的方法来识别任务关键视频区域,实现了自动技能评估,并在新收集的婴儿抓取任务数据集和其他四个手部操作任务数据集上进行了验证。
Jan, 2019
通过可视化两流模型学习识别视频中人类动作所获得的深度时空表示,我们揭示了一些关键的观察结果,例如交叉流融合可以让网络学习到真正的时空特征,而不是简单的外观和动作特征,同时我们发现可视化不仅可以揭示学习到的表示,还可以说明系统失效的原因。
Jan, 2018
通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性,并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签,模型不仅提高了准确性,还能时空自动定位区分性区域。
Oct, 2018
本篇论文研究了如何学习从视频中提取运动信息。作者提出可以将空间变换检测看作是检测图像序列和运动序列中的 features 同步,提出了一种基于本地乘法门控的快速学习规则,可以在只需花费特征学习时间的一小部分时间内实现在广泛的运动估计任务中竞争性的性能,并且可以通过一定的方法甚至跑过手工处理的时空特征。作者还揭示了学习同步的过程可以被视为在著名的运动能量模型中进行贪婪参数估计。
Jun, 2013
该篇博士论文研究和开发了用于视频序列中的时空视觉注意建模和理解的分层表示。具体而言,我们提出了两个用于视觉注意的计算模型。首先,我们提出了一个上下文感知的生成概率模型,用于视觉注意建模和理解。其次,我们开发了一个深度网络架构,用于视觉注意建模,首先估计自上而下的时空视觉注意,最终用于建模时间域中的注意。
Aug, 2023
本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征,通过训练神经网络来区分不同的时间变换的视频序列,使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明,可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。
Jul, 2020
本研究提出了一种基于高斯混合模型的时空注意力模型,并使用人类注视数据进行训练,相比先前的方法,该模型在影片显著性预测方面具有最先进的表现,并在动作分类准确性方面取得了改进。
Mar, 2016
本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型,用于从骨架数据中识别人类动作,实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。
Nov, 2016