使用相关网络的视频建模
本文提出了基于局部相关性模块的密集对应和可学习相关算子来增强模型的判别能力和对时间上下文的捕捉能力,从而在多目标跟踪方面取得了最先进的效果,并在 MOT17 数据集上实现了 76.5% 的 MOTA 和 73.6% 的 IDF1。
Apr, 2021
本文介绍了一种网络,能够在任意时间戳上捕获多模态相关性,通过用莎侬融合法扩展了多模态卷积神经网络,提出了用相关网络学习预先训练的卷积神经网络的方法,并在 UCF-101 和 HMDB-51 数据集上进行实验,结果显示多模态相关性能够提高视频识别结果的准确性。
Jul, 2018
该研究提出了一种基于 DNN 的新框架,名为 ECM-VFI,用于高分辨率视频帧插值,包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示,该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优,并且具有最少的模型参数。
Nov, 2021
本文介绍了一种使用运动块的 MFNet 网络,可以捕捉序列帧之间的时空信息,提高动作识别的性能,且可将其附加到现有的 CNN 框架中。通过在 Jester 和 Something-Something 两个数据集上训练,得到了有竞争力的表现。
Jul, 2018
我们提出了一种深度卷积神经网络来检测监控视频中的异常事件,该网络通过学习一种物体外观和运动之间的关系来解决该问题。我们的模型是由重建网络和图像转换模型组成的,它们共享相同的编码器。该模型仅通过正常事件的视频进行训练,可对未知输入进行帧级别的评分。在 6 个基准数据集上的实验证明了该方法在与最先进方法的竞争性能方面的优越性。
Aug, 2019
本文提出了一种卷积神经网络用于从视频中提取密集的光流,旨在为深度架构构建潜在的模块,以允许在视频中使用运动而无需借助外部算法,通过考虑信号处理原则构建网络结构,强制 “旋转不变性”,并提供一种分布式表示运动的方法。
Jan, 2016
本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法,通过 SVM 对特征进行分类,实验结果表明,在标准数据集上,该算法提高了 14% 的识别率。
Mar, 2017
本研究提出了一种基于线性动态系统和非线性映射理论的预测 - 纠正神经网络模型,能够自适应地关注‘惊奇’的视频帧,优化学习效率。研究表明,该模型在三个挑战数据集上的表现与双流网络相当,而无需计算昂贵的光流技术。
Apr, 2017
本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构,结合了空间和时间网络,利用稀疏光流信息进行训练并使用多任务学习提高模型性能,成功地提高了视频动作识别的准确率。
Jun, 2014
本文提出新的动态滤波器和动态运动表示(DMR)以改善人类动作识别,并使用 3D 卷积网络和多任务学习方法进行视频分类,实验结果表明 DynamoNet 对所有数据集具有很好的分类效果。
Apr, 2019