使用伪 3D 残差网络学习时空表示
通过使用 Residual Networks 的 3D CNN,我们训练了一个视频动作识别模型,并实验表明在 Kinetics 数据集上它具有更好的性能,虽然参数很大但没有出现过拟合的问题
Aug, 2017
本文研究了如何将现有的资源有效的 2D 卷积神经网络转换为 3D 卷积神经网络,并测试了它们在不同复杂度水平下的性能和实时性能,结果表明这些模型可以应用于各种实际应用程序,提供了可观的准确性和内存使用。
Apr, 2019
通过在大规模监督视频数据集上使用训练的深度三维卷积神经网络(3D ConvNets)提出了一种简单而有效的时空特征学习方法。我们的成果有三个:1)相对于 2D ConvNets,3D ConvNets 更适用于时空特征学习;2)所有层中具有小的 3x3x3 卷积核的同构体系结构是 3D ConvNets 中表现最佳的体系结构之一;3)我们学到的特征 —— 即 C3D(卷积 3D)—— 连同一个简单的线性分类器,在 4 个不同的基准测试中优于最先进的方法,并与其他 2 个基准测试中的最佳方法相当。此外,这些特征紧凑:只需 10 维便能在 UCF101 数据集上达到 52.8%的准确率,由于 ConvNets 的快速推理,计算效率也非常高。最后,它们在概念上非常简单易用且易于训练和使用。
Dec, 2014
本文提出了一种新的 3D CNN 架构,即循环卷积网络,它通过递归来在每个网络层捕获帧之间的时间上下文,可以产生因果性输出,提供灵活的时间推理,同时保留时间分辨率,适用于在线和视频序列到序列建模等任务。
Nov, 2018
本研究旨在确定当前视频数据集是否有足够的数据来训练带有时空三维卷积核的非常深的卷积神经网络。我们研究了从相对浅的到非常深的各种三维卷积神经网络的架构,并得出结论:Kinetics 数据集具有训练深度三维卷积神经网络的足够数据,与 ImageNet 上的 2D ResNets 类似,ResNeXt-101 在 Kinetics 测试集上达到了 78.4%的平均准确率。预训练的简单 3D 架构优于复杂的 2D 架构,并且预训练的 ResNeXt-101 分别在 UCF-101 和 HMDB-51 上达到了 94.5%和 70.2%的准确率。我们相信,将深度 3D 卷积神经网络与 Kinetics 数据集结合使用,将重温 2D 卷积神经网络和 ImageNet 的故事,并促进视频计算机视觉的进步。
Nov, 2017
本研究通过优化设计网络结构,系统地探讨了关键网络设计选择,包括将大量 3D 卷积替换为低成本的 2D 卷积、可分离的空间 / 时间卷积和特征门控等,进而建立了一个有效而高效的视频分类系统。实验表明本文方法不仅速度更快,而且在行动分类基准测试(Kinetics、Something-something、UCF101 和 HMDB)以及两个行动检测(本地化)基准测试(JHMDB 和 UCF101-24)中的分类效果也比其他方法更有竞争力。
Dec, 2017
该研究论文提出了一种基于 3D CNN 和新颖的神经网络结构,可以使视频分类和人类行为识别的准确性优于现有技术,并通过迁移学习的技巧从二维卷积神经网络中转移知识来改善三维卷积神经网络的训练效果。
Nov, 2017
本文中介绍了一种基于 3D 卷积神经网络和 Spatiotemporal fusion 的混合深度学习架构,用于视频分类和动作识别,在研究方面取得了良好的性能,可以识别出 UCF101 数据集中的动作(准确率达到 95%)
Jul, 2022
该论文提出了一种有效的三维卷积神经网络 3DSRnet,用于视频超分辨率,通过利用空时相干性来提高预测高分辨率帧的准确性,而且在不需要预处理的情况下优于最先进的方法,提出了一种新的处理场景变化的方法。
Dec, 2018
基于 ImageNet 预训练的 ConvNets 在图像识别方面已经得到了证明,但是为了捕捉到运动模式,仍然需要专门的时空特征学习,本文提出了一种经验 ConvNet 架构搜索方法,通过 3D 残差 ConvNet 实现,其在 Sports-1M、UCF101、HMDB51、THUMOS14 和 ASLAN 上的表现均优于 C3D,且推断时间减少一半、模型大小减小一半,具有更紧凑的表现形式。
Aug, 2017