该论文使用卷积脉冲神经网络和无监督的尖突时序依赖性可塑性（STDP）学习规则进行动作分类，并发现卷积脉冲神经网络可成功从视频中提取时空信息，其中的空间和时间流是互补的。

Jun, 2023

本文研究了几种用于视频分析的时空卷积形式，并研究了它们对动作识别的影响。我们在残差学习的框架下，实证演示了 3D CNNs 相对于 2D CNNs 的准确性优势。此外，我们还表明把 3D 卷积滤波器分解成单独的时空分量会显著提高准确性。最终，我们设计了一个新的时空卷积块 “R (2+1) D”，这种方法产生的 CNN 的结果与最新技术相当甚至更好，可以在 Sports-1M、Kinetics、UCF101 和 HMDB51 数据集上取得更好的表现。

Nov, 2017

本文提出了一种新的 3D CNN 块，名为 “Spatio-Temporal Channel Correlation”，用于模拟 3D CNN 的通道之间的相关性，以提高视频识别性能，并提出了一种简单且有效的迁移学习技术，用于从预先训练的 2D CNN 向 3D CNN 传递知识。通过在当前最先进的架构上嵌入 STC 块，我们将视频识别性能提高了 2-3％，在三个常用数据集上的实验结果表明，加入 STC 块的方法优于现有最先进的方法。

Jun, 2018

使用深度 - STDP 框架，将卷积网络与由 STDP 聚类过程生成的伪标签同时训练，相比于 k-means 聚类方法，在小型图像数据集上准确度提高了 24.56％且收敛速度提高了 3.5 倍。

Jul, 2023

本论文提出了一种基于注意力机制的高效脉冲神经网络技术 —— 时间 - 通道联合注意 (TCJA) 架构单元，通过在空间和时间维度上有效地执行脉冲序列的相关性来实现更为数据有效的深度学习，运用压缩脉冲流，本地注意机制，1-D 卷积，交叉卷积融合等技术可以灵活地提取特征，同时，该方法在所有测试的静态和神经形态学数据集上的分类准确性 (SOTA) 最高可达 15.7%。

Jun, 2022

本文提出了一种将图像预训练作为时空外观先验来初始化三维卷积核的方法，并使用 Spatial-Temporal Separable 卷积对时空特征进行分解、微调。实验结果表明，该方法在不增加参数和计算的情况下，明显提高了视频识别的效果，并取得了较大的加速效果。

May, 2022

本文提出了一种新颖的神经操作，通过在三个正交视图上进行 2D 卷积，协同编码了时空特征，并通过权值共享来促进空间和时间特征的学习，此方法在大规模基准测试中取得了最优性能，并通过对不同视图学习的系数进行量化，探讨了空间和时间特征的贡献，以提高模型的解释性并指导视频识别算法的设计。

Mar, 2019

通过在大规模监督视频数据集上使用训练的深度三维卷积神经网络（3D ConvNets）提出了一种简单而有效的时空特征学习方法。我们的成果有三个：1）相对于 2D ConvNets，3D ConvNets 更适用于时空特征学习；2）所有层中具有小的 3x3x3 卷积核的同构体系结构是 3D ConvNets 中表现最佳的体系结构之一；3）我们学到的特征 —— 即 C3D（卷积 3D）—— 连同一个简单的线性分类器，在 4 个不同的基准测试中优于最先进的方法，并与其他 2 个基准测试中的最佳方法相当。此外，这些特征紧凑：只需 10 维便能在 UCF101 数据集上达到 52.8％的准确率，由于 ConvNets 的快速推理，计算效率也非常高。最后，它们在概念上非常简单易用且易于训练和使用。

Dec, 2014

基于动态分配时间步数的训练框架，提出了一种对视觉变换器进行训练的方法，以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。

Nov, 2023

使用 4D 卷积神经网络，通过稀疏张量和广义稀疏卷积提供的广泛高维函数，实现了针对 3D 视频的时空感知，并通过提出的混合核和三边静态条件随机场，优化了 7D 时空色度空间中的一致性问题。实验表明，与 2D 或 2D-3D 混合方法相比，只使用广义 3D 稀疏卷积的卷积神经网络可以获得更好的性能。此外，我们还表明，在处理 3D 视频时，4D 时空卷积神经网络不仅更加鲁棒，而且有时比 3D 卷积神经网络更快。

Apr, 2019