本文介绍了一种可以加速大型卷积神经网络测试时间评估的技术，通过利用卷积滤波器中的线性结构进行逼近计算，可以在保持模型准确率的同时，将CPU和GPU上的卷积层速度提高了2倍。

Apr, 2014

本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了2.5倍和在不到1％精度下降的情况下获得了4.5倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

May, 2014

本文研究在时间约束成本下，卷积神经网络的准确性和架构设计所需的权衡。通过一系列对比实验，得出一个在ImageNet数据集中准确率很高（11.8%的top-5误差，10视图测试），但比AlexNet（16.0%的top-5误差，10视图测试）快20%的网络架构。

Dec, 2014

本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在Object detection中实现了优雅的精度降级。

May, 2015

研究使用Winograd最小滤波算法加速卷积神经网络在GPU上的训练，以满足自动驾驶汽车行人检测和移动电话图像识别的低延迟和有限资源处理要求。

Sep, 2015

本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移/紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

Oct, 2017

通过对张量运算（矩阵乘法和卷积）应用基于样本的近似，提出了一种用于深度神经网络加速训练的新技术。应用到 MLP 和 CNN 网络的 MNIST，CIFAR-10 和 ImageNet 数据集的训练实验结果表明，该方法可以大幅度减少计算量和通讯量，并以不会对最终测试准确率产生可感知影响的方式提升训练速度。

May, 2018

该论文提供了有关高性能网络推断的近似方法的全面评估，并深入讨论了这些方法在自定义硬件实现中的有效性，旨在启发该领域的新发展。

Jan, 2019

本文证明了一种ResNet型CNN模型在具有block-sparse结构的情况下可以在Barron和H"older类中实现minimax优化差错率，并且该理论具有普适性。

Mar, 2019

本研究通过核方法的角度对卷积核网络进行了研究，发现其RKHS由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021