非线性卷积网络的高效准确近似

Nov, 2014

Efficient and Accurate Approximations of Nonlinear Convolutional Networks

Xiangyu Zhang, Jianhua Zou, Xiang Ming, Kaiming He, Jian Sun

TL;DR本文旨在加速深度卷积神经网络的测试时间计算，通过最小化非线性响应的重建误差，附加一种低秩约束，以帮助降低过滤器的复杂度，该算法可以减小多层输入的叠加误差并提高模型精度，可将 ImageNet 的训练速度提升 4 倍，精度提高 4.7%。

Abstract

This paper aims to accelerate the test-time computation of deep convolutional neural networks (CNNs). Unlike existing methods that are designed for approximating linear filters or linear responses, our method takes the nonlinear units into account. We minimize the reconstruction error

deep convolutional neural networks test-time computation nonlinear responses low-rank constraint whole-model speedup

发现论文，激发创造

加速用于分类和检测的非常深的卷积网络

本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。

May, 2015

学习一层卷积神经网络的样本复杂度

我们研究了使用不重叠过滤器的一层卷积神经网络的样本复杂度，并提出了一种称为近似梯度下降的新算法来训练 CNN，该算法在随机初始化时具有地面真值参数的线性收敛性，并且适用于常规的激活函数，例如 ReLU，Leaky ReLU，Sigmod 和 Softplus 等。我们的样本复杂度超过现有结果，并匹配了具有线性激活函数的一层 CNNs 的信息论下界，表明我们的样本复杂度是紧致的。

Nov, 2019

ResNet 类型卷积神经网络的近似与非参数估计

本文证明了一种 ResNet 型 CNN 模型在具有 block-sparse 结构的情况下可以在 Barron 和 H"older 类中实现 minimax 优化差错率，并且该理论具有普适性。

Mar, 2019

使用全卷积网络进行快速图像处理

使用全卷积网络进行运算符逼近可以显著提高逼近精度，降低运行时间和内存开销。在输入输出对上的训练可以将原始运算符逼近，并且可以对多种不同的高级图像处理运算符进行逼近，包括多种变分模型、多尺度调节和明暗细节操作等。

Sep, 2017

限定时间成本下的卷积神经网络

本文研究在时间约束成本下，卷积神经网络的准确性和架构设计所需的权衡。通过一系列对比实验，得出一个在 ImageNet 数据集中准确率很高（11.8% 的 top-5 误差，10 视图测试），但比 AlexNet（16.0% 的 top-5 误差，10 视图测试）快 20% 的网络架构。

Dec, 2014

基于 CNN 学习的非线性卷积滤波器

研究表明，在计算模型的视觉皮层中开发基于 Volterra 核的二阶卷积方法，可以增加卷积层的表达能力，在 CIFAR-10 和 CIFAR-100 数据集上，使用线性和非线性滤波器相结合的卷积网络可以超越使用相同体系结构的标准线性滤波器的网络的性能，取得与最先进水平相当的结果。

Aug, 2017

利用卷积网络内的线性结构进行高效评估

本文介绍了一种可以加速大型卷积神经网络测试时间评估的技术，通过利用卷积滤波器中的线性结构进行逼近计算，可以在保持模型准确率的同时，将 CPU 和 GPU 上的卷积层速度提高了 2 倍。

Apr, 2014

关于卷积神经网络学习收敛速度的研究

卷积神经网络的近似和学习能力的研究，证明了满足权重约束的卷积神经网络的新逼近界限，并给出了覆盖神经网络的新分析，从而得到了更好的收敛界限，并利用这两个结果在许多学习问题中推导了基于卷积神经网络的估计器的收敛速度，对于学习平滑函数的非参数回归设置和二元分类中的卷积神经网络分类器的 Hinge 损失和 Logistic 损失，得到了最优的收敛速度。

Mar, 2024

低秩扩展加速卷积神经网络

本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

May, 2014

使用近似张量运算加速神经网络训练

通过对张量运算（矩阵乘法和卷积）应用基于样本的近似，提出了一种用于深度神经网络加速训练的新技术。应用到 MLP 和 CNN 网络的 MNIST，CIFAR-10 和 ImageNet 数据集的训练实验结果表明，该方法可以大幅度减少计算量和通讯量，并以不会对最终测试准确率产生可感知影响的方式提升训练速度。

May, 2018