深度学习逼近：零样本神经网络加速

NIPSJun, 2018

深度学习逼近：零样本神经网络加速

Deep Learning Approximation: Zero-Shot Neural Network Speedup

Michele Pratusevich

TL;DR本研究针对生产系统中的计算和内存需求问题，提出一种 Deep Learning Approximation 技术，通过对网络结构和系数进行操作，而不需要重新训练或获得训练数据，从而构建出快速网络。该技术通过应用一系列独立的优化来降低正向传递所需的 FLOPs，其中包括无失真的优化和使用奇异值分解和低秩矩阵分解的有损近似。该研究通过对 PASCAL VOC 2007 数据集中的 YOLO 网络进行测试，证明了这种方法可以在不降低相对准确性的情况下，在网络正向传递中实现 2 倍的加速。

Abstract

neural networks offer high-accuracy solutions to a range of problems, but are costly to run in production systems because of computational and memory requirements during a forward pass. Given a trained network, we propose a techique called →

neural networks deep learning approximation computational efficiency singular value decomposition low-rank matrix decomposition

发现论文，激发创造

使用近似张量运算加速神经网络训练

通过对张量运算（矩阵乘法和卷积）应用基于样本的近似，提出了一种用于深度神经网络加速训练的新技术。应用到 MLP 和 CNN 网络的 MNIST，CIFAR-10 和 ImageNet 数据集的训练实验结果表明，该方法可以大幅度减少计算量和通讯量，并以不会对最终测试准确率产生可感知影响的方式提升训练速度。

May, 2018

基于采样技术的深度神经网络训练方法在计算资源有限情况下的可拓展性评估

本文通过在大规模 CPU 机器上评估近似矩阵乘法的两种采样方法，提供了负面的理论分析，这表明前馈逼近是可扩展性的障碍。作者指出基于哈希的节点选择方法不能扩展到大量层数，并确定了未来研究的方向。

Jun, 2023

使用全卷积网络进行快速图像处理

使用全卷积网络进行运算符逼近可以显著提高逼近精度，降低运行时间和内存开销。在输入输出对上的训练可以将原始运算符逼近，并且可以对多种不同的高级图像处理运算符进行逼近，包括多种变分模型、多尺度调节和明暗细节操作等。

Sep, 2017

非线性卷积网络的高效准确近似

本文旨在加速深度卷积神经网络的测试时间计算，通过最小化非线性响应的重建误差，附加一种低秩约束，以帮助降低过滤器的复杂度，该算法可以减小多层输入的叠加误差并提高模型精度，可将 ImageNet 的训练速度提升 4 倍，精度提高 4.7%。

Nov, 2014

低精度和稀疏性加速深度卷积网络

本研究旨在通过采用极低精度（2 位）权重网络，并在零值上进行操作跳过以提高计算效率和性能，以在低精度网络下获得更高精度。实验结果表明，与全精度网络相比，在并非影响相似准确度的情况下，计算需求降低了约 3 倍，且在 Imagenet 物体分类挑战上取得了最高报道准确度。为了充分利用低精度网络优势，研究小组开发了一种深度学习加速器核心 dLAC，可实现每平方毫米单精度浮点运算的 TFLOP 当量，半精度时可达到每平方毫米的 2 个 TFLOP。

Oct, 2016

超级计算机规模的图像分类

本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。

Nov, 2018

训练高效的卷积神经网络：优化神经网络的基本组成部分，创造更轻、更快、更强韧的模型

本研究旨在回顾各种最先进技术，探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络，并成功实现了在 MNIST 数据集上仅使用 1500 个参数达到 99.2% 的高准确度，并在 CIFAR-10 数据集上仅使用超过 140K 个参数达到了 86.01% 的高准确度。

May, 2022

加速用于分类和检测的非常深的卷积网络

本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。

May, 2015

NullaNet：用于减少内存访问推理的深度神经网络训练

使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

Jul, 2018

追求更高的 FLOPS 以加速神经网络：奔跑不止

通过提出局部卷积 (PConv) 和一种新的神经网络 FasterNet，实现了在广泛设备上获得比其他网络更快的运行速度，而不会牺牲各种视觉任务的准确性。

Mar, 2023