Oct, 2016

低精度和稀疏性加速深度卷积网络

HTML
PDF
TL;DR本研究旨在通过采用极低精度（2位）权重网络，并在零值上进行操作跳过以提高计算效率和性能，以在低精度网络下获得更高精度。实验结果表明，与全精度网络相比，在并非影响相似准确度的情况下，计算需求降低了约3倍，且在Imagenet物体分类挑战上取得了最高报道准确度。为了充分利用低精度网络优势，研究小组开发了一种深度学习加速器核心dLAC，可实现每平方毫米单精度浮点运算的TFLOP当量，半精度时可达到每平方毫米的2个TFLOP。
发现论文，激发创造
  • 高性能神经网络用于视觉物体分类

    本研究使用GPU实现卷积神经网络，并利用监督学习的方法进行特征提取，通过设计深度分层结构比以往浅层网络获得更好的性能，在目标分类和手写数字识别任务中取得了目前最佳的结果。

    Feb, 2011

  • 加速用于分类和检测的非常深的卷积网络

    本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在Object detection中实现了优雅的精度降级。

    May, 2015

  • 重新思考Inception架构在计算机视觉中的应用

    本篇论文主要研究了如何利用适当分解卷积和激进的正则化等方法，使卷积神经网络计算效率最大化，并以ILSVRC2012分类挑战作为基准，报告了使用少于2500万参数的5亿乘加运算成本的网络，评估单帧评估的top-1误差21.2％和top-5误差5.6％的显著成果。

    Dec, 2015

  • 简单为上，简单架构超越深度和复杂架构

    提出了一种简单的卷积神经网络架构(SimpleNet)，在保持计算和内存效率的同时，具有与更复杂的CNN相媲美的性能，在多个基准测试中表现出色，包括CIFAR-10，MNIST，CIFAR-100和SVHN，甚至在ImageNet数据集中也优于许多更大更深的CNN模型。

    Aug, 2016

  • ShiftCNN: 普遍的低精度卷积神经网络推理架构

    介绍了ShiftCNN，这是一种基于2的n次幂权重表示的广义低精度卷积神经网络（CNN）推理架构，可应用于任何具有相对较小权重代码本的CNN架构，并且减少至少两个数量级的乘积运算，可实现的加速器有FPGAs或ASICs。使用提议的量化算法，ImageNet的广泛评估表明可以将最先进的CNN转换为ShiftCNN并且不到1%的准确率下降。

    Jun, 2017

  • 使用全卷积网络进行快速图像处理

    使用全卷积网络进行运算符逼近可以显著提高逼近精度，降低运行时间和内存开销。在输入输出对上的训练可以将原始运算符逼近，并且可以对多种不同的高级图像处理运算符进行逼近，包括多种变分模型、多尺度调节和明暗细节操作等。

    Sep, 2017

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移/紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 构建有效的低比特宽度卷积神经网络

    本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地减小了深度学习训练的计算量和存储需求。

    Nov, 2017

  • 为高效嵌入式推断发现接近全精度网络的低精度网络

    通过调整激活函数范围并使用精细调整的预训练模型来组合简单技术，可以发现与fp32模型接近的低精度模型，同时提高了效率，本文证明了4位精度足以进行分类。

    Sep, 2018

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019