ICLRFeb, 2018

使用单个比特为每个权重训练宽残差网络以进行部署

PDF
TL;DR该研究报告介绍了一种能够在资源受限制的嵌入式硬件上快速高效地部署训练完毕的深度神经网络的方法，即使用单个比特来表示和存储每个学习到的权重参数，通过在训练中为每个层应用等于层特定标准差的恒定未学习值的缩放因子来简化现有方法并提高误差率，并通过不学习批归一化缩放和偏移参数来改善网络性能。
deep neural networks1-bit-per-weighterror ratesscaling factorsbatch normalization
发现论文，激发创造
  • 使用三值化权重优化深度卷积神经网络并获得高准确度

    本研究提出了统计权重缩放和残差扩展的方法，将深度卷积神经网络权重参数压缩到三元值，以大幅减少模型大小和计算成本，并在 CIFAR-10 和 ImageNet 数据集上验证此方法的有效性和优越性。

    Jul, 2018

  • 深度神经网络对权重二值化和其他非线性扭曲具有强鲁棒性

    本文研究发现深度神经网络在训练时即使将权重量化并投影为二进制表示也能取得优秀的性能，而在测试阶段，这些网络对于除量化以外的扭曲，包括加性和乘性噪声以及一类非线性投影具有显著的鲁棒性。此外，我们还发现基本水平的鲁棒性可以通过调整或删除一个通用的训练启发式（即在反向传播过程中投影量化权重）来实现，包括使用其他类型的权重投影和简单地剪裁权重。最后，我们提出了一种随机投影规则，实现了无数据增强条件下 CIFAR-10 中 7.64% 的测试错误率的最新记录。

    Jun, 2016

  • 一个比特宽度统治全球

    本论文通过对模型宽度乘数的使用，研究了深度卷积神经网络中权重量化的最佳位宽选择，发现使用单一位宽比混合精度量化对模型压缩更优。

    Aug, 2020

  • 神经网络权重的逐比特训练

    介绍了一种学习表示神经网络权重的个别位的算法，允许对任意位深度的整数值进行训练，无需额外的约束或正则化技术，自然地发现了稀疏网络。证明了在选择性地训练位的情况下，实现高准确度的最大贡献来自前三位最重要的位，而其余位则提供内在的正则化。因此，可以使用超过 90％的网络存储任意代码，例如随机噪声，二进制文件或甚至先前训练的网络的权重。

    Feb, 2022

  • 使用训练二值化的准确紧凑卷积神经网络

    本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

    Sep, 2019

  • Bi-Real Net: 将深度网络二值化以实现真实网络性能

    本文研究了一比特卷积神经网络，通过使用 Bi-Real net 和新颖的训练算法来提高其表现能力和训练困难性，并在 ImageNet 上获得了 56.4％的 top-1 分类准确性，比现有技术提高了 10％以上。

    Nov, 2018

  • 为高效嵌入式推断发现接近全精度网络的低精度网络

    通过调整激活函数范围并使用精细调整的预训练模型来组合简单技术，可以发现与 fp32 模型接近的低精度模型，同时提高了效率，本文证明了 4 位精度足以进行分类。

    Sep, 2018

  • 少乘法的神经网络

    研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

    Oct, 2015

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • 构建有效的低比特宽度卷积神经网络

    本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地减小了深度学习训练的计算量和存储需求。

    Nov, 2017