ICLRNov, 2015

深度神经网络有界内存的降低精度策略

PDF
TL;DR该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用 32 位浮点表示的传统实现，数据足迹可以平均减少 74％，最高可降至 92％，而相对准确性损失不到 1％。
reduced precision dataconvolutional neural networkscnnserror tolerancelow precision configuration
发现论文，激发创造
  • 有限数值精度下的深度学习

    该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

    Feb, 2015

  • 探究精度量化对神经网络准确度和能耗的影响

    本研究探讨神经网络中不同位精度 (bit-precision) 对网络精度、硬件指标 (存储、功耗、设计面积)、能量消耗等的影响，并提出训练时间方法来弥补位精度降低精度所导致的误差，并表明在降低精度的情况下，可以在设计指标中获得显著的益处，同时提出可以通过增加网络大小来提高精度。

    Dec, 2016

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • 混合精度训练

    介绍了一种使用半精度浮点数训练深度神经网络的技术，通过减少内存消耗和利用未来处理器的半精度硬件单元，大幅提高模型训练的计算速度。

    Oct, 2017

  • 纯 16 位浮点数神经网络的防御

    本文描述了纯 16 位浮点神经网络的高效性以及其在性能上与混合精度和 32 位浮点模型的类似甚至更好的表现，并提供了机器学习实践者重新考虑在各种应用中使用纯 16 位网络的机会。

    May, 2023

  • 为高效嵌入式推断发现接近全精度网络的低精度网络

    通过调整激活函数范围并使用精细调整的预训练模型来组合简单技术，可以发现与 fp32 模型接近的低精度模型，同时提高了效率，本文证明了 4 位精度足以进行分类。

    Sep, 2018

  • 任意精度深度神经网络

    提出了一种新方法训练任意精度深度神经网络（DNNs），可以在推断时灵活地设置数字精度，从而支持动态速度和准确度的折衷，并且该方法不会降低性能，该方法适用于多个视觉任务和模型结构

    Nov, 2019

  • 探索半精度图卷积神经网络

    本研究通过在 GPU 上使用 PyTorch 框架实现了一种基于 Tensor Cores 的降低精度操作，以提高图形卷积神经网络的计算和内存使用效率，结果表明这种方法可以在不降低性能的情况下有效减少内存使用量。

    Oct, 2020

  • 使用 8 位浮点数训练深度神经网络

    本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

    Dec, 2018

  • 构建有效的低比特宽度卷积神经网络

    本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地减小了深度学习训练的计算量和存储需求。

    Nov, 2017