May, 2023

纯 16 位浮点数神经网络的防御

PDF
TL;DR本文描述了纯 16 位浮点神经网络的高效性以及其在性能上与混合精度和 32 位浮点模型的类似甚至更好的表现，并提供了机器学习实践者重新考虑在各种应用中使用纯 16 位网络的机会。
neural networks16-bit floating-pointmixed-precision trainingefficiencyperformance
发现论文，激发创造
  • 16 位浮点纯神经网络的潜在能量

    通过实验与理论分析，本文研究了纯 16 位神经网络在分类任务中的性能与效率，发现其在一定情况下可以取得比 32 位神经网络更好的结果。

    Jan, 2023

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • 使用 8 位浮点数训练深度神经网络

    本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

    Dec, 2018

  • 深度神经网络的 8 位数字格式

    该研究探讨了使用低精度浮点数表示法（例如 8 位浮点数格式）对深度学习模型进行训练和推理的影响，结果表明合适的低精度格式选择可加快训练和降低功耗，而不会降低准确性。

    Jun, 2022

  • 有限数值精度下的深度学习

    该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

    Feb, 2015

  • 深度神经网络有界内存的降低精度策略

    该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用 32 位浮点表示的传统实现，数据足迹可以平均减少 74％，最高可降至 92％，而相对准确性损失不到 1％。

    Nov, 2015

  • 准确、无乘法的深度神经网络的硬件 - 软件协同设计

    通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

    May, 2017

  • 连续 16 位训练：加速 32 位预训练神经网络

    本研究介绍了一种新方法，通过使用 16 位精度持续训练已存在的 32 位精度的模型，从而在保证准确性的同时显著提高训练速度和资源利用效率。该方法为有限资源环境中的深度学习提供了可行的加速和优化方案。

    Nov, 2023

  • 探究精度量化对神经网络准确度和能耗的影响

    本研究探讨神经网络中不同位精度 (bit-precision) 对网络精度、硬件指标 (存储、功耗、设计面积)、能量消耗等的影响，并提出训练时间方法来弥补位精度降低精度所导致的误差，并表明在降低精度的情况下，可以在设计指标中获得显著的益处，同时提出可以通过增加网络大小来提高精度。

    Dec, 2016

  • BFLOAT16 在深度学习训练中的研究

    本文研究了使用 Brain Floating Point（BFLOAT16）半精度格式进行深度学习训练的有效性，并实现了在 Tensorflow、Caffe2、IntelCaffe 和 Neon 中进行 BFLOAT16 操作的方法。结果表明，使用 BFLOAT16 张量进行深度学习培训，在达到同样的状态 - 最先进的结果并不需要调整超参数。

    May, 2019