Sep, 2023

内存高效的混合精度优化器

PDF
TL;DR传统优化方法依赖于使用单精度浮点算术，在内存大小和计算性能方面具有成本。然而，混合精度优化技术利用单精度和半精度浮点算术来降低内存需求，同时保持模型准确性。我们在训练模型期间提供了一种算法，通过摆脱参数的浮点副本，实际上只保留半精度数，进一步减少内存使用。我们还通过在反向传播期间执行优化器步骤来探索去除梯度值的好处。在实践中，我们实现了高达 25% 的峰值内存使用降低和 15% 的更快训练速度，同时保持相同水平的准确性。
optimization methodsmixed precision optimization techniquesmemory usage reductionmodel traininghalf-precision numbers
发现论文，激发创造
  • 混合精度训练

    介绍了一种使用半精度浮点数训练深度神经网络的技术，通过减少内存消耗和利用未来处理器的半精度硬件单元，大幅提高模型训练的计算速度。

    Oct, 2017

  • 通过混合精度加快科学机器学习速度和减少内存使用

    科学机器学习 (SicML) 中的物理信息神经网络 (PINNs) 和深度算子网络 (DeepONets) 是用于解决偏微分方程的主要技术，但是使用混合精度训练这些网络既可以降低计算时间和内存消耗，又可以保持模型的准确性。

    Jan, 2024

  • 内存高效的自适应优化

    本文介绍了一种效率高、灵活性强、内存占用少的自适应优化方法，保留了每个参数的自适应性优势，同时允许使用更大的模型和批量大小，具有很好的收敛性和训练效果。

    Jan, 2019

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • 低精度训练中的内存与误差权衡

    本文提出一种基于 Pareto 估计的技术 (Pareto Estimation to Pick the Perfect Precision，PEPPP)，使用矩阵分解来查找非支配配置 (即 Pareto 前沿)，以在有限数量的网络评估下找到最小化错误的精度，从而解决低精度算术训练深度学习模型中的超参数调节问题。

    Jun, 2021

  • 16 位浮点纯神经网络的潜在能量

    通过实验与理论分析，本文研究了纯 16 位神经网络在分类任务中的性能与效率，发现其在一定情况下可以取得比 32 位神经网络更好的结果。

    Jan, 2023

  • 无需浮点精度训练二值神经网络

    本研究旨在提高二进制神经网络的训练效率，通过拓扑变化和策略训练提出两种解决方案，使网络能够达到接近最先进性能和高效训练。训练时间和内存需求是实现高效训练的两个因素。

    Oct, 2023

  • 纯 16 位浮点数神经网络的防御

    本文描述了纯 16 位浮点神经网络的高效性以及其在性能上与混合精度和 32 位浮点模型的类似甚至更好的表现，并提供了机器学习实践者重新考虑在各种应用中使用纯 16 位网络的机会。

    May, 2023

  • 使用 8 位浮点数训练深度神经网络

    本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

    Dec, 2018

  • FBGEMM：实现低精度深度学习推理的高性能技术

    本文介绍了 fbgemm 这一高性能的内核库，其使用了深度学习中的浮点数、16 位整数、8 位整数甚至 4 位或 2 位整数等低精度数据类型，但是仍能保证与高精度数据类型相同的准确性，从而使得量化计算变得更加高效。fbgemm 通过 fusion、gemm 实现和阶段性的内核代码生成，提高计算效率，实践证明在 Facebook 上已经成为了生产基线的 2 倍以上。

    Jan, 2021