May, 2019

BFLOAT16 在深度学习训练中的研究

PDF
TL;DR本文研究了使用 Brain Floating Point（BFLOAT16）半精度格式进行深度学习训练的有效性，并实现了在 Tensorflow、Caffe2、IntelCaffe 和 Neon 中进行 BFLOAT16 操作的方法。结果表明，使用 BFLOAT16 张量进行深度学习培训，在达到同样的状态 - 最先进的结果并不需要调整超参数。
brain floating pointbfloat16half-precision formatdeep learning trainingimage classification
发现论文，激发创造
  • 使用 8 位浮点数训练深度神经网络

    本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

    Dec, 2018

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • 16 位浮点纯神经网络的潜在能量

    通过实验与理论分析，本文研究了纯 16 位神经网络在分类任务中的性能与效率，发现其在一定情况下可以取得比 32 位神经网络更好的结果。

    Jan, 2023

  • 混合精度训练

    介绍了一种使用半精度浮点数训练深度神经网络的技术，通过减少内存消耗和利用未来处理器的半精度硬件单元，大幅提高模型训练的计算速度。

    Oct, 2017

  • 深度神经网络的 8 位数字格式

    该研究探讨了使用低精度浮点数表示法（例如 8 位浮点数格式）对深度学习模型进行训练和推理的影响，结果表明合适的低精度格式选择可加快训练和降低功耗，而不会降低准确性。

    Jun, 2022

  • 纯 16 位浮点数神经网络的防御

    本文描述了纯 16 位浮点神经网络的高效性以及其在性能上与混合精度和 32 位浮点模型的类似甚至更好的表现，并提供了机器学习实践者重新考虑在各种应用中使用纯 16 位网络的机会。

    May, 2023

  • 使用混合块浮点数训练 DNNs

    本文研究使用混合 BFP-FP 方法来在固定点算法下逼近浮点算法的性能，此方法可以在保证模型准确率的情况下提高硬件实现的性能。

    Apr, 2018

  • Flexpoint: 用于深度神经网络高效训练的自适应数值格式

    本篇研究提出了一种名为 Flexpoint 的数据格式，可以在不需要调整模型超参的情况下，用于支持深度神经网络在低位宽训练中的完整替代，该数据格式动态调整共享指数，以最小化过载并最大化可用的动态范围，实验证明，16 位 Flexpoint 在三个网络模型的训练上与 32 位浮点数非常接近，有望成为未来神经网络硬件训练和预测的一种有效数值格式。

    Nov, 2017

  • 面向 8 位浮点数的设备端训练和通信的联邦学习

    探讨了在联邦学习环境中使用 8 位浮点数（FP8）进行训练的方法，该方法不仅可以有效地训练神经网络并减少计算开销，还能通过显著的权重压缩来减少客户端和服务器之间的通信成本。实验结果表明，与 FP32 基准相比，在各种任务和模型上，我们的方法始终能够至少将通信开销降低 2.9 倍。

    Jul, 2024

  • 用于人工智能的压缩实数：以 RISC-V CPU 为案例研究

    本文提出了一种在计算之前解压缩 bfloat/posit 张量的方法，以节省带宽使用并增加缓存效率，同时展示了与未压缩数据相比，在架构参数和考虑因素下该解决方案的优势。

    Sep, 2023