Sep, 2019

AdaptivFloat：一种基于浮点数的数据类型，用于弹性深度学习推理

PDF
TL;DRAdaptivFloat 是一种面向深度学习的浮点数表示格式，能够动态地最大化和最优地削减其可用动态范围，从而创建神经网络参数的忠实编码。该方法在非常低的精度下（≤8 位）比块浮点、统一、IEEE 类浮点或 posit 编码产生更高的推理精度，并在 DNN 硬件加速器上实现了更低的能量和面积。
发现论文，激发创造
  • 深度学习中的浮点数重新思考

    通过优化浮点数表示方式，我们在 28 纳米芯片上实现了基于神经网络的推断和训练的更高能效性能，这种优化不需要重新训练神经网络和更改参数。

    Nov, 2018

  • Flexpoint: 用于深度神经网络高效训练的自适应数值格式

    本篇研究提出了一种名为 Flexpoint 的数据格式，可以在不需要调整模型超参的情况下，用于支持深度神经网络在低位宽训练中的完整替代，该数据格式动态调整共享指数，以最小化过载并最大化可用的动态范围，实验证明，16 位 Flexpoint 在三个网络模型的训练上与 32 位浮点数非常接近，有望成为未来神经网络硬件训练和预测的一种有效数值格式。

    Nov, 2017

  • 深度神经网络的 8 位数字格式

    该研究探讨了使用低精度浮点数表示法（例如 8 位浮点数格式）对深度学习模型进行训练和推理的影响，结果表明合适的低精度格式选择可加快训练和降低功耗，而不会降低准确性。

    Jun, 2022

  • 使用 8 位浮点数训练深度神经网络

    本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

    Dec, 2018

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • 准确、无乘法的深度神经网络的硬件 - 软件协同设计

    通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

    May, 2017

  • 高效的车载深度神经网络处理的低精度浮点数

    地球观测、数据压缩、深度学习、量化神经网络、低精度浮点运算

    Nov, 2023

  • 深度正子：使用正电子数系统的深度神经网络

    该论文提出一种基于 posit 数值格式的 DNN 体系结构及可调精度 FPGA 软核，通过实验结果表明，该体系结构在 8 位或以下的 posit 数值格式下，性能和精度均优于传统的固定位数和浮点数位数格式，提示该方法能够在减小计算资源的同时提高 DNN 的性能。

    Dec, 2018

  • BFLOAT16 在深度学习训练中的研究

    本文研究了使用 Brain Floating Point（BFLOAT16）半精度格式进行深度学习训练的有效性，并实现了在 Tensorflow、Caffe2、IntelCaffe 和 Neon 中进行 BFLOAT16 操作的方法。结果表明，使用 BFLOAT16 张量进行深度学习培训，在达到同样的状态 - 最先进的结果并不需要调整超参数。

    May, 2019

  • AdaBits：自适应位宽神经网络量化

    本文研究了一种通过使权重和激活的位宽自适应来实现神经网络自适应配置的新方法，并探究了直接适应、渐进适应和联合训练等多种方法，最终提出了一种称为 S-CL 的新技术，证明了通过位宽自适应可以在实现高精度的同时实现高效率，从而在真实世界应用中快速适配。

    Dec, 2019