深度学习的微调数据格式

Oct, 2023

Microscaling Data Formats for Deep Learning

Bita Darvish Rouhani, Ritchie Zhao, Ankit More, Mathew Hall, Alireza Khodamoradi...

TL;DR窄位宽数据格式是降低现代深度学习应用的计算和存储成本的关键。本文评估了使用分区缩放因子和狭窄的浮点和整数类型结合的微标度（MX）数据格式。MX 格式平衡了硬件效率、模型准确度和用户摩擦之间的竞争需求。超过两打基准实验证明了 MX 数据格式作为 AI 推理和训练中替代 FP32 的易用性低的替代品的实用性。我们还展示了在最小准确度损失和无需调整训练配方的情况下，首次实现对生成语言模型进行低于 8 位权重、激活和梯度的训练。

Abstract

narrow bit-width data formats are key to reducing the computational and storage costs of modern deep learning applications. This paper evaluates Microscaling (MX) data formats that combine a per-block scaling factor with narrow floating-point and integer types for individual elements.M

narrow bit-width data formats microscaling (mx) data formats hardware efficiency model accuracy generative language models

发现论文，激发创造

深度神经网络的 8 位数字格式

该研究探讨了使用低精度浮点数表示法（例如 8 位浮点数格式）对深度学习模型进行训练和推理的影响，结果表明合适的低精度格式选择可加快训练和降低功耗，而不会降低准确性。

Jun, 2022

共享微指数：微小的移动带来巨大的效益

介绍 Block Data Representations (BDR) 框架，通过该框架，可以探索和评估深度学习窄精度格式的广泛谱系，并且可以识别基于共享微指数的新格式，这些新格式优于其他最先进的量化方法。

Feb, 2023

Flexpoint: 用于深度神经网络高效训练的自适应数值格式

本篇研究提出了一种名为 Flexpoint 的数据格式，可以在不需要调整模型超参的情况下，用于支持深度神经网络在低位宽训练中的完整替代，该数据格式动态调整共享指数，以最小化过载并最大化可用的动态范围，实验证明，16 位 Flexpoint 在三个网络模型的训练上与 32 位浮点数非常接近，有望成为未来神经网络硬件训练和预测的一种有效数值格式。

Nov, 2017

使用 8 位浮点数进行混合精度训练

本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

May, 2019

使用 8 位浮点数训练深度神经网络

本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

Dec, 2018

使用低精度乘法训练深度神经网络

通过在三个基准数据集上使用三种不同的格式（浮点数、固定点和动态固定点）进行训练，评估乘法精度的影响，研究发现，即使在训练神经网络时使用 10 位乘法，非常低的精度也足够运行和训练最新的神经网络。

Dec, 2014

探索 MX 及其进一步的 FPGA 设计

针对低精度计算的 Open Compute Project MX 标准，本文描述并评估了首个开源 FPGA 实现的算术计算。我们的设计完全支持标准中定义的具体格式以及标准规定的算术运算，同时还支持任意固定点和浮点格式。通过实现例子神经网络如 ResNet-18，我们展示了 MX 对于 INT5 或 FP6 等格式的非原生支持在 FPGA 上具有非常好的效果，这使得 FPGA 在灵活性和占用更小面积方面占据优势。

Jul, 2024

混合精度训练

介绍了一种使用半精度浮点数训练深度神经网络的技术，通过减少内存消耗和利用未来处理器的半精度硬件单元，大幅提高模型训练的计算速度。

Oct, 2017

用于深度神经网络低精度训练的平移和压缩 8 位浮点格式

本研究提出了一种新的方法 (S2FP8) ，使用 8 位浮点（FP8）数来训练深度神经网络，可以在训练时实现更大的有效内存和增加计算速度，并且在 ResNet-50、Transformer 和 NCF 等模型中表现良好，无需微调损失缩放参数或使某些层在单精度中运行；同时，引入了一些可学习的 DNN 张量统计上的偏移和挤压参数，以优化 8 位张量的使用范围，从而减少量化带来的信息损失。

Jan, 2020

混合专家混合精度神经网络的调优

通过添加新的数据类型到 Caffe，增加了现有商品电子设备上深度学习推断速度，在某些设备上，内存使用量可以降低到 3.29 倍，推断速度可以提高到 3.01 倍，并提出了一种混合专家模型的变化来增加图像分类中的推断速度。

Sep, 2022