Dec, 2018

深度正子：使用正电子数系统的深度神经网络

PDF
TL;DR该论文提出一种基于 posit 数值格式的 DNN 体系结构及可调精度 FPGA 软核，通过实验结果表明，该体系结构在 8 位或以下的 posit 数值格式下，性能和精度均优于传统的固定位数和浮点数位数格式，提示该方法能够在减小计算资源的同时提高 DNN 的性能。
deep neural networkslow-precision numerical formatsposit numerical formatfpga soft corednn performance
发现论文，激发创造
  • 使用 8 位浮点数训练深度神经网络

    本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

    Dec, 2018

  • 准确、无乘法的深度神经网络的硬件 - 软件协同设计

    通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

    May, 2017

  • 用于人工智能的压缩实数：以 RISC-V CPU 为案例研究

    本文提出了一种在计算之前解压缩 bfloat/posit 张量的方法，以节省带宽使用并增加缓存效率，同时展示了与未压缩数据相比，在架构参数和考虑因素下该解决方案的优势。

    Sep, 2023

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • Flexpoint: 用于深度神经网络高效训练的自适应数值格式

    本篇研究提出了一种名为 Flexpoint 的数据格式，可以在不需要调整模型超参的情况下，用于支持深度神经网络在低位宽训练中的完整替代，该数据格式动态调整共享指数，以最小化过载并最大化可用的动态范围，实验证明，16 位 Flexpoint 在三个网络模型的训练上与 32 位浮点数非常接近，有望成为未来神经网络硬件训练和预测的一种有效数值格式。

    Nov, 2017

  • 深度神经网络的 8 位数字格式

    该研究探讨了使用低精度浮点数表示法（例如 8 位浮点数格式）对深度学习模型进行训练和推理的影响，结果表明合适的低精度格式选择可加快训练和降低功耗，而不会降低准确性。

    Jun, 2022

  • PDPU：用于深度学习应用的开源 Posit 点积单元

    该研究提出了一个名为 PDPU 的开源端点积处理器单元，旨在促进资源高效和高吞吐量的端点积硬件实现，通过优化后的硬件架构和流水线设计，可以显著降低面积、延迟和功耗，具有成为基于端点积加速器的计算核心的巨大潜力。

    Feb, 2023

  • 边缘推断的低精度混合计算模型

    该研究论文提出了一种混合计算神经网络处理方法，通过低精度的 Posit 和低精度定点 FixP 数值系统，为边缘应用提供支持，并利用启发式方法分析权重的重要性和量化误差，为不同权重分配正确的数值系统。通过在视觉和语言模型上的广泛评估，结果显示混合计算的准确性平均比 FixP 高约 1.5%，只需 0.19% 的能量开销。

    Dec, 2023

  • 高效的车载深度神经网络处理的低精度浮点数

    地球观测、数据压缩、深度学习、量化神经网络、低精度浮点运算

    Nov, 2023

  • Cheetah：边缘 DNN 的混合低精度硬件和软件协同设计框架

    本文提出了 Cheetah 框架，支持使用超低精度的 posits 格式进行 DNN 训练和推理，同时支持混合精度和其他常用的数值格式，并在 MNIST、Fashion MNIST 和 CIFAR-10 三个数据集上进行了评估。结果表明，用 16 位 posits 进行 DNN 训练可以优于使用 16 位浮点数，并且使用 [5..8] 位 posits 进行推理可以改善性能和能耗之间的折衷。

    Aug, 2019