Jun, 2024

拖延就足够的：指数指标累加器用于浮点数、Posit 和对数数值

PDF
TL;DR该论文讨论了一种简单有效的方法，用于对长序列的浮点数进行求和。该方法包括两个阶段：累积阶段，其中浮点数的尾数添加到由指数索引的累加器中，重构阶段，将最终的求和结果完成。对于 FPGAs 和 ASICs，给出了各种体系结构细节，包括将操作与乘法器融合，创建高效的 MAC。对于 FPGAs，给出了一些结果，包括在 AMD FPGAs 上每个时钟周期能够使用～6,400 LUTs + 64 DSP48，以 700+ MHz 的速度乘法和累加两个 4x4 矩阵的 bfloat16 值的张量核心。然后将该方法扩展到 posits 和对数数。
发现论文，激发创造
  • 并行数值方法精度、收敛性和可复现性的高效求和算法

    我们介绍了一种新的并行算法，该算法通过优先计算相同指数的数字来减轻浮点算数中误差问题，并通过精度、收敛性和可重现性等性质的广泛分析来验证其有效性。我们还选择了 Simpson，Jacobi，LU 因数分解和迭代幂法等代表性数值方法来展示算法的实用性。

    May, 2022

  • 深度学习中的浮点数重新思考

    通过优化浮点数表示方式，我们在 28 纳米芯片上实现了基于神经网络的推断和训练的更高能效性能，这种优化不需要重新训练神经网络和更改参数。

    Nov, 2018

  • 深度神经网络的超低精度训练中的位宽累积缩放

    通过统计方法分析深度学习中的累加器准确性，得到了将计算硬件精度进行精确定制的方案，并证明了这种方案可以得到面积和功率最优的系统。

    Jan, 2019

  • 关于算法提升固定点计算

    本文探讨算法指数增长的思维实验，重点在于阐述该思想在指数增长定点计算算法中找到了实际应用。作者提供了一种名为算法增强的推进迭代定点计算收敛的通用方法，还介绍了该方法能够在收敛速度上实现指数级加速，最后讨论了算法实现有关的问题，特别是对于标量情形的指数函数。

    Apr, 2023

  • AutoNumerics-Zero 自动发现最新数学函数

    用一种简单的进化算法，该研究展示了在计算机有限精度运算的情况下，能够发现优化过的高精度近似解，而无需了解数学知识。这种方法不仅适用于指数函数，还能扩展到其他超越函数，提供了降低科学计算应用成本的潜力。

    Dec, 2023

  • 深度正子：使用正电子数系统的深度神经网络

    该论文提出一种基于 posit 数值格式的 DNN 体系结构及可调精度 FPGA 软核，通过实验结果表明，该体系结构在 8 位或以下的 posit 数值格式下，性能和精度均优于传统的固定位数和浮点数位数格式，提示该方法能够在减小计算资源的同时提高 DNN 的性能。

    Dec, 2018

  • Log-Sum-Exp 和 Softmax 函数的准确计算

    本文主要研究并比较了计算 log-sum-exp 函数或 softmax 函数时常见的算法，并通过舍入误差分析和函数条件数进行精度评估，得出了使用 shifted formulas 的矩阵运算相对于不使用的方法更加准确的结论。

    Sep, 2019

  • 量化神经网络实现低精度累计并保证溢出避免

    这篇研究论文介绍了一种量化感知训练算法，该算法通过权重归一化约束参数，使用累加器位宽界限来避免数值溢出，在保持模型精度的同时，可以减少累加器的精度，并提高量化神经网络中的稀疏性和可压缩性，从而提高 FPGA 设计效率。

    Jan, 2023

  • 利用二进制多项式根指数表示的整数列表进行的二进制补码加法快速乘法

    基于多项式基数 2 索引存储的整数列表，我们展示了一种乘法方法。通过实现一套基于 Python 代码的 “多项式整数索引乘法” 算法，我们证明了该方法在一定位范围内的乘法比数论变换（NTT）和 Karatsuba 更快。同时，我们还通过与多项式基数 2 整数方法进行比较来实现 Python 代码。我们证明了任何整数或实数都可以表示为整数索引列表，代表二进制中的有限级数。整数索引的有限级数表示可以分布在多个 CPU / GPU 上进行存储和分发。我们展示了加法和乘法操作可以作为补码加法应用于索引整数表示，并且可以完全分布在给定的 CPU / GPU 体系结构上。我们证明了完全分布式计算方法可以克服并行乘法方法的当前限制，即需要共享共同的核心内存和磁盘来计算结果和中间结果。

    Nov, 2023

  • 一种简单实用的有限和加速方法

    该研究提出了一种针对小批量优化问题的新优化方法 SAGA，通过引入一种步长参数，在强凸光滑问题上获得了加速收敛率，同时应用于分割算子方法难以解决的许多领域。

    Feb, 2016