Mar, 2024

深度强化学习中的乘法器设计优化

PDF
TL;DR基于强化学习的乘法器设计优化框架 RL-MUL，通过使用矩阵和张量表示将卷积神经网络无缝地融入乘法器的压缩器树，实现了乘法器结构的优化，以适应面积和延迟之间的权衡，并扩展到优化融合乘加器设计。实验证明，RL-MUL 产生的乘法器在面积和延迟方面优于基准设计，并通过比较使用 RL-MUL 和基准方法得到的乘法器的处理单元阵列的面积和延迟进一步验证了 RL-MUL 的性能提升。
multiplier designreinforcement learningmatrix representationtensor representationfused multiply-accumulator
发现论文，激发创造
  • 可扩展有效的加法器和乘法器设计的算术树生成

    通过强化学习技术优化算术单元的树状结构，加速计算效率、减小硬件尺寸，并在 128 位加法器和乘法器方面取得优化结果，同时展示在 7nm 技术中的可部署性。

    May, 2024

  • 多智能体强化学习用于微处理器设计空间探索

    本文提出了使用 Multi-Agent RL 来应对硬件体系结构搜索中领域特定定制的挑战，此方法相对于单一智能体，其可扩展性更高且运行更高效。该方法已在设计领域特定 DRAM 内存控制器上得到验证，并表现出在低功耗和延迟等不同目标方面显著优于单一代理强化学习算法，如 Proximal Policy Optimization 和 Soft Actor-Critic。

    Nov, 2022

  • 内积数组低活动在线低延迟乘法器

    本研究提出基于在线算法或从左到右算法的低延迟乘法器，利用冗余数字系统产生最高位优先，并通过数字级管道衔接进行连续操作，从而优化性能并减少功耗和面积。

    Apr, 2023

  • 使用深度强化学习优化并行前缀电路

    本文提出了一种基于强化学习的方法来设计高性能数字电路中的并行前缀电路，使用深度卷积强化学习代理在环境中进行训练，设计出 Pareto 优化现有基线的前缀加法电路，其面积和时延分别比现有基线低 16.0％和 30.2％。经实验表明，训练对公开源代码进行的综合工具和电池库的代理可以设计出优于商业工具加法器的电路。

    May, 2022

  • 使用深度强化学习优化内存映射

    通过采用强化学习技术，本文提出了一个解决编译机器学习程序中内存映射问题的新方法，称之为 mallocMuZero 算法，并将其应用在 ML 加速器上以缩短执行时间，表现优于目前的默认求解器。

    May, 2023

  • 加速深度学习训练和提高鲁棒性的乘法更新规则

    本文研究了深度学习训练加速和鲁棒性问题，提出了一种优化框架，其中使用了一种新的乘法更新规则，并将其与传统的加性更新项相结合，实验表明该框架可以应用于广泛的优化方法和深度神经网络结构，并加速训练同时提高了模型的鲁棒性。

    Jul, 2023

  • 深度神经网络的超低精度无乘训练

    本文提出了一种自适应分层比例缩放的位编码量化（ALS-POTQ）方法和无乘积 MAC 的方法（MF-MAC），可以消除线性层中所有 FP32 乘法和重量偏差校正和参数化比率裁剪技术来提高稳定性和提高准确性，从而获得比现有方法更高的能源效率和准确性。

    Feb, 2023

  • HEAM：用于深度神经网络的高效近似乘法器优化

    本研究提出了一种针对近似乘法器的优化方法，通过操作数分布最小化平均误差。我们的方法在 DNN 中获得比已有的最佳近似乘法器高达 50.24% 的精度、15.76% 更小的面积、25.05% 较少的电功率消耗和 3.50% 较短的延迟。与精确乘法器相比，我们的方法可以减少 44.94% 的面积、47.63% 的电功率消耗和 16.78% 的延迟，同时精度损失可以忽略不计。在测试的 DNN 加速模块中，我们的乘法器比原始模块面积小 18.70%、电功率消耗少 9.99%。

    Jan, 2022

  • 模块乘法的机器学习

    通过密码应用为动机，我们研究了两种机器学习方法用于模块乘法：即循环回归和序列到序列变换器模型。我们结果中两种方法都取得的有限成功为基于模块乘法的密码系统中任务的困难性提供了证据。

    Feb, 2024

  • 使用低精度乘法训练深度神经网络

    通过在三个基准数据集上使用三种不同的格式（浮点数、固定点和动态固定点）进行训练，评估乘法精度的影响，研究发现，即使在训练神经网络时使用 10 位乘法，非常低的精度也足够运行和训练最新的神经网络。

    Dec, 2014