Jan, 2022

HEAM：用于深度神经网络的高效近似乘法器优化

PDF
TL;DR本研究提出了一种针对近似乘法器的优化方法，通过操作数分布最小化平均误差。我们的方法在 DNN 中获得比已有的最佳近似乘法器高达 50.24% 的精度、15.76% 更小的面积、25.05% 较少的电功率消耗和 3.50% 较短的延迟。与精确乘法器相比，我们的方法可以减少 44.94% 的面积、47.63% 的电功率消耗和 16.78% 的延迟，同时精度损失可以忽略不计。在测试的 DNN 加速模块中，我们的乘法器比原始模块面积小 18.70%、电功率消耗少 9.99%。
approximate multipliersoptimizationoperand distributionsdnn accelerator modulespower consumption
发现论文，激发创造
  • ApproxTrain: DNN 训练和推理的快速近似乘法器模拟

    本文通过开源框架 ApproxTrain，使用模拟的近似乘法器评估了使用近似乘法器的深度神经网络（DNN）培训的收敛性和准确性，论证了这种方法的资源效率和 GPU 加速优势。

    Sep, 2022

  • AdAM：适应性容错近似乘法器用于边缘 DNN 加速器

    本文提出了一种专为 ASIC-based DNN 加速器设计的新型自适应容错逼近乘法器的结构。

    Mar, 2024

  • 探索使用近似乘法器增强神经网络对抗攻击的鲁棒性

    使用近似乘法器探索深度神经网络针对对抗攻击的鲁棒性改善，将准确的乘法器替换为近似乘法器在 DNN 层模型中，探索了 DNN 在可行时间内针对各种对抗攻击的鲁棒性，结果显示在无攻击情况下由于近似乘法产生了最高 7% 的准确度下降，而在攻击时，鲁棒准确度提高了最多 10%

    Apr, 2024

  • 使用低精度乘法训练深度神经网络

    通过在三个基准数据集上使用三种不同的格式（浮点数、固定点和动态固定点）进行训练，评估乘法精度的影响，研究发现，即使在训练神经网络时使用 10 位乘法，非常低的精度也足够运行和训练最新的神经网络。

    Dec, 2014

  • 近似乘法器的可微分神经架构搜索：ApproxDARTS

    将近似计算的原则融入到硬件感知的深度神经网络（DNN）的设计中，利用名为 DARTS 的可微分神经架构搜索方法，我们提供了一种名为 ApproxDARTS 的神经架构搜索方法，能够利用近似乘法器降低生成的神经网络的能耗。

    Apr, 2024

  • 准确、无乘法的深度神经网络的硬件 - 软件协同设计

    通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

    May, 2017

  • DAISM: DNN 训练和推理的数字近似 In-SRAM 乘法器加速器

    本文提出了一种在 SRAM 中进行矩阵乘法运算的新型数字乘法器，配合 DAISM 加速器对卷积神经网络进行加速，在减小了能量消耗并提高了性能的同时，避免了位串行计算的性能瓶颈。

    May, 2023

  • 利用误差恢复实现无乘法人工神经元的能量高效神经计算

    提出了一种利用计算共享和神经网络应用程序的误差容忍性来实现能源消耗改进的近似乘法器和无乘法器人工神经元，并采用最小精度损失的训练方法。实验结果表明，在与传统神经元实现比较下，8 位和 12 位神经元大小的能源消耗分别降低了 35% 和 60%，最大网络精度损失约为 2.83%。此外，在 iso-speed 条件下，8 位和 12 位的神经元大小分别减少了 37% 和 62% 的面积。

    Feb, 2016

  • 深度神经网络的超低精度无乘训练

    本文提出了一种自适应分层比例缩放的位编码量化（ALS-POTQ）方法和无乘积 MAC 的方法（MF-MAC），可以消除线性层中所有 FP32 乘法和重量偏差校正和参数化比率裁剪技术来提高稳定性和提高准确性，从而获得比现有方法更高的能源效率和准确性。

    Feb, 2023

  • 深度学习系统的超高性能和能量效率：一种算法 - 硬件协同优化框架

    本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的 DNN 算法 - 硬件协同优化框架，并在硬件部分采用高效的 FPGA 实现，实验表明与 IBM TrueNorth 处理器和参考的 FPGA 实现相比，该框架至少实现了 152 倍的加速和 71 倍的能效增益。

    Feb, 2018