Sep, 2022

ApproxTrain: DNN 训练和推理的快速近似乘法器模拟

PDF
TL;DR本文通过开源框架 ApproxTrain，使用模拟的近似乘法器评估了使用近似乘法器的深度神经网络（DNN）培训的收敛性和准确性，论证了这种方法的资源效率和 GPU 加速优势。
发现论文，激发创造
  • HEAM：用于深度神经网络的高效近似乘法器优化

    本研究提出了一种针对近似乘法器的优化方法，通过操作数分布最小化平均误差。我们的方法在 DNN 中获得比已有的最佳近似乘法器高达 50.24% 的精度、15.76% 更小的面积、25.05% 较少的电功率消耗和 3.50% 较短的延迟。与精确乘法器相比，我们的方法可以减少 44.94% 的面积、47.63% 的电功率消耗和 16.78% 的延迟，同时精度损失可以忽略不计。在测试的 DNN 加速模块中，我们的乘法器比原始模块面积小 18.70%、电功率消耗少 9.99%。

    Jan, 2022

  • 探索使用近似乘法器增强神经网络对抗攻击的鲁棒性

    使用近似乘法器探索深度神经网络针对对抗攻击的鲁棒性改善，将准确的乘法器替换为近似乘法器在 DNN 层模型中，探索了 DNN 在可行时间内针对各种对抗攻击的鲁棒性，结果显示在无攻击情况下由于近似乘法产生了最高 7% 的准确度下降，而在攻击时，鲁棒准确度提高了最多 10%

    Apr, 2024

  • 近似乘法器的可微分神经架构搜索：ApproxDARTS

    将近似计算的原则融入到硬件感知的深度神经网络（DNN）的设计中，利用名为 DARTS 的可微分神经架构搜索方法，我们提供了一种名为 ApproxDARTS 的神经架构搜索方法，能够利用近似乘法器降低生成的神经网络的能耗。

    Apr, 2024

  • 使用近似张量运算加速神经网络训练

    通过对张量运算（矩阵乘法和卷积）应用基于样本的近似，提出了一种用于深度神经网络加速训练的新技术。应用到 MLP 和 CNN 网络的 MNIST，CIFAR-10 和 ImageNet 数据集的训练实验结果表明，该方法可以大幅度减少计算量和通讯量，并以不会对最终测试准确率产生可感知影响的方式提升训练速度。

    May, 2018

  • AdAM：适应性容错近似乘法器用于边缘 DNN 加速器

    本文提出了一种专为 ASIC-based DNN 加速器设计的新型自适应容错逼近乘法器的结构。

    Mar, 2024

  • 训练神经网络以在近似硬件上执行

    研究表明，近似计算方法在深度学习中具有巨大潜力，尤其适用于受电源预算限制的便携设备的推理任务，但由于缺乏针对近似计算的训练方法，其潜力尚未得到充分发挥。本文提出了近似硬件训练的方法，并演示了这些方法如何专门针对近似硬件进行训练，并提出了加速训练过程的方法，加速率高达 18 倍。

    Apr, 2023

  • 深度神经网络的超低精度无乘训练

    本文提出了一种自适应分层比例缩放的位编码量化（ALS-POTQ）方法和无乘积 MAC 的方法（MF-MAC），可以消除线性层中所有 FP32 乘法和重量偏差校正和参数化比率裁剪技术来提高稳定性和提高准确性，从而获得比现有方法更高的能源效率和准确性。

    Feb, 2023

  • 使用低精度乘法训练深度神经网络

    通过在三个基准数据集上使用三种不同的格式（浮点数、固定点和动态固定点）进行训练，评估乘法精度的影响，研究发现，即使在训练神经网络时使用 10 位乘法，非常低的精度也足够运行和训练最新的神经网络。

    Dec, 2014

  • 特别会议：DNN 加速器的逼近和容错性

    本文研究了 DNN 加速器的逼近计算和容错能力，提出使用逼近算术电路代替昂贵的故障注入检测，并开发了 GPU 模拟方法，同时通过网络故障的传播和掩蔽来实现精细化容错分析

    May, 2023

  • 基于模拟的并行训练

    本文介绍一种训练框架，可对机器学习进行科学计算，并通过缓存数据来减轻同时生成数据的时间延迟。实验表明，该框架在多参数 Lorenz 吸引子的测试中成功缓解了数据偏差，从而可以更好地捕捉系统的复杂混沌动态。

    Nov, 2022