AdAM:适应性容错近似乘法器用于边缘 DNN 加速器
本研究提出了一种针对近似乘法器的优化方法,通过操作数分布最小化平均误差。我们的方法在 DNN 中获得比已有的最佳近似乘法器高达 50.24% 的精度、15.76% 更小的面积、25.05% 较少的电功率消耗和 3.50% 较短的延迟。与精确乘法器相比,我们的方法可以减少 44.94% 的面积、47.63% 的电功率消耗和 16.78% 的延迟,同时精度损失可以忽略不计。在测试的 DNN 加速模块中,我们的乘法器比原始模块面积小 18.70%、电功率消耗少 9.99%。
Jan, 2022
使用近似乘法器探索深度神经网络针对对抗攻击的鲁棒性改善,将准确的乘法器替换为近似乘法器在 DNN 层模型中,探索了 DNN 在可行时间内针对各种对抗攻击的鲁棒性,结果显示在无攻击情况下由于近似乘法产生了最高 7% 的准确度下降,而在攻击时,鲁棒准确度提高了最多 10%
Apr, 2024
本文研究了 DNN 加速器的逼近计算和容错能力,提出使用逼近算术电路代替昂贵的故障注入检测,并开发了 GPU 模拟方法,同时通过网络故障的传播和掩蔽来实现精细化容错分析
May, 2023
本文通过开源框架 ApproxTrain,使用模拟的近似乘法器评估了使用近似乘法器的深度神经网络(DNN)培训的收敛性和准确性,论证了这种方法的资源效率和 GPU 加速优势。
Sep, 2022
提出一种新颖的框架 AADMM,用于加速线性化交替方向乘子法 (ADMM),对于一类具有线性约束的凸复合优化问题,AADMM 的收敛速度比线性化 ADMM 更快,而且当相应的鞍点问题有解时,AADMM 能够处理无边界的可行域,并提出了一种回溯算法来提高实际性能。
Jan, 2014
提出了一种名为 AA-DLADMM 的算法,它使用了 Anderson 加速以改进 ADMM 优化算法的收敛速度,通过在四个基准数据集上进行广泛实验证明了该算法的有效性和效率。
Jan, 2024
将近似计算的原则融入到硬件感知的深度神经网络(DNN)的设计中,利用名为 DARTS 的可微分神经架构搜索方法,我们提供了一种名为 ApproxDARTS 的神经架构搜索方法,能够利用近似乘法器降低生成的神经网络的能耗。
Apr, 2024
研究对于 DNN 模型的压缩有两类深入了解,如权重修剪和量化;文章研究提出了第一个基于 ADMM 的 DNN 算法硬件协同优化框架 ADMM-NN,该框架可以最大化的提高优化性能以达到更高的 DNN 模型压缩比,并且在不损失准确性的情况下可以达到比以往更好的性能。
Dec, 2018
该论文提出了一种高吞吐量、可扩展和节能的非逐元素矩阵乘法单元,作为神经网络的基本组件。通过优化近似矩阵乘法算法以及专用的存储和访问设计,该单元在 FPGA 上实现了高效的矩阵乘法,大大提高了 FPGA 上基于量化神经网络的加速器的吞吐量和能效。
Jul, 2024
本文提出了一种名为 DQM 的去中心化二次逼近方法,旨在减少 DADMM 求解优化子问题所需的计算时间,其以线性速率收敛于最优解,并且其线性收敛系数随时间呈线性趋势,数值结果也证明了 DQM 的有效性。
Oct, 2015