硬件感知训练技术对于提高 TiO2 ReRAM 被动交叉阵列 Ex-Situ 神经网络迁移的鲁棒性的影响
该研究详细分析了使用模拟电阻式存储器(ReRAM)跨栅执行关键矩阵操作以提高加速器性能,并与使用数字 ReRAM 和 SRAM 操作的相关设计进行了比较。结果显示,与类似的数字版加速器块相比,该模拟加速器具有能效更高的优势,并且可以成为进一步架构研究的基础。
Jul, 2017
本文提出了一种差分映射方案,以提高 ReRAM 的容错性,实现无需大规模优化的负载裁剪技术,从而在代表性 DNN 任务中容忍几乎高达一个数量级的故障率,而不需要额外的硬件成本。
Jun, 2021
介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法,并提出了一种基于批标准化参数的补偿技术,可以在映射到 PCM 后实现分类精度高达 93.7% 的 CIFAR-10 数据集和 71.6% 的 ImageNet 基准测试的 top-1 精度。
Jun, 2019
近年来,硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中,交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而,从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中,我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分,我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型,并随时间评估了它们的效力。我们的结果表明,当与芯片上的脉冲发生器配对时,我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。
Sep, 2023
本研究通过利用 memristive 和 memcapacitive 交叉阵列在低功耗机器学习加速器中的应用,提供了一个综合的深度神经网络 (DNN) 的共同设计框架;该模型采用混合 Python 和 PyTorch 方法实现,考虑了各种非理想因素,在 8 层 VGG 网络上,对 CIFAR-10 数据集分别使用 memristive 和 memcapacitive 交叉阵列,实现了卓越的训练准确率 (90.02% 和 91.03%);此外,本文还引入了一种使用运算跨导放大器 (OTA) 和电容器模拟 meminductor 设备的新方法,展示了可调节的行为;在 60 MHz 下,180 nm CMOS 技术的晶体管级仿真表明所提出的 meminductor 模拟器具有 0.337 mW 的功耗,进一步在神经形态电路和 CNN 加速器中进行了验证,训练和测试准确率分别达到了 91.04% 和 88.82%,值得注意的是,仅使用 MOS 晶体管确保了单片 IC 制造的可行性,这项研究为探索高效和高性能的机器学习应用的先进硬件解决方案作出了重大贡献。
Mar, 2024
本文提出了一种故障感知的框架 FARe,用于在存在故障情况下减轻训练图神经网络的影响,该框架在准确性和时间开销方面优于现有方法。实验结果表明,相比无故障情况下的对比系统,FARe 框架可以在故障的 ReRAM 硬件上只增加约 1% 的时间开销,将 GNN 测试准确率提高 47.6%。
Jan, 2024
本文提出了一种零空间成本的容错机制,通过可微结构修剪、权重复制和投票以及嵌入最显著位(MSBs)到模型权重中,有效减少了硬件故障对模型预测的影响,并通过在 GLUE 基准的九个任务上使用 BERT 模型进行实验验证了该方法的有效性。
Jan, 2024
本文提出了使用贝叶斯优化来提高深度神经网络抗重量漂移性能的方法,并使用 dropout 来提高网络的鲁棒性。实验结果表明该方法在各种任务(例如图像分类和目标检测)中优于现有技术。
Sep, 2022
本文系统地研究了 RRAM-based NCS 的敌对威胁,并提出了两种类型的硬件感知攻击方法,VADER 和 EFI。实验结果表明,我们的硬件感知攻击方法可在极低操作成本的情况下达到近乎 100% 的攻击成功率,同时保持攻击的隐蔽性。
Feb, 2023