Feb, 2024

ReRAM 神经形态电路阵列中的卡住错误及其通过机器学习的纠正

PDF
TL;DR本研究探讨了阻性随机访问存储器（ReRAM）神经形态电路的推理准确性，由于出现接通、断开和特定电阻值处的堵塞故障导致的准确性下降。使用 Python 的模拟框架进行监督式机器学习（具有 3 个隐藏层、1 个输入层和 1 个输出层的神经网络）对手写数字进行仿真，并构造相应的完全模拟神经形态电路（4 个突触阵列）由 Spectre 模拟。采用了通用的 45 纳米工艺开发套件（PDK）。研究了接通和断开缺陷对推理准确性下降的差异。对不同的缺陷模式进行了研究，包括圆形、环形、行、列和互补圆形缺陷。发现接通和断开缺陷对推理准确性有类似的影响。然而，还发现如果列之间存在空间缺陷变化，推理准确性可能会显著下降。我们还提出了一种机器学习（ML）策略，用于恢复由于堵塞故障导致的推理准确性下降。在有缺陷的神经形态电路中，推理准确性从 48% 提高到 85%。
resistive random access memoryneuromorphic circuitstuck-at faultsinference accuracymachine learning
发现论文，激发创造
  • 利用剪枝和差分交叉栅映射提高基于 ReRAM 的边缘 AI 的 DNN 容错性

    本文提出了一种差分映射方案，以提高 ReRAM 的容错性，实现无需大规模优化的负载裁剪技术，从而在代表性 DNN 任务中容忍几乎高达一个数量级的故障率，而不需要额外的硬件成本。

    Jun, 2021

  • 基于 ReRAM 的 Transformer 语言模型的零空间成本容错技术

    本文提出了一种零空间成本的容错机制，通过可微结构修剪、权重复制和投票以及嵌入最显著位（MSBs）到模型权重中，有效减少了硬件故障对模型预测的影响，并通过在 GLUE 基准的九个任务上使用 BERT 模型进行实验验证了该方法的有效性。

    Jan, 2024

  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 基于 ReRAM 的 PIM 加速器上的故障感知的 GNN 训练

    本文提出了一种故障感知的框架 FARe，用于在存在故障情况下减轻训练图神经网络的影响，该框架在准确性和时间开销方面优于现有方法。实验结果表明，相比无故障情况下的对比系统，FARe 框架可以在故障的 ReRAM 硬件上只增加约 1% 的时间开销，将 GNN 测试准确率提高 47.6%。

    Jan, 2024

  • 一种 ReRAM 模拟神经训练加速器的能量、延迟、面积和准确性的多尺度共设计分析

    该研究详细分析了使用模拟电阻式存储器（ReRAM）跨栅执行关键矩阵操作以提高加速器性能，并与使用数字 ReRAM 和 SRAM 操作的相关设计进行了比较。结果显示，与类似的数字版加速器块相比，该模拟加速器具有能效更高的优势，并且可以成为进一步架构研究的基础。

    Jul, 2017

  • 硬件感知训练技术对于提高 TiO2 ReRAM 被动交叉阵列 Ex-Situ 神经网络迁移的鲁棒性的影响

    采用退火和正则方法训练硬件感知型神经网络作为垂直交叉阵列的一种解决方案。

    May, 2023

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 内脑优化系统中故障元素效应的分析

    神经形态系统、脉冲神经网络、忆阻器、故障元素和性能下降是该研究的关键词和总结。

    Dec, 2023

  • 增强型变差攻击针对基于 RRAM 的神经形态计算系统

    本文系统地研究了 RRAM-based NCS 的敌对威胁，并提出了两种类型的硬件感知攻击方法，VADER 和 EFI。实验结果表明，我们的硬件感知攻击方法可在极低操作成本的情况下达到近乎 100% 的攻击成功率，同时保持攻击的隐蔽性。

    Feb, 2023

  • RescueSNN：在永久性故障下使脉冲神经网络加速器可靠执行

    介绍了使用专用硬件以提高 Spiking Neural Network 的性能和能源效率，但由于永久性故障可能会损坏权重存储器和神经元行为，导致系统故障和精度下降。提出了一种名为 RescueSNN 的新方法来解决这个问题，该方法通过有效的故障感知映射（FAM）和轻量级硬件增强实现 SNN 故障容错，从而显著降低了设计时间和重新训练成本，同时保持吞吐量和质量。实验结果显示，相比于没有进行 EEC 诊断和修复的芯片运行 SNN，使用 RescueSNN 可以提高精度并降低吞吐量的下降。

    Apr, 2023