Feb, 2024

荷电陷阱快闪存（CTF）的非理想程序 - 时间对深度神经网络的系统影响

PDF
TL;DR通过使用阻性处理单元（RPU）架构学习深度神经网络（DNN）可以实现高效能的能源利用，因为它利用专用的神经形态硬件和在内存计算中进行随机加权更新。我们提出了一种脉冲列设计补偿技术来降低由非理想程序时间和网络随机方差引起的总误差，并在 MNIST 和 Fashion-MNIST 数据集上模拟了基于非理想程序时间的 CTF，发现较大的脉冲数（~1000）时，学习性能接近理想（软件级）训练水平，而较小的脉冲数（<500）时，学习性能取决于脉冲间隔（t_gap）。此外，通过消融研究，我们确定了改进学习性能的关键因素是权重更新的噪声水平较低。因此，我们的研究旨在补偿由非理想程序时间引起的误差，并为 CTF 基础的 RPU 标准化脉冲长度（N）和脉冲间隔（t_gap）规格以实现准确的芯片内系统级训练。
发现论文，激发创造
  • 利用抗阻交叉点器件加速深度神经网络训练

    本篇论文提出了利用抵抗处理单元（RPU）设备加速深度神经网络（DNN）训练的概念，通过使用 RPU 设备，可以在更短的时间内，使用更少的功耗来完成大规模 DNN 的训练，并且可以实现比现有技术高达 30000 倍的加速因子和 84000 GigaOps /s/ W 的功率效率。

    Mar, 2016

  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 深度神经网络低精度训练的更好调度

    低精度训练和循环精度训练 (CPT) 是提高深度神经网络训练效率和模型性能的关键，通过分析各种不同的 CPT 调度方式，研究发现改变 CPT 调度可以控制模型性能和训练成本之间的权衡，同时指出激进量化可能对模型性能造成永久性损害。

    Mar, 2024

  • 脉冲神经网络的在线时域训练

    本文提出了一种称为 OTTT 的 SNN 在线训练方法，通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习，并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向，同时避免了 BPTT 对 GPU 训练的巨大内存成本。

    Oct, 2022

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 使用深度神经网络提高快采样粒子定时探测器的精度

    通过使用深度神经网络，该研究改进了粒子计时探测器的定时精度，从而减少了因时间走样效应引起的测量偏差，最终获得了 8% 到 23% 不等的定时精度提升。

    Dec, 2023

  • 基于 28 纳米 HKMG 铁电场效应晶体管突触核的杂精度神经网络变异感知训练

    该研究提出了一种混合精度神经网络训练框架，其中包含基于 eNVM 的计算存储单元来执行加权求和操作和另一个 SRAM 单元，在硬件中存储权重更新时的误差和所需的脉冲数。通过采用 28 纳米铁电场效应晶体管作为神经元间的突触器件并融合训练算法，该架构在存在设备和周期变化的情况下实现了达到 95％的推理精度，被与浮点实现相比较。

    Feb, 2022

  • CPT: 基于循环精度的高效深度神经网络训练

    本文探索了一种名为 Cyclic Precision Training (CPT) 的新型低精度训练方法，其能够提升深度神经网络训练的时间和能量效率，并在五个数据集和十一种模型上进行了大量仿真和消融研究。

    Jan, 2021

  • 硬件感知训练技术对于提高 TiO2 ReRAM 被动交叉阵列 Ex-Situ 神经网络迁移的鲁棒性的影响

    采用退火和正则方法训练硬件感知型神经网络作为垂直交叉阵列的一种解决方案。

    May, 2023

  • 深度神经网络硬件故障攻击中的无恩劣化

    本研究探讨了硬件攻击给神经网络的参数带来的影响及其耐受能力，发现大部分模型对单一位比特翻转都有 10% 以上的分类精度下降，结果揭示了神经网络鲁棒性的局限性并提出了未来的研究方向。

    Jun, 2019