Feb, 2022

基于 28 纳米 HKMG 铁电场效应晶体管突触核的杂精度神经网络变异感知训练

PDF
TL;DR该研究提出了一种混合精度神经网络训练框架，其中包含基于 eNVM 的计算存储单元来执行加权求和操作和另一个 SRAM 单元，在硬件中存储权重更新时的误差和所需的脉冲数。通过采用 28 纳米铁电场效应晶体管作为神经元间的突触器件并融合训练算法，该架构在存在设备和周期变化的情况下实现了达到 95％的推理精度，被与浮点实现相比较。
hybrid-precision neural network trainingenvm computational memory unitfefet synaptic devicesmlp neural networkinference accuracy
发现论文，激发创造
  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 使用 Fowler-Nordheim 量子隧穿进行设备本地突触存储的巩固

    用 Fowler-Nordheim 量子隧穿器件实现突触记忆巩固并存储其历史使用统计信息，这提供了一种超低能耗的方法来实现突触记忆巩固和持久学习。

    Jun, 2022

  • 提高前馈神经网络在脉冲神经形态芯片中的分类准确性

    使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

    May, 2017

  • 多层电阻变换器实现的突触元可塑性

    本研究提出了一种基于 memristor 的硬件架构，实现了 QNNs 的元可塑性，并验证了其在 MNIST 和 Fashion-MNIST 上的有效性和鲁棒性。

    Jun, 2023

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 使用神经工程框架的神经形态硬件架构用于模式识别

    我们提出了一个使用神经工程框架（NEF）在现场可编程门阵列（FPGA）上实现大规模神经网络以进行实时模式识别的硬件架构。该架构不仅适用于手写字体识别，还可以作为各种模式（如语音和图像）的极快速度的模式识别处理器，能够在每秒处理 512 万个数字。

    Jul, 2015

  • SPICEprop：通过记忆加突触神经元网络反向传播误差

    本文提出了一种完全基于 memristive spiking 神经网络的 MSNN，采用 backpropagation through time (BPTT) 学习规则训练了新型 memristive 神经元，并利用 analog SPICE 电路模型直接应用梯度下降的方式来对神经元进行训练，同时实现可处理在 memristive crossbars 上的突触权重训练。

    Mar, 2022

  • 基于记忆元件的神经形态硬件在神经网络应用中的研究

    本研究通过利用 memristive 和 memcapacitive 交叉阵列在低功耗机器学习加速器中的应用，提供了一个综合的深度神经网络 (DNN) 的共同设计框架；该模型采用混合 Python 和 PyTorch 方法实现，考虑了各种非理想因素，在 8 层 VGG 网络上，对 CIFAR-10 数据集分别使用 memristive 和 memcapacitive 交叉阵列，实现了卓越的训练准确率 (90.02% 和 91.03%)；此外，本文还引入了一种使用运算跨导放大器 (OTA) 和电容器模拟 meminductor 设备的新方法，展示了可调节的行为；在 60 MHz 下，180 nm CMOS 技术的晶体管级仿真表明所提出的 meminductor 模拟器具有 0.337 mW 的功耗，进一步在神经形态电路和 CNN 加速器中进行了验证，训练和测试准确率分别达到了 91.04% 和 88.82%，值得注意的是，仅使用 MOS 晶体管确保了单片 IC 制造的可行性，这项研究为探索高效和高性能的机器学习应用的先进硬件解决方案作出了重大贡献。

    Mar, 2024

  • 具有无监督学习的全脉冲记忆电阻网络

    本研究基于 memristive neuron 和 memristive synapse 提出了一个完全基于 memristor 的脉冲神经网络 (MSNN)，并采用无监督的 Spiking Time Dependent Plasticity (STDP) 学习规则。我们通过电路模拟验证了 MSNN 的学习效果，并实现了两种类型的 MSNN 结构：一种是生物学合理的记忆检索系统，另一种是用于多类别分类。

    Mar, 2022

  • 面向低功耗边缘智能的脉冲神经网络联邦神经形态学学习

    通过引入在线联邦学习，提出了一种基于 SNN 的在线联邦学习规则，称为 FL-SNN，通过局部和全局反馈信号实现协作训练，从而解决了有限数据的问题，并在通信负载和准确度之间实现了灵活的权衡。

    Oct, 2019