多层电阻变换器实现的突触元可塑性
本研究通过利用 memristive 和 memcapacitive 交叉阵列在低功耗机器学习加速器中的应用,提供了一个综合的深度神经网络 (DNN) 的共同设计框架;该模型采用混合 Python 和 PyTorch 方法实现,考虑了各种非理想因素,在 8 层 VGG 网络上,对 CIFAR-10 数据集分别使用 memristive 和 memcapacitive 交叉阵列,实现了卓越的训练准确率 (90.02% 和 91.03%);此外,本文还引入了一种使用运算跨导放大器 (OTA) 和电容器模拟 meminductor 设备的新方法,展示了可调节的行为;在 60 MHz 下,180 nm CMOS 技术的晶体管级仿真表明所提出的 meminductor 模拟器具有 0.337 mW 的功耗,进一步在神经形态电路和 CNN 加速器中进行了验证,训练和测试准确率分别达到了 91.04% 和 88.82%,值得注意的是,仅使用 MOS 晶体管确保了单片 IC 制造的可行性,这项研究为探索高效和高性能的机器学习应用的先进硬件解决方案作出了重大贡献。
Mar, 2024
本研究基于 memristive neuron 和 memristive synapse 提出了一个完全基于 memristor 的脉冲神经网络 (MSNN),并采用无监督的 Spiking Time Dependent Plasticity (STDP) 学习规则。我们通过电路模拟验证了 MSNN 的学习效果,并实现了两种类型的 MSNN 结构:一种是生物学合理的记忆检索系统,另一种是用于多类别分类。
Mar, 2022
本文提出了一种二元随机学习算法,通过引入随机二元化,有符号二元化和分步权重更新,修改了所有基础神经网络操作,不需要高精度的处理,可以在硬件中实现,提高了神经网络系统的能效,并较高精度学习算法更有效。
Apr, 2023
这篇论文提出了一种统一而系统的基于忆阻器的框架,考虑了结构化权重剪枝和权重量化,并将交替方向乘子法(ADMM)纳入深度神经网络(DNN)训练中,以实现高准确度、低功耗和小面积占用率。在 VGG-16(ResNet-18)网络上,与原始 DNN 模型相比,该框架实现了 29.81X(20.88X)的权重压缩比,98.38%(96.96%)和 98.29%(97.47%)的功耗和面积降低,并仅有 0.5%(0.76%)的精度损失。
Aug, 2019
采用 MEMprop 算法的梯度学习方法,通过基于模拟 SPICE 模型的脉冲神经元和突触直接应用 BPTT 训练算法,实现了全电子脉冲神经网络的训练,省略了寻找峰值的操作,进而提高精度。
Jun, 2022
提出了一种将连续学习和二进制神经网络结合起来的解决方案,同时在设备上进行训练并保持竞争性的性能,该方法利用二进制潜在重播激活和一种新的量化方案,显著减少了梯度计算所需的位数,实验证实了模型的准确性和对内存需求的明显减少,从而扩展了深度学习在实际场景中的应用。
Jan, 2024
本文综述深度学习、电晕电阻存储器(Memristors)和尖峰神经网络等人工智能领域的新技术。文章重点讨论了依赖非冯・诺依曼体系结构的计算和定制学习和推理算法的必要性,并展望了未来神经形态的计算系统。
Apr, 2020
近年来,硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中,交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而,从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中,我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分,我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型,并随时间评估了它们的效力。我们的结果表明,当与芯片上的脉冲发生器配对时,我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。
Sep, 2023
利用学习到学习框架,本文成功识别出膜电位的行为特征和最优超参数,这些特征与以前的研究相吻合,这表明 memristive reservoirs 可以模拟尖峰神经元的膜电位行为,并且可以作为尖峰电流和连续过程之间的接口。
Jun, 2023