Mar, 2024

基于记忆元件的神经形态硬件在神经网络应用中的研究

PDF
TL;DR本研究通过利用 memristive 和 memcapacitive 交叉阵列在低功耗机器学习加速器中的应用，提供了一个综合的深度神经网络 (DNN) 的共同设计框架；该模型采用混合 Python 和 PyTorch 方法实现，考虑了各种非理想因素，在 8 层 VGG 网络上，对 CIFAR-10 数据集分别使用 memristive 和 memcapacitive 交叉阵列，实现了卓越的训练准确率 (90.02% 和 91.03%)；此外，本文还引入了一种使用运算跨导放大器 (OTA) 和电容器模拟 meminductor 设备的新方法，展示了可调节的行为；在 60 MHz 下，180 nm CMOS 技术的晶体管级仿真表明所提出的 meminductor 模拟器具有 0.337 mW 的功耗，进一步在神经形态电路和 CNN 加速器中进行了验证，训练和测试准确率分别达到了 91.04% 和 88.82%，值得注意的是，仅使用 MOS 晶体管确保了单片 IC 制造的可行性，这项研究为探索高效和高性能的机器学习应用的先进硬件解决方案作出了重大贡献。
memristivememcapacitivecrossbar arraysdeep neural networksmeminductor devices
发现论文，激发创造
  • 基于电阻变化器的存储器：从内存计算、深度学习加速、脉冲神经网络到神经形态计算的未来

    本文综述深度学习、电晕电阻存储器（Memristors）和尖峰神经网络等人工智能领域的新技术。文章重点讨论了依赖非冯・诺依曼体系结构的计算和定制学习和推理算法的必要性，并展望了未来神经形态的计算系统。

    Apr, 2020

  • 多层电阻变换器实现的突触元可塑性

    本研究提出了一种基于 memristor 的硬件架构，实现了 QNNs 的元可塑性，并验证了其在 MNIST 和 Fashion-MNIST 上的有效性和鲁棒性。

    Jun, 2023

  • 基于梯度的神经形态学动态 RRAM 数组学习

    采用 MEMprop 算法的梯度学习方法，通过基于模拟 SPICE 模型的脉冲神经元和突触直接应用 BPTT 训练算法，实现了全电子脉冲神经网络的训练，省略了寻找峰值的操作，进而提高精度。

    Jun, 2022

  • 超高效 DNN 实现的剪枝量化优化忆阻交叉开关网络

    本文提出了一种基于 memristor 的 DNN 框架，该框架将结构化权重修剪和量化相结合，利用交替方向乘子法（ADMM）算法进行更好的修剪和量化性能，并设计了一种软硬件优化框架，实现了高压缩比和几乎无精度损失的量化。

    Aug, 2019

  • 记忆电阻池学会学习

    利用学习到学习框架，本文成功识别出膜电位的行为特征和最优超参数，这些特征与以前的研究相吻合，这表明 memristive reservoirs 可以模拟尖峰神经元的膜电位行为，并且可以作为尖峰电流和连续过程之间的接口。

    Jun, 2023

  • 使用 ADMM 的结构化权重剪枝和量化的超高效基于忆阻器的 DNN 框架

    这篇论文提出了一种统一而系统的基于忆阻器的框架，考虑了结构化权重剪枝和权重量化，并将交替方向乘子法（ADMM）纳入深度神经网络（DNN）训练中，以实现高准确度、低功耗和小面积占用率。在 VGG-16（ResNet-18）网络上，与原始 DNN 模型相比，该框架实现了 29.81X（20.88X）的权重压缩比，98.38％（96.96％）和 98.29％（97.47％）的功耗和面积降低，并仅有 0.5％（0.76％）的精度损失。

    Aug, 2019

  • 基于忆阻体系的时序预测和序列学习

    使用基于忆阻器的回声状态网络加速器，在边缘设备上进行高效的时间序列数据处理和在线学习，与软件模型相比性能仅下降约 4.8%，并实现了 246 倍的能源消耗降低。

    May, 2024

  • 基于可调节动力学和短期可塑性的脑启发式储罐计算使用忆阻器

    近期，关于储层计算的研究取得了重大突破，需要具有能够实现储层物理实现的动力学的模拟装置，以实现更快的信息处理速度、更低的能量消耗和较小的面积占用。通过电压相关动态的离子通道基础箱体，我们展示了只需一次数据编码并通过一个包含具有不同动力学特性的多个箱体的储层层的数据输入方法的可行性，并通过实验证明了这种方法的预测和分类准确率高于传统方法。

    Oct, 2023

  • 基于大规模开关式忆阻器的计算即存储模块用于深度神经网络训练

    研究了一种使用模拟计算模块和数字系统的混合精度训练方案，在实验中采用了 memristor-based 计算存储内存模块，成功实现了针对大型深度神经网络的有效训练，并评估了模型的抗硬件变化特性。

    May, 2023

  • 用于时间数据处理的高效能量自适应电容物理储备计算系统

    利用可变生物膜基 memcapacitor 作为 reservoir，在分类和分析时间序列数据的仿真和实验中实现了 98％的口语数字分类准确率和 0.0012 的非线性回归任务正常化均方误差。

    May, 2023