Aug, 2024

存储技术在神经突触交叉阵列中的比较评估- 第二部分：设计因素与DNN准确性趋势

HTML
PDF
TL;DR本研究针对存储技术在深度神经网络（DNN）加速中的硬件非理想性对DNN准确性的影响，提出了交叉层设计解决方案。通过分析不同设计因素对4种存储技术（8T SRAM、铁电晶体管FeFET、阻抗RAM和自旋轨道扭矩磁RAM）的性能影响，研究发现部分字线激活（PWA）和自定义ADC参考电平能够显著提高DNN的推理准确性，PWA最多提升32.56%的准确率。
发现论文，激发创造
  • 使用 ADMM 的结构化权重剪枝和量化的超高效基于忆阻器的 DNN 框架

    这篇论文提出了一种统一而系统的基于忆阻器的框架，考虑了结构化权重剪枝和权重量化，并将交替方向乘子法（ADMM）纳入深度神经网络（DNN）训练中，以实现高准确度、低功耗和小面积占用率。在VGG-16（ResNet-18）网络上，与原始DNN模型相比，该框架实现了29.81X（20.88X）的权重压缩比，98.38％（96.96％）和98.29％（97.47％）的功耗和面积降低，并仅有0.5％（0.76％）的精度损失。

    Aug, 2019

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率10-20倍。

    Aug, 2021

  • 探讨使用Batchnorm优化在内存计算中缓解不同硬件噪声的作用和限制

    本文研究了模拟交叉开关中的非理想误差，通过在线优化进行微调，以减少训练成本和内存，并减少量化误差和非理想误差，提高深度神经网络的性能。

    May, 2023

  • 硬件感知训练技术对于提高TiO2 ReRAM被动交叉阵列Ex-Situ神经网络迁移的鲁棒性的影响

    采用退火和正则方法训练硬件感知型神经网络作为垂直交叉阵列的一种解决方案。

    May, 2023

  • 评估STT-MRAM作为ML加速器训练中的刮板

    这项研究综合评估和优化了STT-MRAM在机器学习训练加速器设计中的有效性，提出了异构内存配置使得训练能够以好的准确性达到收敛，展示了MRAM在各种DNN基准测试中在系统级能量消耗方面提供了15-22倍的改进，并将STT-MRAM的写操作进一步优化，使得写入能量提高了2倍而应用级训练准确性降低最小。

    Aug, 2023

  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 基于记忆元件的神经形态硬件在神经网络应用中的研究

    本研究通过利用memristive和memcapacitive交叉阵列在低功耗机器学习加速器中的应用，提供了一个综合的深度神经网络(DNN)的共同设计框架；该模型采用混合Python和PyTorch方法实现，考虑了各种非理想因素，在8层VGG网络上，对CIFAR-10数据集分别使用memristive和memcapacitive交叉阵列，实现了卓越的训练准确率(90.02%和91.03%)；此外，本文还引入了一种使用运算跨导放大器(OTA)和电容器模拟meminductor设备的新方法，展示了可调节的行为；在60 MHz下，180 nm CMOS技术的晶体管级仿真表明所提出的meminductor模拟器具有0.337 mW的功耗，进一步在神经形态电路和CNN加速器中进行了验证，训练和测试准确率分别达到了91.04%和88.82%，值得注意的是，仅使用MOS晶体管确保了单片IC制造的可行性，这项研究为探索高效和高性能的机器学习应用的先进硬件解决方案作出了重大贡献。

    Mar, 2024

  • 基于交叉栅极模拟内存加速器的ADC效率提升的修剪方法

    通过识别三个关键属性，我们提出了一种适用于ADC特定效率低下问题的剪枝方法，实现ADC能量的降低并减少精度损失，从而提高深度学习效率。

    Mar, 2024

  • BasisN：基于基组合的非编程RRAM内存计算用于深度神经网络

    为了高效加速深度神经网络的计算，提出了一种在任意数量的交叉栏上加速DNNs的BasisN框架，通过引入全局基向量的组合表示和量化系数来优化核心计算，从而显著降低了大规模DNNs处理中的周期数和能耗延迟，同时训练和硬件成本也几乎可以忽略不计。

    Jul, 2024

  • StoX-Net：用于高效内存计算的随机处理部分和的DNN加速器

    基于横向栅构建的内存计算是一种应用于深度神经网络硬件加速的有前景的平台，然而能耗和延迟主要由外围模拟数字转换器的巨大开销所决定，为了解决该问题，本文提出了实现数组级部分和的随机处理，借助旋转轨道磁隧道结的概率性切换，该处理方式消除了昂贵的模拟数字转换器，从而在能耗和面积效率上取得了显著改进。

    Jul, 2024