StoX-Net：用于高效内存计算的随机处理部分和的DNN加速器

Jul, 2024

StoX-Net：用于高效内存计算的随机处理部分和的DNN加速器

StoX-Net: Stochastic Processing of Partial Sums for Efficient In-Memory Computing DNN Accelerators

Ethan G Rogers, Sohan Salahuddin Mugdho, Kshemal Kshemendra Gupte, Cheng Wang

TL;DR基于横向栅构建的内存计算是一种应用于深度神经网络硬件加速的有前景的平台，然而能耗和延迟主要由外围模拟数字转换器的巨大开销所决定，为了解决该问题，本文提出了实现数组级部分和的随机处理，借助旋转轨道磁隧道结的概率性切换，该处理方式消除了昂贵的模拟数字转换器，从而在能耗和面积效率上取得了显著改进。

Abstract

Crossbar-based in-memory computing (IMC) has emerged as a promising platform for hardware acceleration of deep neural networks (DNNs). However, the energy and latency of IMC systems are dominated by the large ove

发现论文，激发创造

通过多级原位生成实现内存高效神经网络

本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率10-20倍。

Aug, 2021

探讨使用Batchnorm优化在内存计算中缓解不同硬件噪声的作用和限制

本文研究了模拟交叉开关中的非理想误差，通过在线优化进行微调，以减少训练成本和内存，并减少量化误差和非理想误差，提高深度神经网络的性能。

May, 2023

评估STT-MRAM作为ML加速器训练中的刮板

这项研究综合评估和优化了STT-MRAM在机器学习训练加速器设计中的有效性，提出了异构内存配置使得训练能够以好的准确性达到收敛，展示了MRAM在各种DNN基准测试中在系统级能量消耗方面提供了15-22倍的改进，并将STT-MRAM的写操作进一步优化，使得写入能量提高了2倍而应用级训练准确性降低最小。

Aug, 2023

无需ADC/DAC的深度神经网络频率转换模拟加速

通过利用模拟域基于频率的张量变换，本文提出了一种能够实现能耗高效的频率域神经网络加速方法，包括边缘处理、频域模型压缩、数组微架构和能效提升等关键技术。

Sep, 2023

一种用于多位和大规模向量矩阵乘法的全模拟存储计算架构

通过引入In-charge computing和In-time interconnection的创新AiMC架构AiDAC，提高了多位计算效率，减少了数据转换时间，支持大规模的全模拟多位向量矩阵乘法运算，并保持高精度计算，同时具备高并行性、低延迟和高能效优势。

Dec, 2023

基于交叉栅极模拟内存加速器的ADC效率提升的修剪方法

通过识别三个关键属性，我们提出了一种适用于ADC特定效率低下问题的剪枝方法，实现ADC能量的降低并减少精度损失，从而提高深度学习效率。

Mar, 2024

ARTEMIS：Transformer神经网络的混合模拟-随机In-DRAM加速器

通过使用 PIM/NMC 架构以及利用新型的 in-DRAM 金属-金属电容器支持随机计算和时间模拟累加，我们提出了 ARTEMIS，一个用于 Transformer 模型的混合模拟-随机的 in-DRAM 加速器，通过对传统 DRAM 数组进行最小化改变，ARTEMIS 在执行 Transformer 模型时高效地减轻了相关成本，相较于 GPU、TPU、CPU 和先进的 PIM Transformer 硬件加速器，ARTEMIS 达到了至少 3.0 倍的加速、1.8 倍低能量消耗以及 1.9 倍更好的能效。

Jul, 2024

存储技术在神经突触交叉阵列中的比较评估- 第二部分：设计因素与DNN准确性趋势

本研究针对存储技术在深度神经网络（DNN）加速中的硬件非理想性对DNN准确性的影响，提出了交叉层设计解决方案。通过分析不同设计因素对4种存储技术（8T SRAM、铁电晶体管FeFET、阻抗RAM和自旋轨道扭矩磁RAM）的性能影响，研究发现部分字线激活（PWA）和自定义ADC参考电平能够显著提高DNN的推理准确性，PWA最多提升32.56%的准确率。

Aug, 2024

内存计算中的近似模数转换器

本研究针对传统模数转换器（ADC）在内存计算架构中占用大量计算功耗和区域的问题，提出了一种新的设计方法。通过在深度学习模型的训练中考虑ADC的不理想性，显著简化了混合信号内存计算单元的设计，并提高了系统的整体效率和可行性。

Aug, 2024

通过混合梯度计算训练数字绑定的模拟模块

本研究解决了标准数字电子领域的能效停滞问题，提出混合模型“前馈绑定的基于能量的模型（ff-EBMs）”，结合了前馈和基于能量的模块以适应数字和模拟电路。此外，我们提出了一种新算法，通过反向传播和“平衡传播”来计算ff-EBMs的梯度，实验证明该方法在ImageNet32上的表现达到了新的SOTA水平，为将自训练的模拟计算模块整合入现有数字加速器提供了可行的路径。

Sep, 2024