DAISM: DNN 训练和推理的数字近似 In-SRAM 乘法器加速器

May, 2023

DAISM: DNN 训练和推理的数字近似 In-SRAM 乘法器加速器

DAISM: Digital Approximate In-SRAM Multiplier-based Accelerator for DNN Training and Inference

Lorenzo Sonnino, Shaswot Shresthamali, Yuan He, Masaaki Kondo

TL;DR本文提出了一种在 SRAM 中进行矩阵乘法运算的新型数字乘法器，配合 DAISM 加速器对卷积神经网络进行加速，在减小了能量消耗并提高了性能的同时，避免了位串行计算的性能瓶颈。

Abstract

DNNs are one of the most widely used deep learning models. The matrix multiplication operations for DNNs incur significant computational costs and are bottlenecked by data movement between the memory and the processing elements. Many specialized accelerators have been proposed to optim

deep learning processing-in-memory gemm in-sram multiplier convolutional neural networks

发现论文，激发创造

DDC-PIM: 将 SRAM 内存中的处理与内存功效合并以提高数据处理能力的高效算法 / 架构共同设计

提出了一种名为 DDC-PIM 的算法 / 架构协同设计方法，通过最大化每个 SRAM 单元的数据容量，有效地使等效数据容量翻倍，相较于 PIM 基准实现，DDC-PIM 在 MobileNetV2 上达到 2.84 倍加速，在 EfficientNet-B0 上达到 2.69 倍加速，无明显准确度损失，并且与最先进的基于 SRAM 的 PIM 宏相比，DDC-PIM 在重量密度和面积效率上分别达到 8.41 倍和 2.75 倍的改善。

Oct, 2023

TIMELY: 将 PIM 加速器中的数据移动和接口推向本地和时域

本文提出一种名为 TIMELY 的创新性处理内存加速器，通过采用模拟数据局部性、时域接口和仅一次输入读取的映射方法，最大限度地提高了能效，并在能效、计算密度和吞吐量上优于已有的 R$^2$PIM 加速器。

May, 2020

一种 ReRAM 模拟神经训练加速器的能量、延迟、面积和准确性的多尺度共设计分析

该研究详细分析了使用模拟电阻式存储器（ReRAM）跨栅执行关键矩阵操作以提高加速器性能，并与使用数字 ReRAM 和 SRAM 操作的相关设计进行了比较。结果显示，与类似的数字版加速器块相比，该模拟加速器具有能效更高的优势，并且可以成为进一步架构研究的基础。

Jul, 2017

存储即计算的深度学习区域高效协作数字化

利用 memory-immersed 方案，在有限的面积内，减少 ADC 硬件开销，提高并行性能和减少外部内存访问。

Jul, 2023

一种采用低成本 DAC/ADC 操作的基于电荷域 P-8T SRAM 计算存储体实现的 4 位输入处理方案

该论文提出了一种低成本的基于 PMOS 的 8T SRAM Compute-In-Memory 架构，用于高效地执行 4 位输入激活和 8 位权重之间的乘加操作，并成功利用了位线电荷共享技术和模拟计算来进行数字模拟转换和模拟乘法。

Nov, 2022

基于大规模开关式忆阻器的计算即存储模块用于深度神经网络训练

研究了一种使用模拟计算模块和数字系统的混合精度训练方案，在实验中采用了 memristor-based 计算存储内存模块，成功实现了针对大型深度神经网络的有效训练，并评估了模型的抗硬件变化特性。

May, 2023

一种用于多位和大规模向量矩阵乘法的全模拟存储计算架构

通过引入 In-charge computing 和 In-time interconnection 的创新 AiMC 架构 AiDAC，提高了多位计算效率，减少了数据转换时间，支持大规模的全模拟多位向量矩阵乘法运算，并保持高精度计算，同时具备高并行性、低延迟和高能效优势。

Dec, 2023

利用分布式内存驱动多核处理器加速稀疏和循环模型的训练

通过在分布式本地内存上使用稀疏和循环模型训练方法，我们观察到与 GPU 相比，使用 MIMD 处理器 (Intelligence Processing Unit) 的稀疏激活张量在训练负载上实现了 5-10 倍的吞吐量增益，且在训练收敛或最终模型性能上没有明显减慢。

Nov, 2023

面向深度学习工作负载的数据流感知 PIM 启用多核架构

设计原则和挑战研究了用于深度学习的数据流感知、处理器内存结合的多核平台。

Mar, 2024

HEAM：用于深度神经网络的高效近似乘法器优化

本研究提出了一种针对近似乘法器的优化方法，通过操作数分布最小化平均误差。我们的方法在 DNN 中获得比已有的最佳近似乘法器高达 50.24% 的精度、15.76% 更小的面积、25.05% 较少的电功率消耗和 3.50% 较短的延迟。与精确乘法器相比，我们的方法可以减少 44.94% 的面积、47.63% 的电功率消耗和 16.78% 的延迟，同时精度损失可以忽略不计。在测试的 DNN 加速模块中，我们的乘法器比原始模块面积小 18.70%、电功率消耗少 9.99%。

Jan, 2022