Dec, 2023

U-SWIM: 通用选择性写入验证用于计算内存神经加速器

PDF
TL;DR利用新兴的非易失性存储器设备进行计算存储的架构在深度神经网络加速中具有出色的能效，然而，这些新兴设备在权重映射过程中存在重大变化的挑战，通过我们的研究，我们引入了一种基于二阶导数的新方法 USWIM，可以加速编程达到 10 倍，同时保持类似的准确性。
computing-in-memorynon-volatile memoryneural network accelerationweight mappingprogramming acceleration
发现论文，激发创造
  • 基于内存计算的用于安全关键系统的神经网络加速器：最坏情况和保护

    对受设备变异影响的 CiM DNN 加速器的最坏情况性能进行确定，并提出一种名为 A-TRICE 的新型最坏情况感知训练技术，通过对抗训练和噪声注入训练有效地改进最坏情况下的 DNN 准确性。

    Dec, 2023

  • 负反馈训练：提高 NVCiM DNN 加速器稳健性的新概念

    本研究提出一种新的深度神经网络 DNN 训练方法，利用负反馈机制作为多出口机制来提高神经网络模型对设备变异的鲁棒性，在处理 Compute-in-Memory，非易失性内存，矩阵操作等方面都有很好的性能和效率。

    May, 2023

  • 基于大规模开关式忆阻器的计算即存储模块用于深度神经网络训练

    研究了一种使用模拟计算模块和数字系统的混合精度训练方案，在实验中采用了 memristor-based 计算存储内存模块，成功实现了针对大型深度神经网络的有效训练，并评估了模型的抗硬件变化特性。

    May, 2023

  • 使用 LLMs 进行软硬件协同设计的可行性研究：以 CiM DNN 加速器设计为例

    本研究提出一种使用预先训练的大语言模型（LLM）来加速深度神经网络模型与硬件架构的协同设计优化，由此解决传统方法所遇到的 “冷启动” 问题，实现了 25 倍的速度提升，为深度神经网络在边缘设备上的快速高效部署奠定了基础。

    Jun, 2023

  • TL-nvSRAM-CIM：无直流电源恢复和三值 MAC 运算的超高密度三级 ReRAM 辅助计算 - in-nvSRAM

    为了解决 SRAM-CIM 的内存容量有限的问题，本研究提出了一种 TL-nvSRAM-CIM 方案，通过使用超高密度的三级 ReRAMs 辅助计算，在可靠的权重恢复以及高能效三元 MAC 运算的基础上实现了更高的存储密度和能效。

    Jul, 2023

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 面向计算内存硬件的深度神经网络架构和配置的联合优化

    使用 CiMNet 框架，通过同时搜索最优子网络和硬件配置来创建下游任务准确性和执行指标（如延迟）的帕累托最优前沿，该框架对于 CNN 和 Transformer 系列的不同模型结构都展现了显著的效果。

    Feb, 2024

  • 基于相变存储器模拟硬件的深度神经网络量化以促进权重自校正

    近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。

    Sep, 2023

  • 神经网络的增量验证

    该研究提出了一种基于新颖理论、数据结构和算法设计的增量和完全的 DNN 验证框架，旨在提高完全验证器在更新后的 DNN 上的验证效率。将其实现在名为 IVAN 的工具中，可以在 MNIST 和 CIFAR10 分类器上实现总体几何平均加速比为 2.4 倍，在 ACAS-XU 分类器上实现总体几何平均加速比为 3.8 倍。

    Apr, 2023

  • 深度学习中可扩展高效的不确定性估计和降低方法

    部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战，该研究论文总结了一项 (四年级) 博士论文工作，该工作探索了深度学习中可扩展和高效的方法，包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案，包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率，从而增加了神经网络实现的可靠性和鲁棒性。

    Jan, 2024