Jul, 2023

通过使用右截尾高斯噪声进行训练，提升 NVCiM DNN 加速器的实际最差情况性能

PDF
TL;DR使用非易失性存储器构建的计算内存（CiM）在加速深度神经网络（DNNs）方面具有潜力，但由于设备变异，训练有素的模型参数在映射到 NVM 设备后常常出现较大偏差，导致这些基于 CiM 的 DNN 加速器性能显著下降。本文提出使用 k-th 百分位性能（KPP）来捕捉 CiM 加速器上 DNN 模型实际最坏情况的性能，通过对 KPP 和基于噪声注入的 DNN 训练性质进行形式化分析，我们证明注入新的右修剪高斯噪声，相比传统高斯噪声，显著改善了 DNN 的 KPP。同时，我们还提出了一种自动确定训练过程中注入这种右修剪高斯噪声的最佳超参数的方法。与增强 DNN 鲁棒性方法相比，我们的方法在 KPP 上改进了最高达 26％的性能。
compute-in-memorynon-volatile memorydeep neural networksworst-case performancedevice variations
发现论文，激发创造
  • 基于内存计算的用于安全关键系统的神经网络加速器：最坏情况和保护

    对受设备变异影响的 CiM DNN 加速器的最坏情况性能进行确定，并提出一种名为 A-TRICE 的新型最坏情况感知训练技术，通过对抗训练和噪声注入训练有效地改进最坏情况下的 DNN 准确性。

    Dec, 2023

  • 负反馈训练：提高 NVCiM DNN 加速器稳健性的新概念

    本研究提出一种新的深度神经网络 DNN 训练方法，利用负反馈机制作为多出口机制来提高神经网络模型对设备变异的鲁棒性，在处理 Compute-in-Memory，非易失性内存，矩阵操作等方面都有很好的性能和效率。

    May, 2023

  • 深度学习中可扩展高效的不确定性估计和降低方法

    部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战，该研究论文总结了一项 (四年级) 博士论文工作，该工作探索了深度学习中可扩展和高效的方法，包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案，包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率，从而增加了神经网络实现的可靠性和鲁棒性。

    Jan, 2024

  • PowerGAN: 基于机器学习的针对计算内存加速器的电源侧信道攻击

    本文研究了基于模拟电路的形式的计算方法 ——analog compute-in-memory (CIM)，分析了针对 CIM 的深度神经网络 (DNN) 推断过程中，用户输入数据被攻击者利用功率侧信道攻击进行的隐私泄露风险及利用生成式对抗网络这一方法进行的攻击重构方法。本研究结果表明即使在被预处理和加噪声处理的情况下，攻击方法都可以有效地重建用户的输入数据，并通过大量实验进行了证明，在 MRI 医学图像的脑肿瘤检测中的应用有效。

    Apr, 2023

  • 少样本测试：使用贝叶斯测试向量估计记忆电阻深度神经网络的不确定性

    在硬件加速器中实现基于神经网络的计算芯片的性能、缺陷与测试向量生成方法的改进和优化问题研究

    May, 2024

  • 面向计算内存硬件的深度神经网络架构和配置的联合优化

    使用 CiMNet 框架，通过同时搜索最优子网络和硬件配置来创建下游任务准确性和执行指标（如延迟）的帕累托最优前沿，该框架对于 CNN 和 Transformer 系列的不同模型结构都展现了显著的效果。

    Feb, 2024

  • 基于大规模开关式忆阻器的计算即存储模块用于深度神经网络训练

    研究了一种使用模拟计算模块和数字系统的混合精度训练方案，在实验中采用了 memristor-based 计算存储内存模块，成功实现了针对大型深度神经网络的有效训练，并评估了模型的抗硬件变化特性。

    May, 2023

  • 神经网络量化的噪声注入和夹紧估计（NICE）

    本文提出了一种通过噪声注入和学习夹紧来训练量化神经网络的方法，可显著加速卷积神经网络在 FPGA 上的运行速度，同时提高其准确性。

    Sep, 2018

  • 在实际的内存处理系统上加速图神经网络

    图神经网络（GNNs）是分析图结构数据的新兴机器学习模型。本研究提出了一个高效的 ML 框架 PyGim，通过在实际的 PIM 系统中加速 GNNs，解决了 GNNs 中内存密集型核心所面临的数据移动瓶颈。通过提供混合 GNN 执行，我们证明 PyGim 在比特尔至强 CPU 上的性能平均提升了 3.04 倍，并实现了比 CPU 和 GPU 系统更高的资源利用率。该研究为软件、系统和硬件设计者提供了有价值的建议，并将开源 PyGim 以推动 PIM 系统在 GNNs 中的广泛应用。

    Feb, 2024

  • 基于分布偏移检测的深度神经网络的单次在线测试

    本篇论文提出了一种一次性测试方案，可以在使用 memristive crossbars 加速的神经网络中执行有效的失效测试，且只需一个测试向量，这可以有效减少内存开销和测试向量数量，同时提高失效覆盖率。

    May, 2023