Jul, 2023

利用 IBM 模拟内存硬件加速套件进行神经网络训练与推理

PDF
TL;DR将深度神经网络（DNN）适应并应用于模拟进存内计算（AIMC）芯片以达到数字计算相似精确度的过程可以通过 IBM 模拟硬件加速套件（AIHWKit）进行实现和评估。AIHWKit 是一个模拟使用 AIMC 进行 DNN 推理和训练的 Python 库，本教程介绍了 AIHWKit 的设计、功能以及正确进行推理和训练的最佳实践，同时也提供了一个完全托管的云环境 Analog AI Cloud Composer 来使用 AIHWKit 模拟平台的优势，并展示用户如何扩展和自定义 AIHWKit。
analog in-memory computingdeep neural networkibm analog hardware acceleration kitaimc chipsanalog ai cloud composer
发现论文，激发创造
  • 基于边缘的高效模拟内存计算与不确定性量化的医学图像分割

    该研究探讨了新兴的模拟内存计算（AIMC）在医疗人工智能分析中的作用，并改善边缘计算中模型的准确性。通过对比 AIMC 的效率与传统数字计算的局限性，对脑肿瘤分析、脾脏分割和核分割进行了全面评估。研究重点突出了各向同性架构的出色鲁棒性，在模拟感知训练中仅出现最小的准确度下降（0.04），而棱锥体结构则出现显著下降（高达 0.15）。此外，该论文强调了 IMC 的有效数据流水线处理，减少延迟，增加吞吐量，并巧妙地利用 AIMC 内在的噪音来增强模型的确定性。

    Feb, 2024

  • AnalogNAS: 一种用于准确推断的神经网络设计框架，基于模拟内存计算

    本文提出了一种名为 AnalogNAS 的自动化 DNN 设计框架，目标是部署在模拟内存计算推理加速器上，通过大量的硬件模拟，展示 AnalogNAS 在各种 TinyML 任务上的性能，以及在 64 核 IMC 芯片上实现的模型较 SOTA 模型具有更高的准确性。

    May, 2023

  • 一种用于模拟内存计算的精密优化定点近存数字处理单元

    基于固定点算术的近存储数字处理单元（NMPU）在采用模拟内存计算芯片的模拟系统中展现了优越的性能，包括 139 倍的加速、7.8 倍的较小面积和竞争力的功耗，并实现了与浮点 16 位算术基准相比仅仅 0.12%/0.4% 的推断精度损失。

    Feb, 2024

  • 一种用于多位和大规模向量矩阵乘法的全模拟存储计算架构

    通过引入 In-charge computing 和 In-time interconnection 的创新 AiMC 架构 AiDAC，提高了多位计算效率，减少了数据转换时间，支持大规模的全模拟多位向量矩阵乘法运算，并保持高精度计算，同时具备高并行性、低延迟和高能效优势。

    Dec, 2023

  • 内存模拟计算架构与张量处理单元的异构集成

    提出了一种新颖的异构混合信号混合精度架构，将 IMAC 单元与边缘 TPU 集成以提高移动 CNN 性能，借助 TPUs 卷积层和 IMAC 电路密集层的优势，设计了一种统一的混合精度训练算法，模拟结果表明，TPU-IMAC 构型在各种 CNN 模型中实现了高达 2.59 倍的性能提升和 88％的内存减少，同时保持了可比较的准确性。该架构对于边缘计算和移动设备中的实时处理等需要能源效率和高性能的应用具有潜在的影响。

    Apr, 2023

  • 基于相变存储器模拟硬件的深度神经网络量化以促进权重自校正

    近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。

    Sep, 2023

  • AI 模型效能工具包 (AIMET) 在神经网络量化中的应用

    本文介绍了使用 AI Model Efficiency Toolkit (AIMET) 进行神经网络量化的概述，其中 AIMET 包括多种基于 PyTorch 和 TensorFlow 的后训练量化和量化感知训练技术，可保证 8 位定点推理的接近浮点精度，并提供关于 PTQ 和 QAT 工作流程，代码示例和实用技巧的实用指南，以便用户有效地量化模型并获得低位整数推理的好处。

    Jan, 2022

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 面向量化神经网络的高效内存计算硬件：最新技术、挑战与展望

    云处理、边缘处理、内存计算、网络压缩技术、量化神经网络是本研究的主要关键词。本文提供了内存计算量化神经网络的全面回顾，并将软件量化方法与内存计算硬件实现相结合。此外，还提供了挑战、设计要求、建议以及基于内存计算量化神经网络的硬件发展路线图。

    Jul, 2023

  • 使用抽象计算机体系结构描述语言建模 AI 硬件加速器

    人工智能通过深度神经网络持续增长，为了充分发挥其潜力，特定的硬件加速器成为必需品。本文介绍了如何使用抽象计算机体系结构描述语言（ACADL）对人工智能硬件加速器进行建模，并使用它们的描述将深度神经网络映射到加速器上，进而解释时间模拟语义来获取性能结果。

    Jan, 2024