Jan, 2024

面向仅限 CAM 的 DNN 推理的全栈优化

PDF
TL;DR基于赛道存储器 (RTM) 实现的关联处理器 (APs) 和三值权重神经网络的算法优化结合的新型编译流路，可显著提高 ResNet-18 在 ImageNet 上的能效，同时保持软件准确性。
neural networkscomputing-in-memory systemsalgorithmic optimizationsassociative processorsracetrack memory
发现论文，激发创造
  • 面向计算内存硬件的深度神经网络架构和配置的联合优化

    使用 CiMNet 框架，通过同时搜索最优子网络和硬件配置来创建下游任务准确性和执行指标（如延迟）的帕累托最优前沿，该框架对于 CNN 和 Transformer 系列的不同模型结构都展现了显著的效果。

    Feb, 2024

  • 记忆即一切：加速大型语言模型推理的计算于内存架构综述

    大型语言模型的推出带来了自然语言处理领域的重大变革，本文调查了与转换器模型有关的各种 CIM 构架以及它们如何解决现代人工智能计算系统面临的挑战。

    Jun, 2024

  • 内存模拟计算架构与张量处理单元的异构集成

    提出了一种新颖的异构混合信号混合精度架构，将 IMAC 单元与边缘 TPU 集成以提高移动 CNN 性能，借助 TPUs 卷积层和 IMAC 电路密集层的优势，设计了一种统一的混合精度训练算法，模拟结果表明，TPU-IMAC 构型在各种 CNN 模型中实现了高达 2.59 倍的性能提升和 88％的内存减少，同时保持了可比较的准确性。该架构对于边缘计算和移动设备中的实时处理等需要能源效率和高性能的应用具有潜在的影响。

    Apr, 2023

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • RACE-IT: 用于内存中 Transformer 加速的可重构模拟 CAM - 交叉栏引擎

    Transformer 模型使用我们提出的 Compute-ACAM 结构以及使用模拟输入和数字输出的能力，通过在模拟域内对 Transformer 模型中的所有操作进行高效执行来提高性能，并大大降低能耗。

    Nov, 2023

  • TIMELY: 将 PIM 加速器中的数据移动和接口推向本地和时域

    本文提出一种名为 TIMELY 的创新性处理内存加速器，通过采用模拟数据局部性、时域接口和仅一次输入读取的映射方法，最大限度地提高了能效，并在能效、计算密度和吞吐量上优于已有的 R$^2$PIM 加速器。

    May, 2020

  • 边缘可持续 AI 处理

    本研究比较探讨了卷积神经网络加速引擎对于边缘计算的可持续性及其对推理和在线训练的影响，特别关注了处理内存、移动 GPU 加速器和新型 Racetrack 存储器的使用。研究表明，采用更加可持续的处理器内存和移动 GPU 加速器可以有效减少计算的能源占用率。

    Jul, 2022

  • 智能存储方块实现可扩展节能的深度学习 Neurostream

    本文提出了一种基于高带宽内存和处理器内存的柔性解决方案，名为 NeuroCluster，可用于深度卷积神经网络的可扩展和节能执行，并实现了最好的能源效率，平均性能为 240 GFLOPS，能源效率为 22.5 GFLOPS/W。

    Jan, 2017

  • 基于内存计算的用于安全关键系统的神经网络加速器：最坏情况和保护

    对受设备变异影响的 CiM DNN 加速器的最坏情况性能进行确定，并提出一种名为 A-TRICE 的新型最坏情况感知训练技术，通过对抗训练和噪声注入训练有效地改进最坏情况下的 DNN 准确性。

    Dec, 2023

  • 计算 - 内存：什么、何时、何处

    本文研究了在机器学习推断中将计算内存 (Compute-in-memory, CiM) 技术集成的问题，并通过实验证明了使用 CiM 架构可以提高能源效率，达到低至以 INT-8 精度 0.12 倍能源消耗和重复权重交错技术下最高 4 倍的性能增益，同时提供了关于何种类型 CiM 适合使用以及何时何地最佳集成于缓存层级进行 GEMM 加速的见解。

    Dec, 2023