Jan, 2024

CLSA-CIM: 计算内存架构中的跨层调度方法

PDF
TL;DR在本文中，我们介绍了一种适用于瓦片式计算内存架构的跨层调度算法 CLSA-CIM，通过将其与现有的权重映射策略相结合，与最先进的调度算法进行性能比较，提高了最多 17.9 倍的利用率，从而使整体速度提高了最多 29.2 倍。
machine learning acceleratorsresistive random access memory (rram)computing-in-memory (cim) architecturescompiler algorithmscross-layer scheduling
发现论文，激发创造
  • CIM-MLC：面向计算 - 内存加速器的多级编译框架

    CIM-MLC 是一个通用的多层次编译框架，用于支持计算内存架构，能够编译任务到各种具有不同设备、架构和编程接口的计算内存加速器，并通过跨多个层次的映射和调度策略，实现更好的调度和指令生成结果。

    Jan, 2024

  • 记忆即一切：加速大型语言模型推理的计算于内存架构综述

    大型语言模型的推出带来了自然语言处理领域的重大变革，本文调查了与转换器模型有关的各种 CIM 构架以及它们如何解决现代人工智能计算系统面临的挑战。

    Jun, 2024

  • 计算 - 内存：什么、何时、何处

    本文研究了在机器学习推断中将计算内存 (Compute-in-memory, CiM) 技术集成的问题，并通过实验证明了使用 CiM 架构可以提高能源效率，达到低至以 INT-8 精度 0.12 倍能源消耗和重复权重交错技术下最高 4 倍的性能增益，同时提供了关于何种类型 CiM 适合使用以及何时何地最佳集成于缓存层级进行 GEMM 加速的见解。

    Dec, 2023

  • 面向计算内存硬件的深度神经网络架构和配置的联合优化

    使用 CiMNet 框架，通过同时搜索最优子网络和硬件配置来创建下游任务准确性和执行指标（如延迟）的帕累托最优前沿，该框架对于 CNN 和 Transformer 系列的不同模型结构都展现了显著的效果。

    Feb, 2024

  • 为减少 DNN 加速器的片外数据访问而结合调度、内存分配和张量替换

    通过一个名为 COSMA 的优化框架，我们能够在专用硬件加速器上为 DNNs 找到最佳的操作调度、内存分配和张量替换方式，从而最小化额外数据访问，同时通过分而治之的启发式方法可以将复杂 DNNs 的数据访问降低 85% 以上。

    Nov, 2023

  • 面向仅限 CAM 的 DNN 推理的全栈优化

    基于赛道存储器 (RTM) 实现的关联处理器 (APs) 和三值权重神经网络的算法优化结合的新型编译流路，可显著提高 ResNet-18 在 ImageNet 上的能效，同时保持软件准确性。

    Jan, 2024

  • TL-nvSRAM-CIM：无直流电源恢复和三值 MAC 运算的超高密度三级 ReRAM 辅助计算 - in-nvSRAM

    为了解决 SRAM-CIM 的内存容量有限的问题，本研究提出了一种 TL-nvSRAM-CIM 方案，通过使用超高密度的三级 ReRAMs 辅助计算，在可靠的权重恢复以及高能效三元 MAC 运算的基础上实现了更高的存储密度和能效。

    Jul, 2023

  • 面向内存计算神经加速器的器件 - 电路 - 体系结构联合探索

    本研究提出跨层设计的 NACIM 框架，将计算在内存中的架构和硬件设计相结合，同时考虑设备差异和电路拓扑，旨在找到具有高网络精度和最大化硬件效率的最有效的神经架构，在存在设备变异的情况下准确率损失最小，能效高达 16.3 TOPs/W，相比不考虑设备变异的现有架构 NACIM 能够降低 76.44%。

    Oct, 2019

  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

    May, 2022

  • 用于内存计算的多目标神经架构搜索

    我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过 6.4 亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的 NAS 方法在 IMC 架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。

    Jun, 2024