Feb, 2024

面向计算内存硬件的深度神经网络架构和配置的联合优化

PDF
TL;DR使用 CiMNet 框架，通过同时搜索最优子网络和硬件配置来创建下游任务准确性和执行指标（如延迟）的帕累托最优前沿，该框架对于 CNN 和 Transformer 系列的不同模型结构都展现了显著的效果。
compute in-memoryneural architecture searchcimnetsub-networkshardware configurations
发现论文，激发创造
  • 计算 - 内存：什么、何时、何处

    本文研究了在机器学习推断中将计算内存 (Compute-in-memory, CiM) 技术集成的问题，并通过实验证明了使用 CiM 架构可以提高能源效率，达到低至以 INT-8 精度 0.12 倍能源消耗和重复权重交错技术下最高 4 倍的性能增益，同时提供了关于何种类型 CiM 适合使用以及何时何地最佳集成于缓存层级进行 GEMM 加速的见解。

    Dec, 2023

  • 记忆即一切：加速大型语言模型推理的计算于内存架构综述

    大型语言模型的推出带来了自然语言处理领域的重大变革，本文调查了与转换器模型有关的各种 CIM 构架以及它们如何解决现代人工智能计算系统面临的挑战。

    Jun, 2024

  • 用于内存计算的多目标神经架构搜索

    我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过 6.4 亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的 NAS 方法在 IMC 架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。

    Jun, 2024

  • 面向内存计算神经加速器的器件 - 电路 - 体系结构联合探索

    本研究提出跨层设计的 NACIM 框架，将计算在内存中的架构和硬件设计相结合，同时考虑设备差异和电路拓扑，旨在找到具有高网络精度和最大化硬件效率的最有效的神经架构，在存在设备变异的情况下准确率损失最小，能效高达 16.3 TOPs/W，相比不考虑设备变异的现有架构 NACIM 能够降低 76.44%。

    Oct, 2019

  • 面向仅限 CAM 的 DNN 推理的全栈优化

    基于赛道存储器 (RTM) 实现的关联处理器 (APs) 和三值权重神经网络的算法优化结合的新型编译流路，可显著提高 ResNet-18 在 ImageNet 上的能效，同时保持软件准确性。

    Jan, 2024

  • 通过协同计算内存网络中的频域压缩在边缘处控制模拟数据洪水

    通过使用频域学习方法和内存沉浸式协同数字化方法，该研究提出了一种改善深度学习推断任务中的面积效率的新方法，在处理来自传感器和物联网设备的高维多光谱模拟数据方面具有潜在的应用前景。

    Sep, 2023

  • 基于内存计算的用于安全关键系统的神经网络加速器：最坏情况和保护

    对受设备变异影响的 CiM DNN 加速器的最坏情况性能进行确定，并提出一种名为 A-TRICE 的新型最坏情况感知训练技术，通过对抗训练和噪声注入训练有效地改进最坏情况下的 DNN 准确性。

    Dec, 2023

  • 基于大规模开关式忆阻器的计算即存储模块用于深度神经网络训练

    研究了一种使用模拟计算模块和数字系统的混合精度训练方案，在实验中采用了 memristor-based 计算存储内存模块，成功实现了针对大型深度神经网络的有效训练，并评估了模型的抗硬件变化特性。

    May, 2023

  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

    May, 2022

  • 智能存储方块实现可扩展节能的深度学习 Neurostream

    本文提出了一种基于高带宽内存和处理器内存的柔性解决方案，名为 NeuroCluster，可用于深度卷积神经网络的可扩展和节能执行，并实现了最好的能源效率，平均性能为 240 GFLOPS，能源效率为 22.5 GFLOPS/W。

    Jan, 2017