Sep, 2023

通过协同计算内存网络中的频域压缩在边缘处控制模拟数据洪水

PDF
TL;DR通过使用频域学习方法和内存沉浸式协同数字化方法，该研究提出了一种改善深度学习推断任务中的面积效率的新方法，在处理来自传感器和物联网设备的高维多光谱模拟数据方面具有潜在的应用前景。
edge computingcompute-in-memorydeep learningarea efficiencyanalog data
发现论文，激发创造
  • 存储即计算的深度学习区域高效协作数字化

    利用 memory-immersed 方案，在有限的面积内，减少 ADC 硬件开销，提高并行性能和减少外部内存访问。

    Jul, 2023

  • 计算 - 内存：什么、何时、何处

    本文研究了在机器学习推断中将计算内存 (Compute-in-memory, CiM) 技术集成的问题，并通过实验证明了使用 CiM 架构可以提高能源效率，达到低至以 INT-8 精度 0.12 倍能源消耗和重复权重交错技术下最高 4 倍的性能增益，同时提供了关于何种类型 CiM 适合使用以及何时何地最佳集成于缓存层级进行 GEMM 加速的见解。

    Dec, 2023

  • 边缘设备上的分布式深度学习：通过自适应压缩实现可行性

    本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

    Feb, 2017

  • 面向计算内存硬件的深度神经网络架构和配置的联合优化

    使用 CiMNet 框架，通过同时搜索最优子网络和硬件配置来创建下游任务准确性和执行指标（如延迟）的帕累托最优前沿，该框架对于 CNN 和 Transformer 系列的不同模型结构都展现了显著的效果。

    Feb, 2024

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • AnalogNAS: 一种用于准确推断的神经网络设计框架，基于模拟内存计算

    本文提出了一种名为 AnalogNAS 的自动化 DNN 设计框架，目标是部署在模拟内存计算推理加速器上，通过大量的硬件模拟，展示 AnalogNAS 在各种 TinyML 任务上的性能，以及在 64 核 IMC 芯片上实现的模型较 SOTA 模型具有更高的准确性。

    May, 2023

  • 基于边缘的高效模拟内存计算与不确定性量化的医学图像分割

    该研究探讨了新兴的模拟内存计算（AIMC）在医疗人工智能分析中的作用，并改善边缘计算中模型的准确性。通过对比 AIMC 的效率与传统数字计算的局限性，对脑肿瘤分析、脾脏分割和核分割进行了全面评估。研究重点突出了各向同性架构的出色鲁棒性，在模拟感知训练中仅出现最小的准确度下降（0.04），而棱锥体结构则出现显著下降（高达 0.15）。此外，该论文强调了 IMC 的有效数据流水线处理，减少延迟，增加吞吐量，并巧妙地利用 AIMC 内在的噪音来增强模型的确定性。

    Feb, 2024

  • 无需 ADC/DAC 的深度神经网络频率转换模拟加速

    通过利用模拟域基于频率的张量变换，本文提出了一种能够实现能耗高效的频率域神经网络加速方法，包括边缘处理、频域模型压缩、数组微架构和能效提升等关键技术。

    Sep, 2023

  • 面向量化神经网络的高效内存计算硬件：最新技术、挑战与展望

    云处理、边缘处理、内存计算、网络压缩技术、量化神经网络是本研究的主要关键词。本文提供了内存计算量化神经网络的全面回顾，并将软件量化方法与内存计算硬件实现相结合。此外，还提供了挑战、设计要求、建议以及基于内存计算量化神经网络的硬件发展路线图。

    Jul, 2023

  • 神经图像压缩的带宽有效推理

    我们提出了一种端到端可微分的带宽高效神经推理方法，通过神经数据压缩方法对激活进行压缩，可实现高达 19 倍的带宽减少和 6.21 倍的能量节省。

    Sep, 2023