KDDSep, 2023

关于模拟计算的非结合性

PDF
TL;DR电流计算在能效方面表现出色，然而由于缺乏离散化的安全网，存在多种实现上的缺陷，如非线性、饱和效应和各种噪声。本研究观察到模拟操作的输入操作数的顺序也对输出结果有影响，这使得模拟计算非关联，即使底层操作可能在数学上是关联的。通过创建一个捕捉顺序效应的实际模拟处理器模型，本文对此进行了简单测试，并通过比较关键词识别神经网络的测试精度来评估顺序的重要性，其中网络基于有序模型、无序变体或实际硬件进行训练。结果证明了顺序效应的存在以及其高影响，因为忽略顺序会导致显著的精度降低。
energy efficiencyanalog computingresource-constrained systemordering effectsneural network
发现论文，激发创造
  • 面向机器学习的扩展性偏差近存储 CMOS 模拟处理器

    本文介绍了一种基于 S-AC 的偏置可扩展的模拟计算电路，其可以用于多种不同功耗和性能需求的机器学习（ML）应用，并且可以在 180nm 的 CMOS 工艺下实现近存储计算、非线性激活、内积计算、数模混合压缩存储等多个功能，同时也证明了电路模块的鲁棒性以及计算精度的影响效果。

    Feb, 2022

  • 基于模拟内存计算的精确基于梯度的训练

    基于模拟设备的梯度训练是一种能耗更低的人工智能解决方案，该论文通过研究模拟加速器上的梯度训练，提出了一个理论基础，并介绍了一种名为 Tiki-Taka 的启发式模拟算法，该算法能够快速收敛到关键点，消除了渐近误差。

    Jun, 2024

  • 模拟深度学习的前景：最新进展、挑战和机遇

    本研究对八种不同的类比深度学习方法在多个关键参数上进行了全面的评估和说明，包括达到的准确性水平、应用领域、算法进步、计算速度以及能量效率和功耗的考虑。我们还通过对不同类比深度学习方法实现的神经网络实验的比较性能和当前限制的分析，发现类比深度学习在未来的消费级应用具有巨大潜力，但在可扩展性方面仍有很长的路要走。大多数当前的实现更多是概念验证，尚不能实际应用于大规模模型。

    Jun, 2024

  • AnalogNAS: 一种用于准确推断的神经网络设计框架，基于模拟内存计算

    本文提出了一种名为 AnalogNAS 的自动化 DNN 设计框架，目标是部署在模拟内存计算推理加速器上，通过大量的硬件模拟，展示 AnalogNAS 在各种 TinyML 任务上的性能，以及在 64 核 IMC 芯片上实现的模型较 SOTA 模型具有更高的准确性。

    May, 2023

  • 一种 ReRAM 模拟神经训练加速器的能量、延迟、面积和准确性的多尺度共设计分析

    该研究详细分析了使用模拟电阻式存储器（ReRAM）跨栅执行关键矩阵操作以提高加速器性能，并与使用数字 ReRAM 和 SRAM 操作的相关设计进行了比较。结果显示，与类似的数字版加速器块相比，该模拟加速器具有能效更高的优势，并且可以成为进一步架构研究的基础。

    Jul, 2017

  • 优化模拟人工智能的随机阻性存储裁剪

    通过软硬件协同设计和内存计算优化随机加权模拟阻性存储神经网络的拓扑结构，提高了基于模拟计算的人工智能硬件的能效和分类性能。

    Nov, 2023

  • 精密且容错的模拟神经网络蓝图

    通过使用残余数系统（RNS），我们研究表明，利用 RNS 基于方法的模拟加速器在只使用 6 位精度的数据转换器的情况下，可以实现优于 FP32 精度的 99% 以上的先进 DNN 推断，而传统的模拟核在相同的 DNN 中需要超过 8 位的精度才能达到同样的准确性。此外，我们还使用 RNS 扩展了该方法到 DNN 训练中，可以使用 7 位整数运算高效地训练 DNN，并达到与 FP32 精度相媲美的准确性。最后，我们提出了一种容错数据流，利用冗余 RNS 纠错码保护计算，以应对模拟加速器中的噪声和误差。

    Sep, 2023

  • 混沌奇异吸引子的机器学习

    利用混沌非线性吸引子实现低功耗的模拟计算方法，作为机器学习任务的通用平台提供卓越的性能，能够以毫瓦级功率与当前机器学习技术媲美，适用于聚类、回归和分类学习任务。

    Sep, 2023

  • 无处理器的机器学习：非线性电子超材料中的新兴学习

    基于晶体管的自适应非线性电子网络的非线性学习超材料能够在不需计算机的情况下实现线性系统无法实现的任务，具有快速、低功耗计算潜力，适用于边缘系统如传感器、机器人控制器和医疗设备等，并可以进行大规模制造和研究新兴学习方法。

    Nov, 2023

  • 基于边缘的高效模拟内存计算与不确定性量化的医学图像分割

    该研究探讨了新兴的模拟内存计算（AIMC）在医疗人工智能分析中的作用，并改善边缘计算中模型的准确性。通过对比 AIMC 的效率与传统数字计算的局限性，对脑肿瘤分析、脾脏分割和核分割进行了全面评估。研究重点突出了各向同性架构的出色鲁棒性，在模拟感知训练中仅出现最小的准确度下降（0.04），而棱锥体结构则出现显著下降（高达 0.15）。此外，该论文强调了 IMC 的有效数据流水线处理，减少延迟，增加吞吐量，并巧妙地利用 AIMC 内在的噪音来增强模型的确定性。

    Feb, 2024