Apr, 2024

层次集成平均以提高基于忆阻器的人工神经网络性能

PDF
TL;DR这项研究提出并实验性地展示了一种层集成平均的技术，通过将预先训练的神经网络解决方案从软件映射到有缺陷的硬件交叉栅极存储器上，可可靠地达到接近软件性能的推理表现。研究结果表明，通过牺牲层映射所需的设备数量，层集成平均可以可靠地提升缺陷忆阻网络的性能，与软件基准相比，多任务分类准确率从 61% 提高到 72%（不到软件基准的 1%）。
artificial neural networksscaling dimensionsvon neumann bottleneckin-memory computation architectureslayer ensemble averaging
发现论文，激发创造
  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 基于记忆元件的神经形态硬件在神经网络应用中的研究

    本研究通过利用 memristive 和 memcapacitive 交叉阵列在低功耗机器学习加速器中的应用，提供了一个综合的深度神经网络 (DNN) 的共同设计框架；该模型采用混合 Python 和 PyTorch 方法实现，考虑了各种非理想因素，在 8 层 VGG 网络上，对 CIFAR-10 数据集分别使用 memristive 和 memcapacitive 交叉阵列，实现了卓越的训练准确率 (90.02% 和 91.03%)；此外，本文还引入了一种使用运算跨导放大器 (OTA) 和电容器模拟 meminductor 设备的新方法，展示了可调节的行为；在 60 MHz 下，180 nm CMOS 技术的晶体管级仿真表明所提出的 meminductor 模拟器具有 0.337 mW 的功耗，进一步在神经形态电路和 CNN 加速器中进行了验证，训练和测试准确率分别达到了 91.04% 和 88.82%，值得注意的是，仅使用 MOS 晶体管确保了单片 IC 制造的可行性，这项研究为探索高效和高性能的机器学习应用的先进硬件解决方案作出了重大贡献。

    Mar, 2024

  • 多层电阻变换器实现的突触元可塑性

    本研究提出了一种基于 memristor 的硬件架构，实现了 QNNs 的元可塑性，并验证了其在 MNIST 和 Fashion-MNIST 上的有效性和鲁棒性。

    Jun, 2023

  • 基于忆阻体系的时序预测和序列学习

    使用基于忆阻器的回声状态网络加速器，在边缘设备上进行高效的时间序列数据处理和在线学习，与软件模型相比性能仅下降约 4.8%，并实现了 246 倍的能源消耗降低。

    May, 2024

  • 少样本测试：使用贝叶斯测试向量估计记忆电阻深度神经网络的不确定性

    在硬件加速器中实现基于神经网络的计算芯片的性能、缺陷与测试向量生成方法的改进和优化问题研究

    May, 2024

  • BatchEnsemble: 一种高效集成和终身学习的替代方法

    本文提出了一种名为 BatchEnsemble 的集成方法，其计算和内存成本比典型集成方法低得多，可以在多个设备上并行计算，具有较高的准确性和良好的不确定性，适用于终身学习任务。

    Feb, 2020

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 快照集成: 1 次训练，多个模型

    本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

    Apr, 2017

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • 基于分布偏移检测的深度神经网络的单次在线测试

    本篇论文提出了一种一次性测试方案，可以在使用 memristive crossbars 加速的神经网络中执行有效的失效测试，且只需一个测试向量，这可以有效减少内存开销和测试向量数量，同时提高失效覆盖率。

    May, 2023