Jun, 2023

NeuralFuse: 在低电压环境下学习提高访问受限神经网络推理准确性

PDF
TL;DR本文介绍了一种名为 NeuralFuse 的新模块，它通过学习输入变换以生成抗错误数据表示来解决廉价电压下 DNNs 性能 - 能耗平衡问题，无需重新训练模型即可在 2.7-5 倍降低内存访问能耗，同时提高 57％的准确性。
发现论文，激发创造
  • EnforceSNN: 基于近似 DRAM 的嵌入式系统中实现具有韧性和节能的脉冲神经网络推理

    本文提出了一种名为 EnforceSNN 的新型设计框架，通过降低 DRAM 供电电压，通过采用量化权重、高效的 DRAM 映射策略、分析神经网络容错性、开发高效的容错训练机制以及选择网络模型优化网络精度、内存和能量消耗等机制，实现在嵌入式系统中 SNN 推断的鲁棒能量效率，同时进行了实验验证。

    Apr, 2023

  • NullaNet：用于减少内存访问推理的深度神经网络训练

    使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

    Jul, 2018

  • 基于 ReRAM 的 Transformer 语言模型的零空间成本容错技术

    本文提出了一种零空间成本的容错机制，通过可微结构修剪、权重复制和投票以及嵌入最显著位（MSBs）到模型权重中，有效减少了硬件故障对模型预测的影响，并通过在 GLUE 基准的九个任务上使用 BERT 模型进行实验验证了该方法的有效性。

    Jan, 2024

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • 低功耗近阈值处理器上的大小适应神经网络

    该论文研究了在边缘人工智能应用中实现接近亚阈值处理器的能源节约，并提出了改进策略，同时保持了应用的准确性。通过采用一些新的神经网络策略，作者成功地实现了在能效比与准确性之间的平衡。

    Apr, 2023

  • 面向低功耗计算机视觉的即时深度神经网络优化控制

    移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

    Sep, 2023

  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 基于无电源嵌入式系统的内存高效、能量适应的预训练模型推理

    提出了一种名为 FreeML 的框架，旨在优化预训练的深度神经网络模型，以在电池无需设备上进行内存高效和能量自适应的推理，通过使用压缩技术减小模型尺寸，并引入早期终止机制以实现能量自适应推理，同时最小化内存开销。

    May, 2024

  • 任意精度深度神经网络

    提出了一种新方法训练任意精度深度神经网络（DNNs），可以在推断时灵活地设置数字精度，从而支持动态速度和准确度的折衷，并且该方法不会降低性能，该方法适用于多个视觉任务和模型结构

    Nov, 2019

  • 基于 28 纳米 HKMG 铁电场效应晶体管突触核的杂精度神经网络变异感知训练

    该研究提出了一种混合精度神经网络训练框架，其中包含基于 eNVM 的计算存储单元来执行加权求和操作和另一个 SRAM 单元，在硬件中存储权重更新时的误差和所需的脉冲数。通过采用 28 纳米铁电场效应晶体管作为神经元间的突触器件并融合训练算法，该架构在存在设备和周期变化的情况下实现了达到 95％的推理精度，被与浮点实现相比较。

    Feb, 2022