Oct, 2019

E2-Train: 基于 E2 方法训练最先进的 CNN 并节省 80% 以上的能量

PDF
TL;DR通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。
发现论文，激发创造
  • 使用能量感知剪枝设计高能效卷积神经网络

    本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

    Nov, 2016

  • NeuralPower: 预测和部署高效卷积神经网络

    本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。

    Oct, 2017

  • 利用聚焦卷积消除无关像素提高预训练 CNN 推理延迟和能效的自动化方法

    通过插入一个阈值层来过滤图片中的无关区域，从而使预训练的深度卷积神经网络更加节能、减少计算需求，并在准确率几乎不下降的情况下节省推断延迟和能源消耗。

    Oct, 2023

  • 面向能耗限制的图像分类自适应神经网络设计

    本研究采用超参数优化的设计范式，将 CNN 的架构设置视为全局优化的超参数，以解决现有方法中网络处理数据而不是网络架构的局限性，实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。

    Aug, 2018

  • EF-Train: FPGA 上通过数据重塑实现高效的 CNN 设备端训练以进行在线适应或个性化

    本研究设计的 EF-Train 是一种高效的 DNN 训练加速器，通过数据重塑，并建立自动计算和内存资源调度的分析模型，在低功耗边缘级 FPGA 上实现端到端的训练，最终达到了 46.99 GFLOPS 和 6.09GFLOPS/W 的吞吐量和能量效率。

    Feb, 2022

  • 针对神经形态应用优化突触神经网络的能耗消耗

    该文介绍了将卷积神经网络转化为脉冲神经网络的方法，并探讨了量化感知的训练及优化策略对于能效的影响，实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。

    Dec, 2019

  • 利用哈达玛积方法实现低能耗的卷积神经网络（CNN）

    该研究论文提出基于 Hadamard 方法的物体识别，以减少卷积层的能源消耗，在 MNIST 数据集上与卷积方法表现相似，而在 CIFAR10 数据集上由于数据复杂性和多通道性能下降，该方法可应用于其他计算机视觉任务，当卷积层的内核大小小于输入图像大小时。

    Sep, 2022

  • 卷积神经网络快速实时非重训练稀疏化

    本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。

    Nov, 2018

  • YodaNN: 超低功耗二进制卷积神经网络加速架构

    本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

    Jun, 2016

  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017