Jul, 2016

面向能耗 - 准确性权衡的实时可配置深度神经网络

PDF
TL;DR提出一种新的动态配置技术，可在运行时进行逐步的能量 - 精确度权衡，调整深度神经网络中通道数量，以响应时间、功率和准确性目标调整，并且我们对 MNIST、CIFAR-10 和 SVHN 数据集的三个知名网络进行了性能分析并证明，我们能够在三个基准测试中实现高达 95% 的能量降低且不到 1% 的准确率损失。
dynamic configurationdeep neural networksenergy-accuracy trade-offstraining algorithmnetwork reconfiguration
发现论文，激发创造
  • 面向能耗限制的图像分类自适应神经网络设计

    本研究采用超参数优化的设计范式，将 CNN 的架构设置视为全局优化的超参数，以解决现有方法中网络处理数据而不是网络架构的局限性，实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。

    Aug, 2018

  • 移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

    深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

    Jan, 2024

  • 面向低功耗计算机视觉的即时深度神经网络优化控制

    移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

    Sep, 2023

  • E2-Train: 基于 E2 方法训练最先进的 CNN 并节省 80% 以上的能量

    通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。

    Oct, 2019

  • 级联深度分类器的高效摊销推理

    该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

    Oct, 2017

  • 任意精度深度神经网络

    提出了一种新方法训练任意精度深度神经网络（DNNs），可以在推断时灵活地设置数字精度，从而支持动态速度和准确度的折衷，并且该方法不会降低性能，该方法适用于多个视觉任务和模型结构

    Nov, 2019

  • 提高前馈神经网络在脉冲神经形态芯片中的分类准确性

    使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

    May, 2017

  • NeuralPower: 预测和部署高效卷积神经网络

    本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。

    Oct, 2017

  • 深度神经网络的完全动态推断

    提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

    Jul, 2020

  • 针对神经形态应用优化突触神经网络的能耗消耗

    该文介绍了将卷积神经网络转化为脉冲神经网络的方法，并探讨了量化感知的训练及优化策略对于能效的影响，实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。

    Dec, 2019