Jan, 2018

非所有的 Ops 都是平等的！

PDF
TL;DR本研究指出评估神经网络架构效率的典型指标 -- 操作总数和参数总数 -- 并不足够准确，还需要考虑吞吐量和能量消耗等实际部署指标，同时需要将激活数据所需的内存也纳入考虑。实证结果表明，在标准微控制器上，不同神经网络操作类型的吞吐量和能量消耗相差高达 5 倍。
neural network modelsefficiency metricsenergy consumptionmemory footprintactivation data
发现论文，激发创造
  • 深度神经网络模型在实践应用中的分析

    本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

    May, 2016

  • 高效计算的神经网络评分

    通过引入一个复合分数来衡量精确度和功耗在神经网络推断过程中的权衡，本文提出了一个新的开源工具，使研究人员能够考虑更多的指标，包括细粒度的功耗、RAM/CPU/GPU 利用率，以及存储和网络的输入 / 输出。该方法被用于探索神经网络的能耗和精确度之间的折衷，同时也有助于对比两种架构，以更准确地适配硬件和进行架构探索。

    Oct, 2023

  • MobileOne：一种改进的一毫秒移动骨干网络

    通过对多个移动设备上的网络进行部署和分析，提出了有效神经网络的优化瓶颈，设计了一种高效的 MobileOne 神经网络，该网络在 iPhone12 上获得了 1 ms 以下的推断时间，并在性能和速度方面超越了现有的语义分割网络。

    Jun, 2022

  • MicroNets: 用于在商用微控制器上部署 TinyML 应用的神经网络架构

    本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

    Oct, 2020

  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • 测量深度神经网络的能量消耗与效率：实证分析与设计建议

    调查了大规模神经网络训练的实际能耗，并介绍了 BUTTER-E 数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或 FLOP 减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

    Mar, 2024

  • 小型机器学习的高效神经网络：综述

    深入分析了高效神经网络和深度学习模型在超低功耗微控制器上部署的细微机器学习（TinyML）应用的进展，并指出了未来的研究方向。

    Nov, 2023

  • 训练高效的卷积神经网络：优化神经网络的基本组成部分，创造更轻、更快、更强韧的模型

    本研究旨在回顾各种最先进技术，探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络，并成功实现了在 MNIST 数据集上仅使用 1500 个参数达到 99.2% 的高准确度，并在 CIFAR-10 数据集上仅使用超过 140K 个参数达到了 86.01% 的高准确度。

    May, 2022

  • 嵌入式系统资源高效神经网络

    本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

    Jan, 2020

  • 高效深度学习：关于使深度学习模型更小、更快、更好的调查

    介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。

    Jun, 2021