Jan, 2024

面向神经进化系统的物理合理性研究

PDF
TL;DR通过最大化神经进化框架下人工神经网络模型的准确性和最小化功耗，本研究提出了一种新的变异策略，引入了模块层的随机重新引入，通过训练过程中同时训练两个模型以推动其中一个模型的功耗更低且准确性相似，结果表明功耗降低了 29.2%，但预测性能基本不受影响。
artificial intelligencedeep neural networksenergy-efficient algorithmspower consumptionpredictive performance
发现论文，激发创造
  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • NeuralPower: 预测和部署高效卷积神经网络

    本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。

    Oct, 2017

  • 轻量级前向训练算法推理

    这篇论文提出了一种专门为使用 Forward-Forward 算法训练的 DNN 设计的轻量级推理方案，并在 MNIST 和 CIFAR 数据集以及癫痫发作检测和心律失常分类等两个实际应用中进行了评估，证明了它的相关性。

    Apr, 2024

  • 嵌入式系统资源高效神经网络

    本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

    Jan, 2020

  • 使用能量感知剪枝设计高能效卷积神经网络

    本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

    Nov, 2016

  • 测量深度神经网络的能量消耗与效率：实证分析与设计建议

    调查了大规模神经网络训练的实际能耗，并介绍了 BUTTER-E 数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或 FLOP 减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

    Mar, 2024

  • EPAM：移动 AI 的预测能耗模型

    本研究介绍了针对不同 DNN 模型和处理源的移动 AI 应用的全面研究，重点关注计算资源利用率、延迟和能量消耗。通过广泛的实验，我们测量了所有模型的延迟、能量消耗和内存使用情况，并提出了一种基于 DNN 结构、计算资源和处理器的高斯过程回归预测能量模型。此研究为 AI 研究社区提供了关键事实和能量预测机制，以帮助移动 AI 应用程序实现能源效率。

    Mar, 2023

  • 从生物到人工神经网络的转化与借鉴

    本文探讨了如何利用深度学习来研究神经健康以及在算法模型中解释神经分析的困难。其重要贡献在于调查死亡神经元对人工神经网络性能的影响，以评估这些发现在生物领域的潜在应用，可能对神经系统疾病的治疗有重要影响。

    Jun, 2023

  • 深度神经网络模型在实践应用中的分析

    本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

    May, 2016

  • 异构人工智能工作负载精确能耗测量

    近年来人工智能的兴起和模型复杂度的增加已开始带来计算资源需求上的挑战，本文针对大规模 AI 方法的能源效率问题，通过对不同计算节点上深度学习模型进行测量，说明了在算法层面和未来计算集群和硬件设计方面，准确测量 AI 工作量的功耗需求之重要性，以及模型训练和推理的能耗差异，提供了降低成本、提高用户意识的解决方案。

    Dec, 2022