本文提出了一种适用于微控制器单元 (MCUs) 的无电池 ML 推理和模型个性化管道，使用此管道在深海中进行了鱼类图像识别并比较其准确性，运行时长，功率和能源消耗等优劣，结果表明，在 MCUs 上可以实现 97.78％的精度，达到了无电池 ML 推理的可行性。

May, 2023

通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

Dec, 2023

本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

Jan, 2020

本研究通过监测三个知名的深度学习框架和 ONNX 的运行时基础设施，使用三种不同的深度学习模型来测试能耗和推理时间，发现深度学习的性能和能效难以预测，并且不同的框架和执行提供者在不同场景下表现各异。转换为 ONNX 通常能显著提高性能，但批量为 64 的 ONNX 转换 ResNet 模型比原始的 PyTorch 模型多消耗约 10% 的能量和时间。

Feb, 2024

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

通过最大化神经进化框架下人工神经网络模型的准确性和最小化功耗，本研究提出了一种新的变异策略，引入了模块层的随机重新引入，通过训练过程中同时训练两个模型以推动其中一个模型的功耗更低且准确性相似，结果表明功耗降低了 29.2%，但预测性能基本不受影响。

Jan, 2024

介绍了一个名为 TensorFlow Lite Micro (TF Micro) 的开源机器学习推理框架，它采用基于解释器的独特方法，旨在解决嵌入式系统资源限制和碎片化挑战等问题。此框架具有低资源需求和最小的运行时性能开销。

Oct, 2020

由于人工智能算法的普及和应用，能源使用和二氧化碳排放显著增加，加剧了对气候变化的担忧。为了解决这一问题，我们需要开发可持续的人工智能解决方案，特别是能耗低、适用于环境资源有限的嵌入式系统。本文介绍了 TinyM^2Net-V3，它是一个处理多模态数据的系统，设计了深度神经网络模型，并采用知识蒸馏和低位宽量化等模型压缩技术，以适应较低级别的内存层次，降低延迟，提高能源效率。我们通过 COVID-19 的咳嗽、语音和呼吸音频检测以及深度和热图像姿势分类两个多模态案例研究对 TinyM^2Net-V3 进行了评估，取得了 92.95% 和 90.7% 的准确率。我们的小型机器学习模型在资源有限的硬件上展示出低延迟和很高的功耗效率。

May, 2024

该论文提出了 tinySNN 框架，可通过减少操作、优化学习质量、量化参数和选择合适的模型来在保持准确性的前提下，优化 SNN 处理的内存和能源需求，并且通过不同的量化方案、精度级别和舍入方案探索不同的 SNN 参数来实现模型压缩，从而实现对于资源和能源受限的嵌入式应用的高精度高效压缩。

Jun, 2022

使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

Jul, 2018