在集成重溢和分页的微型设备上训练神经网络

ICMLJul, 2022

在集成重溢和分页的微型设备上训练神经网络

POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging

Shishir G. Patil, Paras Jain, Prabal Dutta, Ion Stoica, Joseph E. Gonzalez

TL;DRPOET 算法可以实现在边缘设备上训练大型神经网络，同时减少能耗并不修改反向传播的数学正确性。在嵌入式设备的内存限制下，使用 POET 可以比当前边缘训练方法更节能地对 ResNet-18 和 BERT 进行微调。

Abstract

Fine-tuning models on edge devices like mobile phones would enable privacy-preserving personalization over sensitive data. However, edge training has historically been limited to relatively small models with simple architectures because training is both memory and energy intensive. We

edge devices poet neural networks memory optimization energy consumption reduction

发现论文，激发创造

EdgeBERT：面向延迟感知的多任务 NLP 推理的句子级能耗优化

EdgeBERT 是一种算法硬件协同设计，提供基于熵的早期退出预测，以进行动态电压频率缩放 (DVFS)，从而实现最小能耗，同时遵循预定的目标延迟，以适应资源受限的边缘平台，在最小的计算和存储占用开销下，提供多任务自然语言处理 (NLP) 加速，相比于传统的推理方法，无限制的早期退出方法以及在 Nvidia Jetson Tegra X2 移动 GPU 上的 CUDA 适配，EdgeBERT 硬件系统在激活多任务 NLP 推理加速方面，能够生成高达 7x，2.5x 和 53x 的低能耗。

Nov, 2020

PocketLLM: 个性化 LLM 模型的设备端微调

使用无导数优化技术，实现在内存受限的移动设备上进行大型语言模型的本地微调，为资源受限的设备开启个性化语言模型，同时保护数据隐私。

Jul, 2024

边缘上 BERT 模型的高效微调

本研究提出了一种名为 “Freeze And Reconfigure (FAR)” 的训练方案，用于在资源受限的设备上以较小的存储空间和时间成本优化 BERT 模型。实验结果表明，采用 FAR 训练方案的 DistilBERT 模型在 CoLA 数据集上可以将 fine-tuning 时间降低 30％，节省 47％的存储操作时间，GLUE 和 SQuAD 等数据集上的度量性能平均降低约 1％。

May, 2022

通过训练后的层内多精度量化减少 DNN 内存占用

为了在资源受限的边缘设备上部署深度神经网络模型并保护隐私，本文介绍了一种有效减小深度神经网络内存占用的技术，该技术名为后训练内层多精度量化（PTILMPQ），通过估计网络中层和通道的重要性，实现了在量化过程中的精确位分配。实验结果表明，PTILMPQ 为在内存资源受限的边缘设备上部署深度神经网络提供了有希望的解决方案，例如，在 ResNet50 的情况下，它以 9.5MB 的内存占用达到了 74.57% 的准确率，相比之前类似方法减小了 25.49%，仅有 1.08% 的准确率下降。

Apr, 2024

SPARTAN：用于参数高效的 Transformer 的稀疏分层存储器

本研究提出了一种基于 SPARTAN 的架构，在使用预训练语言模型的基础上，仅对其记忆进行微调，以显着减少存储和计算成本，从而适用于存储受限的边缘设备，并通过使用分层组织的稀疏内存以及其他架构优化，在不损失性能的情况下提高了其执行效率。

Nov, 2022

p-Meta: 面向设备端的深度模型自适应

该研究提出了一种新的元学习方法 p-Meta，以实现对 IoT 设备上模型的内存和数据的有效适应，提高准确性，优于现有少样本适应方法。

Jun, 2022

基于 TrustZone 启用的消费者物联网设备上的高效内存和安全的 DNN 推理

边缘智能允许资源密集型深度神经网络进行推理，而无需传输原始数据，解决了消费者物联网设备中的数据隐私问题。我们提出了一种在 TrustZone 中进行先进模型部署的新方法，确保在模型推理过程中综合保护隐私。我们设计了一种内存高效的管理方法，支持内存密集型推理，通过调整内存优先级，有效地减少内存泄漏风险和内存冲突，并在受信任的操作系统中进行了 32 行代码的修改。此外，我们利用了两个小型库：S-Tinylib（2,538 行代码），一个小型深度学习库，和 Tinylibm（827 行代码），一个小型数学库，以支持在受信任执行环境中的高效推理。我们在 Raspberry Pi 3B + 上实现了一个原型，并使用三个知名的轻量级 DNN 模型进行了评估。实验结果表明，与在 TEE 中使用非内存优化方法相比，我们的设计能够将推理速度提高 3.13 倍，并降低功耗超过 66.5%。

Mar, 2024

低功耗近阈值处理器上的大小适应神经网络

该论文研究了在边缘人工智能应用中实现接近亚阈值处理器的能源节约，并提出了改进策略，同时保持了应用的准确性。通过采用一些新的神经网络策略，作者成功地实现了在能效比与准确性之间的平衡。

Apr, 2023

TinyTrain：极端边缘的深度神经网络训练

TinyTrain 是一个在设备上训练的方法，通过选择性更新模型的部分并明确处理数据稀缺性，大大减少了训练时间，在减少计算和内存占用的同时，实现了高精度的未知任务。

Jul, 2023

在资源受限嵌入式设备中部署 BERT NLP 模型的挑战探索

通过对 BERT-based 模型在不同资源限制和准确度预算下的实证研究，发现一个最优资源和准确度平衡点，帮助设计者在替代的 BERT-based 架构中做出明智的选择，节省显著的开发时间和精力。

Apr, 2023