on-device training | BriefGPT

关键词on-device training

搜索结果 - 18

ICML在 LLM 时代训练基于私有联邦数据的语言模型
通过使用差分隐私合成数据，我们展示了相比于在设备上使用用户数据进行训练，使用差分隐私合成数据进行训练可以取得更好的模型性能，并且具有更少的通信和计算成本。
PDFa month ago
在资源受限边缘环境中使用有效参数削减实现帕累托最优
通过优化现有的深度神经网络 (DNN)，减小模型大小并减少内存利用，提高硬件利用率，并在资源受限的边缘环境中便于设备内训练。在 Caltech-101 图像分类和 PCB 缺陷检测实验中，我们的模型表现优于原始模型 Xception 和轻量
PDF4 months ago
ElasticTrainer: 运行时弹性张量选择加速设备内训练
在本文中，我们介绍了一种名为 ElasticTrainer 的新技术，该技术通过全弹性的运行时适应性，在不引起显著准确性损失的情况下实现所需的训练加速，并在墙时钟时间上提高了多达 3.5 倍的训练速度，并将能源消耗降低了 2 倍至 3 倍。
PDF6 months ago
SCoTTi：使用自适应框架在训练时节省计算
提出了 SCoTTi（Save Computation at Training Time）自适应框架，通过优化阈值参数来减少训练过程中的神经元更新次数，从而降低内存和计算资源使用量。在各种常用基准和流行架构（包括 ResNets，Mobil
PDF6 months ago
开发一种面向表面缺陷检测的资源受限边缘 AI 模型
我们提出了一种轻量级的 EdgeAI 架构，用于资源受限的边缘环境中的设备端训练，在 PCB 缺陷检测任务中展示出卓越的性能，同时在内存效率方面优于其他模型。
PDF7 months ago
TinyTrain：极端边缘的深度神经网络训练
TinyTrain 是一个在设备上训练的方法，通过选择性更新模型的部分并明确处理数据稀缺性，大大减少了训练时间，在减少计算和内存占用的同时，实现了高精度的未知任务。
PDFa year ago
突破设备端训练内存瓶颈：系统调查
本文系统调查了在设备上训练的方法，重点关注可以在资源受限设备上训练更大更复杂的模型的技术，并通过文献综述和总结来解决内存限制和未来研究的问题。
PDFa year ago
MobileASR：一款面向移动电话的资源感知型设备端个性化自动语音识别框架
本论文介绍了一种利用移动手机有效训练 ASR 模型的方法，该方法考虑了手机资源的限制，并使用了资源感知的子模型训练方法，通过分析手机的 RAM 和电池能力，达到了高效训练的效果。本论文利用各种口音的说话人来模拟真实用户，使用了各种品牌的手机
PDFa year ago
通过梯度过滤实现高效的设备端训练
本文提出了一种新的梯度过滤方法，使用少量的独特元素创建特殊的结构来显著减少反向传播期间的计算复杂度和内存消耗，从而实现了设备端深度学习模型训练，显著提高了速度和节省了能源。
PDF2 years ago
ICLRZeroFL: 带有本地稀疏性的联邦学习在设备上的高效训练
提出了一种基于高度稀疏操作的 ZeroFL 框架，用于加速 On-device 训练，使 Federated Learning 能够训练高性能机器学习模型，并提高了精度。
PDF2 years ago
边缘上 BERT 模型的高效微调
本研究提出了一种名为 “Freeze And Reconfigure (FAR)” 的训练方案，用于在资源受限的设备上以较小的存储空间和时间成本优化 BERT 模型。实验结果表明，采用 FAR 训练方案的 DistilBERT 模型在 Co
PDF2 years ago
通过蒸馏、过滤和联合联邦 - 集中训练实现生产联邦式关键词检测
本文使用联邦学习算法在真实用户设备上训练了一种关键词检测模型，采用联合联邦 - 集中式训练补充训练缓存数据域的缺失，以及基于用户反馈信号的信心过滤策略进行联邦蒸馏学习，在离线和在线实验中均取得了显著的质量和用户体验改进。
PDF2 years ago
EF-Train: FPGA 上通过数据重塑实现高效的 CNN 设备端训练以进行在线适应或个性化
本研究设计的 EF-Train 是一种高效的 DNN 训练加速器，通过数据重塑，并建立自动计算和内存资源调度的分析模型，在低功耗边缘级 FPGA 上实现端到端的训练，最终达到了 46.99 GFLOPS 和 6.09GFLOPS/W 的吞吐
PDF2 years ago
使用神经联想记忆进行快速上下文适应，提高设备端个性化语音识别
本文介绍一种基于模型的端到端语境自适应方法，它不依赖于解码器，适合用于设备上的个性化训练，实验结果表明，相比传统的重新评分技术，在连续个性化场景中，该方法可以使相对识别率（WER）提高 12％，实体提及特定 F1 得分提高 15.7％。
PDF3 years ago
使用 Flower 实现本地联邦学习
本论文探讨了利用 Flower 框架在各种智能手机和嵌入式设备上进行设备内联合学习的系统成本，并讨论了如何利用此定量数据来设计更有效的联邦学习算法。
PDF3 years ago
使用联邦学习在非独立同分布数据上训练关键词识别模型
本文研究了使用联邦学习的 on-device 训练方法，通过优化算法和参数配置，替代原有数据增强方法并探索师生模型训练等技术手段，提高了关键词识别模型的准确性。
PDF4 years ago
面向低功耗边缘智能的脉冲神经网络联邦神经形态学学习
通过引入在线联邦学习，提出了一种基于 SNN 的在线联邦学习规则，称为 FL-SNN，通过局部和全局反馈信号实现协作训练，从而解决了有限数据的问题，并在通信负载和准确度之间实现了灵活的权衡。
PDF5 years ago
CVPR基于查找的卷积神经网络（LCNN）
本研究提出了一种快速、紧凑且准确的卷积神经网络模型 LCNN，能够在资源受限的平台上实现高效的学习和推断，在 ImageNet 数据集上取得了较好的速度和精度表现，并展示了其在深度学习模型的设备端训练中的优势。
PDF8 years ago