通过提出一种新的框架来选择和存储在线上最具代表性的数据，本文解决了在设备上进行个性化的大型语言模型优化的问题，考虑了稀疏标注和有限的设备存储空间。

Nov, 2023

为了在手机等无线设备上进行自定义最先进的语言模型（LLM）的训练，我们提出了Confidant，这是一个多后端协同训练框架。Confidant将LLM划分为几个子模型，以适应手机设备的内存，同时开发了一个管道并行训练机制以确保快速和高效的分布式训练。此外，我们提出了一种新颖的后端调度器，将不同的注意力头分配给包括手机CPU和GPU在内的异构计算硬件，以最大程度地提高每个边缘设备上的计算资源利用。我们的初步实验结果表明，Confidant在实际环境中实现了最多45.3%的内存减少和8.03倍的推理加速。

Nov, 2023

LinguaLinked是一种分散、分布式的移动设备上的LLM推理系统，它通过优化模型分配、优化数据传输机制和运行时负载平衡器来提高系统的效率和响应速度。

Dec, 2023

本研究探讨在各种苹果iPhone型号上进行设备内大型语言模型(LLM)推理的可行性和性能。通过对运行在有限资源设备上的数十亿参数的LLM的现有文献进行利用，我们的研究考察了高性能LLM在不同智能手机世代上的热效应和交互速度。通过提供实际性能结果，我们提供了关于设备内推理能力的见解。

Dec, 2023

通过设计深而瘦的体系结构以及嵌入共享和分组查询注意机制，我们提出了一种名为MobileLLM的强基线网络，它在先前的125M/350M最先进模型上分别获得2.7%/4.3%的准确度提升。此外，我们还提出了一种即时的分块权重共享方法，不增加模型大小且仅有微小的延迟开销。MobileLLM-LS模型进一步提升了0.7%/0.8%的准确度，相较于MobileLLM 125M/350M。此外，MobileLLM模型系列在聊天基准测试中相较于之前的次十亿模型有显著提升，并在API调用任务中表现出接近LLaMA-v2 7B的正确性，突显了小型模型在常见设备使用情景中的能力。

Feb, 2024

将大型语言模型部署在移动设备上，使得所有自然语言处理的能力可在设备上使用；LLM的重要用例是问答系统，可以提供准确和上下文相关的回答给用户的各种查询，并通过将Orca-Mini-3B模型的6位量化版本应用在Galaxy S21智能手机上，实验结果表明LLM推理在交互速度下进行，并能给出高质量的与政治、地理或历史相关的用户查询的答案。

Apr, 2024

通过对学习方法、个性化数据使用量、语言模型的类型和大小、压缩方法以及学习时间和目标用例难度之间的权衡进行实证研究，我们找到了一些用于将语言模型部署到资源受限设备上的指导方针。

Jun, 2024

使用无导数优化技术，实现在内存受限的移动设备上进行大型语言模型的本地微调，为资源受限的设备开启个性化语言模型，同时保护数据隐私。

Jul, 2024

本研究针对设备受限环境下运行大型语言模型（LLMs）面临的挑战进行了深入分析，提出了高效架构及压缩技术等创新解决方案。研究发现，通过硬件加速和边缘云协作方式，可以在性能与资源利用之间实现微妙平衡，为未来基于设备的智能计算发展提供了重要指导。重要性在于解决资源限制问题，同时实现个性化和适应性学习。

Aug, 2024

本研究解决了在资源受限的边缘设备上微调大型语言模型（LLMs）的难题。论文提出了一种资源高效的零阶优化方法，并引入了并行随机梯度估计（P-RGE）技术，显著降低了微调所需的时间和内存消耗。实验结果表明，该方法在保留微调精度的同时，提升了运行速度，推动了LLMs在实时设备端应用中的实际部署。

Sep, 2024