本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟

Oct, 2023

在物联网领域，部署深度学习模型来处理由物联网设备生成或收集的数据是一个重要的挑战。为了解决这些挑战，我们提出了一种创新的边缘辅助 U 形拆分联邦学习（EUSFL）框架，利用边缘服务器高性能的能力来辅助物联网设备进行模型训练和优化过程。在这个框架中，我们利用联邦学习使数据持有者能够在不共享数据的情况下协作训练模型，从而通过仅传输模型参数来增强数据隐私保护。此外，通过在物联网设备上进行局部训练，我们基于拆分学习将神经网络分成三个部分。通过利用边缘服务器更强的计算能力，我们的框架有效地减少了整体训练时间，使不同能力的物联网设备能够高效地执行训练任务。此外，我们提出了一种新颖的名为 LabelDP 的噪声机制，以确保数据特征和标签能够安全地抵抗重建攻击，消除隐私泄露的风险。我们的理论分析和实验结果表明，EUSFL 可以与各种聚合算法集成，在不同的物联网设备计算能力下保持良好的性能，并显著减少了训练时间和本地计算开销。

Nov, 2023

通过模型分割和客户端模型聚合，我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习（AdaptSFL）框架，以加速分割联邦学习并实现更好的训练性能。

Mar, 2024

探讨了华为云的 Auto-Split 系统采用的边缘 - 云协作技术，实现了高效的深度学习模型部署和推理，为行业级应用提供新的解决方案。

Aug, 2021

使用分层分割联邦学习算法，结合边缘和云端阶段的模型聚合来降低计算和通信开销，实现提高隐私保护并优化移动边缘计算中的内容传递速度和移动服务质量。

Jan, 2024

通过适用于边缘云资源的自适应压缩感知裂化学习方法，我们可以改善和训练深度学习模型，使其在网络上更加高效，并通过变换学习方法扩展训练，以换取更高效的推理能力，而不损失准确性。

Nov, 2023

研究节约时间、资源、保隐私的联邦边缘学习架构系统，通过 CPU 和 GPU 场景的联合批大小选取和通信资源分配，来缩短训练时间并提高训练准确性。

May, 2019

由于资源约束场景的优势，分割联邦学习（SFL）在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题，本文提出了一种名为滑动分割联邦学习（S^2FL）的新型 SFL 方法，该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结果表明，与传统的 SFL 相比，S^2FL 的推断准确性提高了 16.5％，训练加速了 3.54 倍。

Nov, 2023

我们提出了一个基于先验的端到端三阶段监督微调模型，它证明比传统的微调方法更有竞争力。我们的模型通过一个采样器和重叠估计神经网络来稳固三类数据分类，并将预处理数据集分三批注入预训练模型进行 LORA 微调。然后，我们设计了一个先验模块耦合系统提示、向量数据库和抽象语法树任务分割。最后，对基于先验的微调模型应用压缩方法和正则化约束，并在输出端进行文本过滤以获得逐步增量式的引导结果。我们的模型是首个真正具备丰富教育知识、逐步增量引导输出和答案保密等特征的导师角色研究的努力。广泛的实验表明，与开源模型相比，我们的模型在编码能力方面也达到了最先进水平，在 HumanEval (@pass 1) 基准测试中取得了令人印象深刻的 75.10%。此外，我们的模型具有强大的对话能力，13B 量化版本在 MMLU、C-Eval 和 AGIEval (5 shot) 对话评估基准测试中分别达到了 56.34、50.60 和 45.27 的分数。

Mar, 2024

本文主要介绍了在 6G 移动网络时代，如何将分布式边缘计算资源与联邦学习相结合，并引入分裂学习以处理海量资源受限的物联网设备，重点讨论边缘分裂学习及其在多边缘协作与移动管理中的设计问题与待解决的开放性问题。

Jun, 2023