针对联邦学习的黎曼低秩模型压缩与空中聚合

Jun, 2023

针对联邦学习的黎曼低秩模型压缩与空中聚合

Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation

Ye Xue, Vincent Lau

TL;DR本文提出了一种新颖的低秩模型压缩的流形优化公式，其不需要放松低秩约束，并介绍了一种共识惩罚来支持 OTA 聚合。基于我们的优化公式，我们提出了一种交替黎曼优化算法，具有有效的 OTA 聚合，同时不会影响训练性能。在真实世界的数据集方面进行了实验，在各个最先进的基线上展示了我们提出的黎曼低秩模型压缩方案的有效性。

Abstract

low-rank model compression is a widely used technique for reducing the computational load when training machine learning models. However, existing methods often rely on relaxing the low-rank constraint of the mod

low-rank model compression machine learning federated learning internet-of-things optimization algorithm

发现论文，激发创造

基于误差反馈的低秩梯度压缩技术在 MIMO 无线联邦学习中的应用

本文提出了一种用于增强多输入多输出（MIMO）无线系统中联邦学习（FL）通信效率的新方法。该方法基于交替最小二乘算法，利用低秩矩阵分解策略对本地梯度压缩进行过空中计算和误差反馈。所提出的协议被称为空中低秩压缩（Ota-LC），在保证相同推理性能的同时，相比现有基准方案具有更低的计算成本和通信开销。以 Cifar-10 数据集为例，当目标测试准确度为 80% 时，Ota-LC 相比基准方案至少可以降低 30% 的总通信开销，并将计算复杂度的阶数降低到梯度维度之和的倍数。

Jan, 2024

基于特征的大型语言模型通过贝叶斯优化的低秩压缩

近年来，大型语言模型（LLMs）在自然语言处理方面取得了重要进展，但其规模的增大增加了计算负担，需要在效率和性能之间取得平衡。为了解决 LLMs 中低秩压缩的挑战，我们对大模型的低秩特性进行了实证研究，并提出了一种适用于 LLMs 的低秩压缩方法，该方法通过汇总协方差矩阵的特征分布精确估计和贝叶斯优化策略来分配低秩维度。我们在 LLaMA-2 模型上的实验表明，我们的方法在相同的压缩比下比现有的强结构剪枝和低秩压缩技术表现更佳，能够保持模型的性能。

May, 2024

基于低秩矩阵分解的文本分类在线嵌入压缩

本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

Nov, 2018

FLoCoRA：具有低秩适应性的联邦学习压缩

在此研究中，我们展示了 Low-Rank Adaptation 方法在从头开始训练小尺寸视觉模型的联邦学习中的应用，通过提出一种聚合不可知方法 FLoCoRA，我们证明该方法能够减少通信成本 4.8 倍，并且对于具有 ResNet-8 模型的 CIFAR-10 分类任务的准确度损失小于 1%。同时，我们还展示了通过引入仿射量化方案扩展该方法，将通信成本缩减 18.6 倍，与标准方法相比，对于 ResNet-18 模型的测试仍然保持不到 1% 的准确度损失。我们的研究在消息大小减小方面提供了一个强有力的基准，甚至与传统的模型压缩方法相比，同时还减少了由于低秩适应所需的训练内存。

Jun, 2024

深度超参数低秩学习与调整中的可压缩动力学

通过利用数据的固有低维结构和模型参数的可压缩动力学，我们展示了优化和泛化方面的超参数化的好处，而无需增加计算负担。在深度低秩矩阵补全和微调语言模型的实践中，我们证明了这种方法的有效性，同时保留了超参数化对性能的优势。

Jun, 2024

基于单位模幂远程计算的边缘联邦学习

本文提出了一种基于 UMAirComp 框架的的边缘联邦学习方式，该框架可利用模拟波束成形同时上传本地模型参数并更新全局模型参数，从而避免了复杂的基带信号处理，大大降低了通信延迟和实现成本。此外，还提出了一种面向非凸非光滑损失约束下的低复杂度大规模优化算法 PAM 和 AGP，并在基于 UMAirComp 框架的边缘联邦学习系统中获得较小的均方误差、训练损失和测试误差。最后，本文通过在车联网驾驶模拟平台中的测试表明，UMAirComp 系统对于自主驾驶任务比其他任务更加敏感由于自主行驶的神经网络包含更加稀疏的模型参数。

Jan, 2021

高失真率压缩辅助联邦学习的资源分配

提出基于压缩辅助的联邦学习问题，通过将其分解为子问题并基于协作博弈来有效分配无线资源，从而优化了 IoT 设备和服务器之间的通信，通过积极控制参与学习的设备数量，既可避免训练发散又能保持通信效率。

Jun, 2022

重新思考压缩：大型语言模型中潜在特征的简化建模

通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

Dec, 2023

通过无线计算进行联邦学习

提出了一种基于超过空气计算的方法，探索了无线多接入通道的叠加属性，用于边缘机器学习中的快速全局模型聚合。

Dec, 2018

利用无线计算的联邦学习学习率优化

本文提出了一种动态学习率（DLR）的机制以改善基于无线计算的联邦学习（FL）中由信道衰落引起的聚合失真问题，并通过基于 MNIST 和 CIFAR10 数据集的实验结果证明了该方案的有效性及其近似最优解的收敛性。

Feb, 2021