Nov, 2023

使用概率遮蔽进行基础模型的联邦微调

PDF
TL;DRDeltaMask 是一种新颖的方法，通过使用随机掩蔽检测基金会模型中的高效子网络，并利用客户端掩蔽的随机性和稀疏性，使用概率滤波器将更新压缩成紧凑的灰度图像，在超低比特率下有效地微调基金会模型，极大地提升通信效率，同时保持模型性能。
foundation modelsfederated learningdeltamaskcommunication efficiencybitrates
发现论文，激发创造
  • 动态采样与选择性遮蔽：用于高效通信的联合学习

    本研究通过动态采样和 Top-K 选择性掩蔽这两种方法，提高了联邦学习的通信效率，并在公共数据集上进行实验，证明了该方法的有效性。

    Mar, 2020

  • 通信高效的联邦学习系统中的遮蔽剪枝降维方法

    使用蒙特卡洛方法结合剪枝算法，提出了一种名为 MPFL 的在通信受限系统中降低模型通信成本的迭代式分布式机器学习算法。

    Dec, 2023

  • FedPFT: 基于联邦代理的基础模型迁移微调

    通过联邦学习策略对基础模型进行适应性调整，以保护数据隐私和有价值的基础模型，提出了一种新方法 Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强联邦学习下游任务中的基础模型的适应性。实验证据表明 FedPFT 方法的优越性。

    Apr, 2024

  • SkyMask：具有细粒度可学习遮罩的攻击无关健壮联邦学习

    提出了一种新的攻击不可知的鲁棒联邦学习系统 SkyMask，它利用细粒度的可学习掩码在参数级别上识别恶意模型更新，以解决现有防御方法的低效率和模型性能下降的问题。

    Dec, 2023

  • FedMS: 带有稀疏激活基模型的联邦学习

    提出了一种名为 FedMS 的新型两阶段联邦学习算法，使用全局专家和本地专家构建混合基准模型（MoFM），设计了一个门控神经网络插入门适配器来在第二阶段的每一轮通信中进行聚合，并使用一种新型 SAL 算法来适应具有有限计算资源的边缘计算场景，实验证明 FedMS 在默认设置下超过其他 SOTA 基准模型的性能达到 55.25% 的提升。

    Dec, 2023

  • 用于快速且通讯高效的联邦学习自适应差分滤波器

    本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

    Apr, 2022

  • 稀疏随机网络存在：通过正则化强化通信高效的联邦学习

    本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码，从而将通信成本降低到每个参数至多 1 个比特。通过实验证明，之前最先进的随机方法无法找到能够使用一致损失目标减少通信和存储开销的稀疏网络。为了解决这个问题，我们提出在本地目标中添加正则化项，以在子网络之间消除冗余特征并鼓励更稀疏的解决方案。大量实验证明，在一些实例中，与文献相比，通信和内存效率显著提高了五个数量级，并且在验证准确性方面几乎没有性能下降。

    Sep, 2023

  • 联邦基础模型：大型模型的隐私保护和协同学习

    本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

    May, 2023

  • 通信高效的稀疏随机网络联邦学习

    在联邦学习中，通过使用随机二进制掩码学习最佳稀疏随机网络，避免了每轮从客户端向服务器交换权重更新的大量通信成本，大幅提高了准确性、收敛速度和模型大小，在低比特率模式下通信效率显著优于相关基准。

    Sep, 2022

  • 以通信成本不超过 18 千字节的方式对数十亿级语言模型进行联邦全参数调整

    使用零阶优化技术以及一组随机种子，FedKSeed 提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估 ZOO 扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。

    Dec, 2023