Jul, 2022

使用私有联邦学习为资源受限设备训练大词汇神经语言模型

PDF
TL;DR使用联邦学习和差分隐私技术来保护隐私，同时采用 PEU、LoRA 和 NCE 等技术来降低大模型的噪声和内存需求，从而成功地在计算受限设备上训练大词汇量的语言模型。
发现论文，激发创造
  • 使用私有联邦学习进行语言模型训练的人口扩展

    本研究提出了基于域自适应技术扩展人口规模的方案，以加速小规模人口的训练并提高最终模型质量。实证结果表明，该技术可将实际语言建模数据集的效用提高 13% 至 30%。

    Jul, 2023

  • 公共大型语言模型能帮助私人跨设备联邦学习吗？

    本文研究基于大规模公共数据和语言模型的差分隐私联邦学习，提出了一种新的分布匹配算法，以样本高效为目标，实现了基于公共数据训练私有模型的高效和有效的方法。

    May, 2023

  • DP-DyLoRA: 动态低秩适应下，基于变换器的模型在设备上进行差分隐私联邦学习时的微调

    该研究评估了差分隐私对于联邦学习系统中使用大规模本地化 Transformer 模型进行精调的实用性，发现全精调普遍会导致性能严重下降，但通过参数高效的精调方法能够缓解这一问题，而 DP-DyLoRA 方法在现有的 DP-PEFT 方法中表现出色。

    May, 2024

  • 运用自适应差分隐私和基于优先级的聚合增强联邦学习

    通过个性化差分隐私框架和考虑各种异构性和属性调整的方法，该论文提出了一种高效地保护隐私的个性化差分隐私框架，并对联邦学习算法的收敛边界进行了分析，同时进一步研究了考虑时间变化的个性化因素的收敛性质。

    Jun, 2024

  • 具有内在隐私的通信和能源高效的无线联邦学习

    本文提出了一种无线边缘私有联邦学习方案 PFELS，通过奇异值稀疏化降低通信通信和能源消耗，提高交付速度，保证客户端级别的差分隐私，实现共享全局模型过程中的隐私安全保障。实验结果表明，与现有技术相比，PFELS 在保持同等差分隐私保障的同时能提高准确率和节省通信和能源成本。

    Apr, 2023

  • 使用分散聚合进行具有差分隐私的联邦学习

    移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

    Nov, 2023

  • 差分隐私低秩适应大型语言模型的联邦学习

    通过使用 DP-LoRA，这篇文章介绍了一种针对大型语言模型的新的联邦学习算法，旨在确保数据隐私并优化通信效率，以实现严格的隐私约束条件。

    Dec, 2023

  • 使用稀疏模型扰动的联邦学习：在客户端级别的差分隐私下提高准确性

    本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

    Feb, 2022

  • 部分联邦学习

    我们提出了一种名为 Partial Federated Learning (PartialFL) 的新算法，该算法使用一部分数据模态或其中间表示来训练机器学习模型，并通过禁止数据标签传送到云端进行模型训练以提高隐私保护效果，我们在两个不同的多模态数据集上评估了我们的方法，并展示了有希望的结果。

    Mar, 2024

  • 联邦大型语言模型中的隐私泄漏分析

    我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

    Mar, 2024