ACLMay, 2023

具差分隐私的 Gboard 语言模型联合学习

PDF
TL;DR应用差分隐私和联邦学习算法，在 Google 键盘（Gboard）的多个模型中实现了高效且可靠的隐私保障，并提供了基于分位数估计的剪辑规范自适应方法，为学习者提供了具体建议。
federated learningdifferential privacydp-ftrl algorithmclip estimationneural network lms
发现论文，激发创造
  • 使用私有联邦学习进行语言模型训练的人口扩展

    本研究提出了基于域自适应技术扩展人口规模的方案，以加速小规模人口的训练并提高最终模型质量。实证结果表明，该技术可将实际语言建模数据集的效用提高 13% 至 30%。

    Jul, 2023

  • 公共大型语言模型能帮助私人跨设备联邦学习吗？

    本文研究基于大规模公共数据和语言模型的差分隐私联邦学习，提出了一种新的分布匹配算法，以样本高效为目标，实现了基于公共数据训练私有模型的高效和有效的方法。

    May, 2023

  • 利用差分隐私的联邦学习进行端到端语音识别

    新论文提出了在自动语音识别中利用差分隐私实现联邦学习的模型，该模型通过对大型端到端变换器模型的架构设计、种子模型、数据异构性、领域转换和队友规模的影响等因素进行研究，实现了几乎最佳的联邦学习模型，同时应用差分隐私还能在用户级别保护用户隐私。

    Sep, 2023

  • 无抽样或洗牌的实用且保密的 (深度) 学习

    使用差分隐私的 Follow-The-Regularized-Leader（DP-FTRL）是一种比 DP-SGD 更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。

    Feb, 2021

  • 使用私有联邦学习为资源受限设备训练大词汇神经语言模型

    使用联邦学习和差分隐私技术来保护隐私，同时采用 PEU、LoRA 和 NCE 等技术来降低大模型的噪声和内存需求，从而成功地在计算受限设备上训练大词汇量的语言模型。

    Jul, 2022

  • 自适应剪裁差分隐私学习

    该论文提出了一种新的针对联合学习中用户级差分隐私训练神经网络的方法，它通过自适应裁剪来解决不同设备以及不同学习任务下的裁剪行为的设置问题，并通过实验表明该方法与现有的裁剪方式相比具有显著的性能提升。

    May, 2019

  • BERT 模型的差分隐私和联邦学习基准测试

    本文研究了将自然语言处理技术应用于用语言集合进行抑郁症等疾病的诊断中，并探讨了应用差分隐私机制对 BERT、ALBERT、RoBERTa 和 DistilBERT 等语言模型进行中央化和联邦学习时的效果，并提供了开源实现。

    Jun, 2021

  • 通过平坦性实现大型语言模型的隐私保护微调

    在我们的研究中，我们揭示了 Differential Privacy（DP）技术在处理 Large Language Models（LLMs）的隐私和泛化之间的权衡中，DP 训练模型的损失平面的平坦程度起到了关键作用。我们进一步提出了一个全面的框架来强制执行适当的权重平坦度，从而大幅提高模型的泛化能力并保持竞争性的隐私保护。

    Mar, 2024

  • 学习差分隐私递归语言模型

    本文提出了使用联邦平均算法实现用户级差分隐私，以及在保持较高的实用性的同时进行隐私保护的方法。通过在用户分区数据上训练深层网络并进行隐私账户记录，我们证明即使在拥有大量用户的数据集上，实现差分隐私也只会以微不足道的精度损失为代价而非减少实用性。

    Oct, 2017

  • 无需记忆用户数据的生产语言模型训练

    本文利用差分隐私联邦平均算法，首次呈现了可部署在生产神经网络中的、隐私保护的联邦学习模型，用于在移动设备上进行用户级别的下一个词语预测。

    Sep, 2020