Sep, 2023

利用差分隐私的联邦学习进行端到端语音识别

PDF
TL;DR新论文提出了在自动语音识别中利用差分隐私实现联邦学习的模型，该模型通过对大型端到端变换器模型的架构设计、种子模型、数据异构性、领域转换和队友规模的影响等因素进行研究，实现了几乎最佳的联邦学习模型，同时应用差分隐私还能在用户级别保护用户隐私。
federated learningautomatic speech recognitionend-to-end transformer modelsdifferential privacyfl with dp in asr
发现论文，激发创造
  • DP-DyLoRA: 动态低秩适应下，基于变换器的模型在设备上进行差分隐私联邦学习时的微调

    该研究评估了差分隐私对于联邦学习系统中使用大规模本地化 Transformer 模型进行精调的实用性，发现全精调普遍会导致性能严重下降，但通过参数高效的精调方法能够缓解这一问题，而 DP-DyLoRA 方法在现有的 DP-PEFT 方法中表现出色。

    May, 2024

  • 增强稀疏化隐私与自适应优化的联邦学习

    这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

    Aug, 2020

  • 使用稀疏模型扰动的联邦学习：在客户端级别的差分隐私下提高准确性

    本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

    Feb, 2022

  • 运用自适应差分隐私和基于优先级的聚合增强联邦学习

    通过个性化差分隐私框架和考虑各种异构性和属性调整的方法，该论文提出了一种高效地保护隐私的个性化差分隐私框架，并对联邦学习算法的收敛边界进行了分析，同时进一步研究了考虑时间变化的个性化因素的收敛性质。

    Jun, 2024

  • 使用私有联邦学习进行语言模型训练的人口扩展

    本研究提出了基于域自适应技术扩展人口规模的方案，以加速小规模人口的训练并提高最终模型质量。实证结果表明，该技术可将实际语言建模数据集的效用提高 13% 至 30%。

    Jul, 2023

  • 具差分隐私的 Gboard 语言模型联合学习

    应用差分隐私和联邦学习算法，在 Google 键盘（Gboard）的多个模型中实现了高效且可靠的隐私保障，并提供了基于分位数估计的剪辑规范自适应方法，为学习者提供了具体建议。

    May, 2023

  • 使用分散聚合进行具有差分隐私的联邦学习

    移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

    Nov, 2023

  • 自适应局部步骤联邦学习的收敛分析驱动下差分隐私

    在资源受限的情况下重新考虑差分隐私联邦学习的框架，并分析其在收敛性方面的情况，提出了自适应本地步差分隐私联邦学习 (ALS-DPFL) 算法。通过在 FashionMNIST 和 CIFAR-10 数据集上的实验，相对于以往的工作，我们取得了相当良好的性能。

    Aug, 2023

  • 具差分隐私的联邦学习

    我们展示了在不同类型的数据上，客户端数量和差分隐私机制的增加对模型性能的影响的实证基准，结果显示在分布式和差分隐私设置中，非独立同分布和小数据集的性能降低最为显著。

    Feb, 2024

  • 使用私有联邦学习为资源受限设备训练大词汇神经语言模型

    使用联邦学习和差分隐私技术来保护隐私，同时采用 PEU、LoRA 和 NCE 等技术来降低大模型的噪声和内存需求，从而成功地在计算受限设备上训练大词汇量的语言模型。

    Jul, 2022