Sep, 2023

FL4ASR 中优化器引起的平滑性的重要性：解密端到端 ASR 的联邦学习

PDF
TL;DR本文使用联邦学习训练端到端自动语音识别模型，并研究了减小联邦学习与集中学习之间的词错误率差距的基本考虑因素，包括自适应优化器、改变连接主义时间分类权重的损失特性、模型初始化、模型的设置以及针对异构数据分布的联邦学习特定超参数。我们阐明了一些优化器通过引入平滑性而取得比其他优化器更好的效果，并总结了联邦学习在端到端自动语音识别模型中的适用性、趋势和最佳实践。
end-to-end automatic speech recognitionfederated learningword error rateadaptive optimizersconnectionist temporal classification
发现论文，激发创造
  • 借助联邦学习从用户校正中改进语音识别模型质量的反馈之礼

    使用联邦学习的方法，从设备端用户的纠正中持续学习以解决自动语音识别模型在识别新时代术语方面的过时和陈旧问题。实验评估表明，该方法能够提高模型对新时代术语的识别能力，并保持整体语言分布的质量。

    Sep, 2023

  • 语音转文本任务的高效个性化联邦学习

    为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

    Jan, 2024

  • 自动语音识别的联邦表示学习

    使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

    Aug, 2023

  • 基于非独立同分布数据的 ASR 解耦联邦学习

    使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题，该方法通过在本地保留一些层来学习个性化模型，并提出一种解离联邦学习，将计算负担移动到服务器端并通信安全高级特征而非模型参数，实验表明这两种方法可以与 FedAvg 相比降低 WER 2.3％-3.4％。

    Jun, 2022

  • 利用差分隐私的联邦学习进行端到端语音识别

    新论文提出了在自动语音识别中利用差分隐私实现联邦学习的模型，该模型通过对大型端到端变换器模型的架构设计、种子模型、数据异构性、领域转换和队友规模的影响等因素进行研究，实现了几乎最佳的联邦学习模型，同时应用差分隐私还能在用户级别保护用户隐私。

    Sep, 2023

  • 全自监督 ASR 联邦域适应

    该论文介绍了一种用于在设备上进行 ASR 领域自适应的联合学习系统，使用自我标记和数据增强和过滤技术来提高强的 Emformer Transducer 的性能，并减少训练和网络成本。

    Mar, 2022

  • SLoRA：联邦参数高效微调语言模型

    本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为 SLoRA 的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中 LoRA 的关键限制，实现与全面微调可比的性能，并以大约 1% 的密度实现显著稀疏更新，同时将训练时间减少高达 90%。

    Aug, 2023

  • 个性化联合学习：统一框架和普适的优化技术

    本文研究对个性化 Federated Learning 进行优化，提出了通用的优化器，应用于现有的针对个性化 Federated Learning 的目标函数，包括局部 SGD、加速坐标下降 / 加速 SVRCD 等，得到适用于文献中所有基于强凸个性化 FL 模型的普适优化理论，提高了通信效率和本地计算效率。

    Feb, 2021

  • 通过寻求平坦的极小值改善联邦学习的泛化能力

    通过研究损失和 Hessian 特征谱的几何性质，我们研究了联邦设置中模型的不良性能和泛化失败，发现使用 SAM 或 ASAM 本地训练客户端并在服务器端平均随机权重（SWA）可以显着提高 FL 中的泛化能力并有助于缩小与中央模型的差距，在各种基准视觉数据集和任务上都表现出良好的效果。

    Mar, 2022

  • 增强大规模异质联邦学习的展望与转换器

    分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

    Aug, 2023