Jan, 2024

语音转文本任务的高效个性化联邦学习

PDF
TL;DR为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。
federated learningspeech-to-textprivacycommunication overheaddata heterogeneity
发现论文，激发创造
  • 自动语音识别的联邦表示学习

    使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

    Aug, 2023

  • 基于非独立同分布数据的 ASR 解耦联邦学习

    使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题，该方法通过在本地保留一些层来学习个性化模型，并提出一种解离联邦学习，将计算负担移动到服务器端并通信安全高级特征而非模型参数，实验表明这两种方法可以与 FedAvg 相比降低 WER 2.3％-3.4％。

    Jun, 2022

  • 使用联邦学习训练语义沟通系统

    通过利用用户数据来解决隐私问题，降低信息传输量并减少网络流量，我们在联邦学习设置中探索语义通信，并提出了一种称为 FedLol 的机制来聚合来自客户端的全局模型，与基线方法相比，详尽的模拟结果证明了我们提出的技术的有效性。

    Oct, 2023

  • SLoRA：联邦参数高效微调语言模型

    本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为 SLoRA 的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中 LoRA 的关键限制，实现与全面微调可比的性能，并以大约 1% 的密度实现显著稀疏更新，同时将训练时间减少高达 90%。

    Aug, 2023

  • 联邦最近邻机器翻译

    本研究提出了一种新颖的联邦最近邻机器翻译框架（FedNN），利用一轮基于记忆的交互来在不同客户端之间共享知识，并整合由私有文本数据构建的外部数据存储库，以构建低开销的隐私保护系统。用于机器翻译任务的传统 FL 算法在 FedNN 框架中被取代，它显著降低了计算和通信成本，并在不同 FL 设置中保持了良好的性能。

    Feb, 2023

  • 异构语言任务和客户资源下的分布式大型语言模型微调

    FlexLoRA 是一种用于 LLM fine-tuning 的聚合方案，通过动态调整本地 LoRA 等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过 1,600 个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了 FlexLoRA 的有效性，联邦全局模型在下游 NLP 任务性能方面平均提高了 3.1%。FlexLoRA 的实用性进一步强调了其与现有的基于 LoRA 的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的 LLM 联邦调整路径。

    Feb, 2024

  • 大型语言模型的个性化无线联邦学习

    基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

    Apr, 2024

  • 仅传递所需内容：在联邦多语言机器翻译中学习高效通信

    本文提出了一种基于元学习的自适应参数选择方法 MetaSend，通过学习客户端在不同联邦学习轮次之间的张量偏差，提高了联邦学习多语言神经机器翻译中模型传输过程的通信效率，并在有限通信预算下，在两个具有不同语言分布的数据集上的翻译质量方面表现出了显著提升。

    Jan, 2024

  • FedNST: 面向自动语音识别的联邦式噪声学生训练

    提出了一种使用半监督 / 自监督学习方法的 FedNST 来训练具有私密和未标记用户数据的分布式自动语音识别模型的方法，并在模拟客户端和 LibriSpeech 数据集上进行了评估，相较于仅在服务器数据上训练的有监督基线模型，能够将相对字误率降低 22.5%。

    Jun, 2022

  • 借助联邦学习从用户校正中改进语音识别模型质量的反馈之礼

    使用联邦学习的方法，从设备端用户的纠正中持续学习以解决自动语音识别模型在识别新时代术语方面的过时和陈旧问题。实验评估表明，该方法能够提高模型对新时代术语的识别能力，并保持整体语言分布的质量。

    Sep, 2023