Jun, 2022

基于非独立同分布数据的 ASR 解耦联邦学习

PDF
TL;DR使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题，该方法通过在本地保留一些层来学习个性化模型，并提出一种解离联邦学习，将计算负担移动到服务器端并通信安全高级特征而非模型参数，实验表明这两种方法可以与 FedAvg 相比降低 WER 2.3％-3.4％。
automatic speech recognitionfederated learningpersonalized modelscommunication costcomputation cost
发现论文，激发创造
  • 自动语音识别的联邦表示学习

    使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

    Aug, 2023

  • 语音转文本任务的高效个性化联邦学习

    为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

    Jan, 2024

  • 联邦图像分类中个性化的深入研究

    本文提出了一种名为 RepPer 的独立的两阶段个性化联邦学习框架，其中包括非独立同分布数据（Non-IID data）对全局模型的表示学习的危害，并分离了表示学习和分类器学习，从而实现了个性化，并且在各种数据集和异构数据设置上的实验表明，RepPer 在非独立同分布数据上的灵活性和个性化方面优于其他方法。

    Apr, 2022

  • 利用差分隐私的联邦学习进行端到端语音识别

    新论文提出了在自动语音识别中利用差分隐私实现联邦学习的模型，该模型通过对大型端到端变换器模型的架构设计、种子模型、数据异构性、领域转换和队友规模的影响等因素进行研究，实现了几乎最佳的联邦学习模型，同时应用差分隐私还能在用户级别保护用户隐私。

    Sep, 2023

  • 个性化解读联邦学习：一种虚拟概念方法

    设计了一种新颖的联邦学习方法，用于解决跨客户的非独立同分布数据解释性问题，同时提高模型性能和训练过程的鲁棒性，并实验证明了该方法的有效性。

    Jun, 2024

  • 公平联邦学习能否降低个性化需求？

    本论文通过策略提出了 Personalisation-aware Federated Learning (PaFL) 的模型，在语言任务中减少了 50% 的表现不佳客户端的数量，在图像任务中也避免了表现不佳客户端数量翻倍的情况，提高了边缘设备参与联邦学习的效率并有望在未来实验和理论分析上得到更多的应用。

    May, 2023

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • 自适应专家模型用于联邦学习中的个性化

    该研究提出了一种针对非 IID 数据的个性化联邦学习方法，使用专家混合模型来学习相似的客户，即使在病理性非 IID 环境中，我们的方法仍然能够比本地模型获得高达 4.38％的精度优势。

    Jun, 2022

  • FedNST: 面向自动语音识别的联邦式噪声学生训练

    提出了一种使用半监督 / 自监督学习方法的 FedNST 来训练具有私密和未标记用户数据的分布式自动语音识别模型的方法，并在模拟客户端和 LibriSpeech 数据集上进行了评估，相较于仅在服务器数据上训练的有监督基线模型，能够将相对字误率降低 22.5%。

    Jun, 2022

  • 基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

    该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

    Aug, 2020