May, 2020

使用联邦学习在非独立同分布数据上训练关键词识别模型

PDF
TL;DR本文研究了使用联邦学习的 on-device 训练方法，通过优化算法和参数配置，替代原有数据增强方法并探索师生模型训练等技术手段，提高了关键词识别模型的准确性。
on-device trainingfederated learningkeyword spottingspecaugmentteacher-student training
发现论文，激发创造
  • 通过蒸馏、过滤和联合联邦 - 集中训练实现生产联邦式关键词检测

    本文使用联邦学习算法在真实用户设备上训练了一种关键词检测模型，采用联合联邦 - 集中式训练补充训练缓存数据域的缺失，以及基于用户反馈信号的信心过滤策略进行联邦蒸馏学习，在离线和在线实验中均取得了显著的质量和用户体验改进。

    Apr, 2022

  • 使用联邦学习训练语音识别模型：质量 / 成本框架

    本文提出使用联邦学习来训练语音识别模型，并通过对非独立同分布数据分布程度的调整来平衡模型质量和联邦训练计算成本之间的关系，并证明超参数优化和适当使用变分噪声可以弥补非独立同分布数据对模型影响的影响。

    Oct, 2020

  • 非独立同分布数据下的联邦学习

    本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

    Jun, 2018

  • 非独立同分布数据上的联邦学习：调查

    本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

    Jun, 2021

  • 通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

    提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

    Nov, 2018

  • 带异构标签和模型的资源受限联邦学习

    本文提出了一个应对标签异质性的框架，该框架通过简单的 α 加权联邦聚合计算分数获得了最多 16.7% 的平均确定性准确性提高，并在树莓派 2 上进行了实验以演示其设备内功能。

    Nov, 2020

  • 使用有限和合成的语音数据训练关键词检测器

    本文研究使用合成语音数据为小型的口语术语检测模型训练提取有用特征的预训练语音嵌入模型，相较于在 500 个真实示例上训练模型，只使用合成语音即可达到同等精度。

    Jan, 2020

  • 基于条件的在线关键词检测学习

    本研究探讨了一种简单而有效的在线持续学习方法，旨在通过随着新数据的不断出现在设备上通过随机梯度下降来更新关键词检测器。通过对不同情境下的动态音频流进行实验，该方法将性能提高了 34％。此外，实验表明，与一个朴素的在线学习实现相比，基于对训练分布中的小 hold-out 集的表现条件模型更新可以缓解灾难性遗忘。

    May, 2023

  • FedCD: 非独立同分布联邦学习性能改进

    提出 FedCD 方法，将模型动态地克隆和删除以将设备分组，实现在非独立同分布的数据上高精度和更快的收敛。

    Jun, 2020

  • 基于设备的约束自监督语音表示学习在关键词检测中的应用：知识蒸馏

    提出了一种基于知识蒸馏的自监督语音表示学习（S3RL）体系结构，用于在设备上进行关键词检测任务，通过使用双视角交叉相关蒸馏和教师的码本作为学习目标，在设备资源限制内构建自监督模型，对 Alexa 关键词检测任务表现出非凡的性能。

    Jul, 2023