Dec, 2018

应用联邦学习：提升谷歌键盘查询建议

PDF
TL;DR本研究利用 Federated learning 模型，在实际商业环境中，分布式训练模型提高用户虚拟键盘搜索建议的质量，同时保护用户数据隐私。实验结果显示，整体用户体验得到了显著提升。
federated learningdecentralized machine learningvirtual keyboard search suggestionuser privacyglobal-scale training
发现论文，激发创造
  • 移动键盘预测的联邦学习

    本研究使用分布式联合学习框架 Federated Learning 对一个智能手机虚拟键盘中的递归神经网络语言模型进行训练，证明了在无需导出用户数据到服务器的情况下，在客户端设备上训练语言模型是可行的，在此应用场景中，使用 Federated Averaging 算法进行的训练可以完成更好的预测记忆，这种联合学习的环境可以保护用户数据隐私，使用分布式训练与集中式聚合来将隐私保护的思路融入到训练过程中。

    Nov, 2018

  • 针对浏览器历史记录的联合学习排序建议

    该研究探讨了利用联邦学习的方法，在保护隐私的前提下，对用户反馈的数据利用数值梯度逼近技术进行模型训练和优化，替代本地启发式启发式方法，具有较好效果。

    Nov, 2019

  • N-gram 语言模型联邦学习

    提出使用联邦学习算法来训练生产级的 n-gram 语言模型，以解决在处理隐私敏感数据时面临的数据安全问题，该算法特别适用于便携式设备，如智能手机。同时通过将递归神经网络语言模型近似为能快速部署在设备上进行推理的 n-gram 模型，实现了联邦学习在虚拟键盘等场景下的应用。

    Oct, 2019

  • 系统设计：朝着大规模联邦学习迈进

    本文描述了在移动设备领域基于 TensorFlow 构建的分布式机器学习方法 —— 联邦学习的高级设计，以及所面临的挑战、解决方案和未来研究方向。

    Feb, 2019

  • 知识注入联邦学习

    本研究提出了一种联邦学习框架，允许参与者注入其领域知识，通过在本地对知识进行全局模型的完善，有效地应用于行业级应用。

    Aug, 2022

  • 联邦学习：提高通信效率的策略

    本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

    Oct, 2016

  • 通过蒸馏、过滤和联合联邦 - 集中训练实现生产联邦式关键词检测

    本文使用联邦学习算法在真实用户设备上训练了一种关键词检测模型，采用联合联邦 - 集中式训练补充训练缓存数据域的缺失，以及基于用户反馈信号的信心过滤策略进行联邦蒸馏学习，在离线和在线实验中均取得了显著的质量和用户体验改进。

    Apr, 2022

  • 设备上个性化联邦评估

    该研究介绍了扩展联邦学习运算框架以评估全球模型个性化策略的方法，并提出了分析个性化效果以评估个性化是否产生理想模型的工具。作者还报告了在数千万用户的智能手机虚拟键盘中个性化语言模型的实验结果，并展示了相当一部分用户从个性化中受益。

    Oct, 2019

  • 联邦学习与自然语言处理：概述

    本研究综述了在联邦学习框架下进行自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题，同时还提供了对现有联邦 NLP 评估方法和工具的批评性评估。研究结果呈现出当前研究的空白和未来方向。

    Jul, 2021

  • IBM 联邦学习：企业框架白皮书 V0.1

    IBM Federated Learning 提供了联邦学习的基础设施和协调，可以设计和运行联邦学习作业，从而将范围从集中式扩展到联邦机器学习，从而在最初阶段将学习曲线降至最低，同时也提供了在不同计算环境下部署和设计自定义融合算法的灵活性。

    Jul, 2020