N-gram 语言模型联邦学习

Oct, 2019

Federated Learning of N-gram Language Models

Mingqing Chen, Ananda Theertha Suresh, Rajiv Mathews, Adeline Wong, Cyril Allauzen...

TL;DR提出使用联邦学习算法来训练生产级的 n-gram 语言模型，以解决在处理隐私敏感数据时面临的数据安全问题，该算法特别适用于便携式设备，如智能手机。同时通过将递归神经网络语言模型近似为能快速部署在设备上进行推理的 n-gram 模型，实现了联邦学习在虚拟键盘等场景下的应用。

Abstract

We propose algorithms to train production-quality n-gram language models using federated learning. federated learning is a distributed com

federated learning n-gram language models portable devices privacy-sensitive data virtual keyboards

发现论文，激发创造

移动键盘预测的联邦学习

本研究使用分布式联合学习框架 Federated Learning 对一个智能手机虚拟键盘中的递归神经网络语言模型进行训练，证明了在无需导出用户数据到服务器的情况下，在客户端设备上训练语言模型是可行的，在此应用场景中，使用 Federated Averaging 算法进行的训练可以完成更好的预测记忆，这种联合学习的环境可以保护用户数据隐私，使用分布式训练与集中式聚合来将隐私保护的思路融入到训练过程中。

Nov, 2018

联邦学习与自然语言处理：概述

本研究综述了在联邦学习框架下进行自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题，同时还提供了对现有联邦 NLP 评估方法和工具的批评性评估。研究结果呈现出当前研究的空白和未来方向。

Jul, 2021

全球联合训练语言模型

通过联邦学习，在全球范围内构建联邦的语言模型训练系统 (WorldLM)，以解决大规模语言模型训练所面临的法律、安全、隐私等挑战，并通过局部模型本地化、残差层嵌入等方法，提升性能并保护隐私。

May, 2024

应用联邦学习：提升谷歌键盘查询建议

本研究利用 Federated learning 模型，在实际商业环境中，分布式训练模型提高用户虚拟键盘搜索建议的质量，同时保护用户数据隐私。实验结果显示，整体用户体验得到了显著提升。

Dec, 2018

具有注意聚合的私密神经语言建模学习

该研究提出了一种采用注意机制的模型聚合方法来解决传统联邦学习方法中模型聚合忽略客户端重要性问题的方法，并在两个流行的语言模型数据集和一个社交媒体数据集上进行了实验证明，在大部分比较中，该方法在模糊度和通信成本方面都优于传统方法。

Dec, 2018

移动键盘表情预测的联合学习

本文通过利用递归神经网络预测移动键盘上输入文本的 emoji，演示了利用预训练模型和联邦学习训练生产质量自然语言理解模型的可行性，提出了多种触发 emoji 和调整候选项多样性的机制，并证明了基于联邦学习的分布式设备学习框架可以获得比基于服务器训练的模型更好的性能。

Jun, 2019

无需记忆用户数据的生产语言模型训练

本文利用差分隐私联邦平均算法，首次呈现了可部署在生产神经网络中的、隐私保护的联邦学习模型，用于在移动设备上进行用户级别的下一个词语预测。

Sep, 2020

基于分散数据通信高效学习深度网络

Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

Feb, 2016

联邦最近邻机器翻译

本研究提出了一种新颖的联邦最近邻机器翻译框架（FedNN），利用一轮基于记忆的交互来在不同客户端之间共享知识，并整合由私有文本数据构建的外部数据存储库，以构建低开销的隐私保护系统。用于机器翻译任务的传统 FL 算法在 FedNN 框架中被取代，它显著降低了计算和通信成本，并在不同 FL 设置中保持了良好的性能。

Feb, 2023

联邦命名实体识别

本文通过将联邦学习应用在命名实体识别任务中，使用具有语言无关性的 CoNLL-2003 数据集作为基准数据集，Bi-LSTM-CRF 模型作为基准模型，研究了联邦学习的性能，展示了联邦学习相对于集中式模型在不同的异构学习环境下的性能降低，并讨论了联邦学习在自然语言处理应用领域中的现存挑战和未来研究方向。

Mar, 2022