ICLRFeb, 2023

联邦最近邻机器翻译

PDF
TL;DR本研究提出了一种新颖的联邦最近邻机器翻译框架（FedNN），利用一轮基于记忆的交互来在不同客户端之间共享知识，并整合由私有文本数据构建的外部数据存储库，以构建低开销的隐私保护系统。用于机器翻译任务的传统 FL 算法在 FedNN 框架中被取代，它显著降低了计算和通信成本，并在不同 FL 设置中保持了良好的性能。
federated learningneural machine translationprivacy-preserving systemsfederated nearest neighborencryption
发现论文，激发创造
  • 通过联邦学习训练混合领域翻译模型

    本文利用联邦学习来处理复杂的混合域翻译模型训练任务，证明了在训练过程中进行轻微的修改并采用基于联邦学习的聚合方法，可以轻松地适应不同域，从而构建出与依赖于集中式训练技术的最先进基准相媲美的神经机器翻译引擎。同时，此研究还在五个数据集上进行了验证，并论述了 FL 和 NMT 如何互相受益。此外，研究者们还提出了一种新的技术，通过在 FL 更新期间选择具有影响力的参数来动态控制通信带宽大小，针对需要在 FL 双方之间交换非常大的 NMT 引擎的情况，这是一项重要的成果。

    May, 2022

  • FedNLP: 自然语言处理联邦学习方法的基准测试

    本研究提出 FedNLP 框架，用于比较研究隐私保护、分散式学习方法在自然语言处理任务中的表现，并分析不同分区策略下联邦学习方法与自然语言处理的关联，为未来的研究提供借鉴。

    Apr, 2021

  • 语音转文本任务的高效个性化联邦学习

    为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

    Jan, 2024

  • 神经图模型的联邦学习

    我们开发了一个 FL 框架，其中维护一个全局的 NGM 模型，通过学习本地 NGM 模型的平均信息，同时保持训练数据在客户端环境中。我们的设计 FedNGMs 避免了神经元匹配框架的问题，如 Federated Matched Averaging，在这些框架中存在模型参数膨胀的问题。我们的全局模型大小在整个过程中保持恒定。对于客户端具有不包含在组合全局分布中的本地变量的情况，我们提出了一种 “拼接” 算法，它通过使用客户端数据合并附加变量来个性化全局 NGM 模型。FedNGM 对数据异质性、大量参与者和有限的通信带宽具有鲁棒性。

    Sep, 2023

  • N-gram 语言模型联邦学习

    提出使用联邦学习算法来训练生产级的 n-gram 语言模型，以解决在处理隐私敏感数据时面临的数据安全问题，该算法特别适用于便携式设备，如智能手机。同时通过将递归神经网络语言模型近似为能快速部署在设备上进行推理的 n-gram 模型，实现了联邦学习在虚拟键盘等场景下的应用。

    Oct, 2019

  • 仅传递所需内容：在联邦多语言机器翻译中学习高效通信

    本文提出了一种基于元学习的自适应参数选择方法 MetaSend，通过学习客户端在不同联邦学习轮次之间的张量偏差，提高了联邦学习多语言神经机器翻译中模型传输过程的通信效率，并在有限通信预算下，在两个具有不同语言分布的数据集上的翻译质量方面表现出了显著提升。

    Jan, 2024

  • 神经切向核强化联邦学习

    该论文提出了一种基于神经切向核的新型联邦学习范式，通过传输比传统联邦学习范式更具表现力的样本级 Jacobian 矩阵，解决了统计异质性的挑战，并进一步开发了一种改进的变体，其在保持相同准确性的情况下，将通信轮数减少了一个数量级。

    Oct, 2021

  • 神经机器翻译的通信高效联合学习

    本文提出了一种基于控制器层的新颖解决方案，可以在减少通信开销的同时，实现在联邦学习设置下训练神经机器翻译模型的高效构建，并在五个不同领域的数据集翻译德语至英语的实验中得到了与中心和非联邦学习设置下训练的模型相当的表现，同时顺利降低了联邦学习模型的通信流量与开销。

    Dec, 2021

  • 利用预先训练的模型指导联邦学习中的最后一层

    通过使用预训练模型作为初始化点，利用最近类平均法编写分类器和使用两阶段方法进行微调，提高了联邦学习的效率和性能。

    Jun, 2023

  • 无需记忆用户数据的生产语言模型训练

    本文利用差分隐私联邦平均算法，首次呈现了可部署在生产神经网络中的、隐私保护的联邦学习模型，用于在移动设备上进行用户级别的下一个词语预测。

    Sep, 2020