面向多语言神经机器翻译的适配器通信高效联邦学习

ACLMay, 2023

面向多语言神经机器翻译的适配器通信高效联邦学习

Communication Efficient Federated Learning for Multilingual Neural Machine Translation with Adapter

Yi Liu, Xiaohan Bi, Lei Li, Sishuo Chen, Wenkai Yang...

TL;DR本文提出了一种新的联邦式多语言神经机器翻译框架。相比中心化训练，该框架通过模型同步，只传输轻量化的适配器模块，降低了模型同步的通信代价。作者同时探索了各种聚类策略来减少冲突，并在适配器模块上进行了修剪，成功地提出了通信效率。实验结果表明，该框架在实现相当甚至更好的性能的同时，可以将通信代价降低 98% 以上。

Abstract

federated multilingual neural machine translation (Fed-MNMT) has emerged as a promising paradigm for institutions with limited language resources. This approach allows multiple institutions to act as clients and train a unified model through model synchronization, rather than collectin

federated multilingual neural machine translation communication-efficient adapter modules clustering strategies pruning

发现论文，激发创造

仅传递所需内容：在联邦多语言机器翻译中学习高效通信

本文提出了一种基于元学习的自适应参数选择方法 MetaSend，通过学习客户端在不同联邦学习轮次之间的张量偏差，提高了联邦学习多语言神经机器翻译中模型传输过程的通信效率，并在有限通信预算下，在两个具有不同语言分布的数据集上的翻译质量方面表现出了显著提升。

Jan, 2024

神经机器翻译的通信高效联合学习

本文提出了一种基于控制器层的新颖解决方案，可以在减少通信开销的同时，实现在联邦学习设置下训练神经机器翻译模型的高效构建，并在五个不同领域的数据集翻译德语至英语的实验中得到了与中心和非联邦学习设置下训练的模型相当的表现，同时顺利降低了联邦学习模型的通信流量与开销。

Dec, 2021

通过联邦学习训练混合领域翻译模型

本文利用联邦学习来处理复杂的混合域翻译模型训练任务，证明了在训练过程中进行轻微的修改并采用基于联邦学习的聚合方法，可以轻松地适应不同域，从而构建出与依赖于集中式训练技术的最先进基准相媲美的神经机器翻译引擎。同时，此研究还在五个数据集上进行了验证，并论述了 FL 和 NMT 如何互相受益。此外，研究者们还提出了一种新的技术，通过在 FL 更新期间选择具有影响力的参数来动态控制通信带宽大小，针对需要在 FL 双方之间交换非常大的 NMT 引擎的情况，这是一项重要的成果。

May, 2022

多语言神经机器翻译的语言家族适配器

本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

Sep, 2022

当联邦学习遇到预训练语言模型的参数高效调整方法

本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

Dec, 2022

联邦最近邻机器翻译

本研究提出了一种新颖的联邦最近邻机器翻译框架（FedNN），利用一轮基于记忆的交互来在不同客户端之间共享知识，并整合由私有文本数据构建的外部数据存储库，以构建低开销的隐私保护系统。用于机器翻译任务的传统 FL 算法在 FedNN 框架中被取代，它显著降低了计算和通信成本，并在不同 FL 设置中保持了良好的性能。

Feb, 2023

FedMKT：大型和小型语言模型的联邦互助知识传输

FedMKT 是一个参数高效的联邦互相知识转移框架，旨在同时改进服务器端和客户端的大型和小型语言模型，并通过最小编辑距离实现令牌对齐和选择性的互相知识转移，在各种 NLP 文本生成任务中显著提高客户端的小型语言模型性能，并通过 FedMKT 优化的大型语言模型实现了与基于客户端数据直接微调相当的性能，凸显了 FedMKT 的效果和适应性。

Jun, 2024

以通信成本不超过 18 千字节的方式对数十亿级语言模型进行联邦全参数调整

使用零阶优化技术以及一组随机种子，FedKSeed 提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估 ZOO 扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。

Dec, 2023

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

联邦学习：提高通信效率的策略

本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016