深度均衡模型遇见联邦学习

May, 2023

Deep Equilibrium Models Meet Federated Learning

Alexandros Gkillas, Dimitris Ampeliotis, Kostas Berberidis

TL;DR本研究探讨了利用 Deep Equilibrium（DEQ）模型而不是传统的深度学习网络来解决联邦学习（FL）问题的新视角。我们声称将 DEQ 模型纳入联邦学习框架中，自然解决了 FL 中的若干开放问题，例如由于共享大型模型而产生的通信开销，以及能够并入具有显著不同计算能力的异构边缘设备。此外，在 FL 框架的服务器端提出了一种加权平均融合规则，以考虑来自异构边缘设备的不同模型质量。据我们所知，本研究是第一个建立 DEQ 模型和联邦学习之间联系的研究，对于开发高效而有效的 FL 框架做出了贡献。最后，我们给出有前途的初始实验结果，证明了这种方法在解决 FL 挑战方面的潜力。

Abstract

In this study the problem of federated learning (FL) is explored under a new perspective by utilizing the Deep Equilibrium (DEQ) models instead of conventional deep learning networks. We claim that incorporating DEQ models into the →

federated learning deep equilibrium models communication overhead heterogeneous edge devices weighted average fusion rule

发现论文，激发创造

联邦深度均衡学习：边缘通信效率的紧凑共享表示

FeDEQ 是一种先驱性的联邦学习框架，利用深度均衡学习和一致性优化有效地在边缘节点之间利用紧凑的共享数据表示，允许派生个性化模型，并通过采用交替方向法解（ADMM）一致性优化的新型分布式算法，理论上证明了其收敛性。实验结果表明，与最先进的个性化方法相比，FeDEQ 在通信大小上使用的模型可小 4 倍，并且在训练时内存占用更少 1.5 倍，性能可媲美。

Sep, 2023

深度平衡模型

本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

Sep, 2019

开发联邦学习以实现深度模型的潜力

在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为 “发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。

Jun, 2023

深度平衡模型的高效训练

本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练同时不会导致任何性能退化。

Apr, 2023

学习鲁棒的深度平衡模型

本篇论文中，我们提出了一种新的深度学习模型，称为 LyaDEQ，通过 Lyapunov 稳定性理论，确保了 DEQ 模型的稳定性，并可以在面对初始扰动时保持其鲁棒性。我们对这种模型进行了评估，并在针对不同数据集的对抗攻击中展示了其在对抗防御方面的显着改进。

Apr, 2023

TorchDEQ：深度均衡模型库

这篇研究论文介绍了一种称为 Deep Equilibrium (DEQ) 模型的隐式模型新类别，并提出了 TorchDEQ 库，该库能够在多个领域上定义、训练和推断使用 DEQ 模型，通过结合最佳实践，显著提高了 DEQ 模型在十个数据集上的性能、训练稳定性和效率。

Oct, 2023

通过雅各比正则化稳定平衡模型

本文提出一种正则化方案来加强深度均衡网络（DEQ）模型的学习稳定性，该正则化方案显著提高了 DEQ 模型的收敛速度和性能，使得 DEQ 模型与传统深度网络在速度和性能上保持相当，并且具有恒定的内存占用和简单的架构。

Jun, 2021

NeFL: 异构客户端的嵌套联邦学习

嵌套联邦学习（NeFL）是一种通用的框架，通过深层次和宽度缩放有效地将模型划分为子模型，解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程（ODEs）的方式，并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验，我们证明了 NeFL 可以显著提高性能，并且与联邦学习领域的最新研究相一致。

Aug, 2023

联邦学习中的协作均衡

本文研究一种理性协作称作‘协作均衡’的范式，使用‘利益图’描述每个客户端与其他客户端合作的益处，并提出 Pareto 优化方法来识别最佳合作者，通过迭代图操作从利益图中达成协作均衡。在合成和真实数据集上进行的实验表明了我们的方法的有效性。

Aug, 2021

UVeQFed：联邦学习的通用向量量化

本研究旨在解决联合学习中模型传输的瓶颈问题，提出一种名为 UVeQFed 的通用向量量化方案，通过量化方法的优化，实现了一种去中心化的训练系统，在保证模型传输最小化失真的同时提高了聚合模型的准确性。

Jun, 2020