FedFwd：无需反向传播的联邦学习

ICMLSep, 2023

FedFwd: Federated Learning without Backpropagation

Seonghwan Park, Dahun Shin, Jinseok Chung, Namhoon Lee

TL;DR使用一种名为 FedFwd 的新方法，该方法在本地训练过程中通过层级局部更新参数来减少计算量，无需在训练期间存储所有中间激活值。在评估 MNIST 等标准数据集上，我们进行了各种实验，表明它与其他依赖于反向传播算法的联邦学习方法具有竞争力。

Abstract

In federated learning (FL), clients with limited resources can disrupt the training efficiency. A potential solution to this problem is to leverage a new learning procedure that does not rely on backpropagation (

federated learning backpropagation fedfwd forward forward algorithm mnist

发现论文，激发创造

联邦学习是否真正需要反向传播？

BAFFLE 是一种无需在边缘设备上执行反向传播的联邦学习方法，可以提高存储和计算效率以及安全性。

Jan, 2023

改进的前向对比学习

在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

May, 2024

FedFNN：基于更新预测的联邦推荐系统中的训练快速收敛

FedFNN 是一种用于加速分布式模型训练的算法，通过在样本集中使用未采样用户的权重更新，从而在保持或提高准确性的同时，实现比其他方法快 5 倍的训练速度，且在客户端群集变化的情况下表现一致，在可用性有限的情景中优于其他方法，更快地收敛。

Sep, 2023

将先见之明修剪与零阶优化结合：低内存设备上高效的联邦学习

基于神经切向核（NTK）的联邦预见修剪方法可以与联邦 BP-Free 训练框架无缝集成，减少内存使用并提高性能。

May, 2024

跨移动设备进行百亿规模语言模型的联邦微调

FwdLLM 是一种创新的 FL 协议，通过无需执行误差反向传播训练方法的方式，在手机设备上实现了更好的内存效率和时间效率，具有比传统方法更快的收敛速度和更小的内存占用。

Aug, 2023

本地训练中减轻遗忘的联邦学习加速

本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题，通过在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。

Mar, 2022

解锁深度学习：神经网络并行分块训练的 BP-Free 方法

通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。

Dec, 2023

图神经网络的前向学习

通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。

Mar, 2024

使用二进制神经网络的通信高效联邦学习

该研究提出了一种使用二进制神经网络在联邦学习框架下进行训练的新方法，通过最大似然估计参数更新方案和理论推导，实现在无需聚合实值辅助参数的情况下，维持性能同时显著降低通信开销。

Oct, 2021

分布式深度学习中的前向 - 前向

通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

Mar, 2024