local updates | BriefGPT - AI 论文速递

关键词local updates

搜索结果 - 9

改进的前向对比学习
在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性
PDF2 months ago
联邦学习中从本地更新恢复标签
在联邦学习中，梯度反转（GI）攻击对客户的隐私构成威胁，通过重新构建客户数据，实现了攻击客户的数据。本文提出了一种新的标签恢复方案 RLU，能在攻击未训练的（最易受攻击）模型时达到接近完美的准确性，并在现实世界中的真实环境中取得高性能，特别
PDF2 months ago
数据异构下去中心化学习的本地更新有效性
在本文中，我们研究了两种基础的分散式优化方法：分散式梯度跟踪（DGT）和分散式梯度下降（DGD），并考虑了多次本地更新。我们证明了增加本地更新步骤可以降低通信复杂性，并揭示了通信与计算之间的权衡关系。在数据异质性较低且网络连接良好时，增加本
PDF3 months ago
本地更新促进表示学习的 FedAvg 与微调
通过对 FedAvg 在多任务线性表示设置下的形式化研究，我们发现 FedAvg 之所以能够产生良好的泛化效果，是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示，我们还提供了实证证据，证明了 FedAvg 在具
PDF2 years ago
半分散式联合中继联邦学习
提出一种半分散式联邦学习算法，在其中客户端通过中央参数服务器（PS）中继其邻居的本地更新进行合作，以实现全局更新，有效提高收敛速度和精度。
PDF2 years ago
具有全局动量加速的通信高效联邦学习
提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方
PDF2 years ago
联邦学习中的本地适应性：收敛和一致性
本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，
PDF3 years ago
面向分布式特征的通信高效的协作学习框架
提出一种协作学习框架，允许多方共同构建模型而不暴露其原始数据或模型参数，并通过 Federated Stochastic Block Coordinate Descent 算法来减少通信轮数，该方法在各种任务和数据集上得到了验证。
PDF5 years ago
通信高效的本地分散式 SGD 方法
本研究提出了一种名为 LD-SGD 的算法，该算法结合了本地更新和分散式通信，提供了分析框架，并给出了收敛的充分条件。该框架为分散式优化设计了更新方案，并具有理论和实际的通信优化效果，从而在分散式设置中提高了通信效率。
PDF5 years ago