parameter server | BriefGPT

关键词parameter server

搜索结果 - 7

Fed-Sophia: 一个高效的二阶联邦学习算法
本文章介绍了一个可扩展的二阶方法 Fed-Sophia，通过结合梯度的加权移动平均和剪切操作来寻找下降方向，并使用海森矩阵对角线的轻量级估计来融入曲率信息。数值评估表明，与一阶和二阶基准相比，所提出的 Fed-Sophia 算法在优越性、鲁
PDFa month ago
分布式资源管理中的价格歧视博弈
本文提出了基于价格差异化的联邦学习方法，通过区分不同客户提供的服务来改善联邦学习的性能，并降低激励客户参与的成本。通过构建一个价格差异化游戏来综合解决联邦学习中的分布式资源管理问题，包括多目标权衡、客户选择和激励机制。通过设计一个分布式半启
PDF10 months ago
FedDWA: 带有在线权重调整的个性化联邦学习
本文提出了一种名为 FedDWA 的新型 PFL 算法，它利用参数服务器计算个性化的聚合权重，以此解决了传统加权聚合方法中需要客户端下载他人模型的通信问题和数据隐私问题。最终，基于五个真实数据集的实验表明，FedDWA 可以显著降低通信负担
PDFa year ago
通过减少查询次数改进随机凸优化的本地 SGD：SLowcal-SGD
本文研究分布式学习场景中，M 台机器与参数服务器进行交互，以最小化公共目标函数。我们专注于异构情况，其中不同的机器可能从不同的数据分布中获取样本，设计出第一个本地更新方法，可以证明优于两种最突出的分布式基线：Minibatch-SGD 和
PDFa year ago
MM使用下行设备选择的联邦学习
本文研究联邦边缘学习在无线网络边缘使用隐私数据协作训练全局模型，通过数字下行传输，设计了一个部分设备参与的框架和设备选择方法，实验结果表明最佳参与设备数量取决于统计偏差的 MNIST 数据集。
PDF3 years ago
KDD分布式多任务关系学习
本文提出了一种基于参数服务器的分布式多任务学习框架，通过提供正则化多任务关系学习方法的对偶形式和一个通信有效的原始对偶分布式优化算法来同时学习每个任务的预测模型和任务之间的关系，以及提供针对分布式多任务关系学习的理论收敛分析。
PDF8 years ago
NIPSFactorbird - 基于参数服务器的分布式矩阵分解方法
Factorbird 是一种参数服务器方法的原型，用于分解大型矩阵，设计目标是可扩展到数十亿个非零元素的矩阵，可扩展到不同种类的模型和损失函数，并适应于批处理和流式情况。其使用参数服务器来使模型可扩展，并采用无锁式 Hogwild！-sty
PDF10 years ago