distributed gradient descent | BriefGPT

关键词distributed gradient descent

搜索结果 - 6

自适应优化的分布式分数贝叶斯学习
通过分布式自适应优化算法和混合贝叶斯学习以及分布式梯度下降方法，本文研究了在分布式网络中解决参数不确定性和并寻找最优解的问题，并证明了所有代理的信念和决策变量以及最优解的估算都会渐进地收敛到真实参数的结果以及真实参数下的最优解，并在数值实验
PDF2 months ago
鲁棒分布式学习：数据异构下的紧密误差界和破坏点
在实际场景中，数据的异质性通常是规范，传统的学习误差下界对于异质性数据是不准确的。本文通过引入更现实的异质性模型 (G,B)- 梯度差异性，展示了这一模型覆盖了比现有理论更广泛的学习问题，并且证明了分布式学习算法的学习误差存在下界。我们推导
PDF9 months ago
分布式学习中的滞后处理减轻随机梯度编码
本文提出了一种适用于随机拖延者的梯度编码方案（SGC），它通过一种成对平衡的设计将数据点冗余分配给工作人员，并忽略了拖延者，证明了 SGC 的收敛速度与批量随机梯度下降的收敛速度相匹配，并演示了设计中的冗余量如何改进收敛速度和处理大量拖延者
PDF5 years ago
具有线性加速的分散非参数回归的最优统计速率
本研究采用分布式梯度下降来分析多智能体分散非参数回归，从精确损失函数的角度来研究学习性能，当 i.i.d 样本分配给智能体时，我们发现如果智能体拥有足够多的样本数量并且沟通延迟足够小，则分布式梯度下降在带最优统计速率的同时取得线性加速，并且
PDF5 years ago
利用非持久散乱者加速分布式梯度下降
本文介绍了一种新的分布式梯度下降计算方法，通过引入冗余计算任务实现了容错，并允许每个计算服务器在每次迭代中发送多个信息以确保最大化完成任务数量，从而显著降低了每次迭代的平均完成时间。
PDF6 years ago
MM资源受限边缘计算系统中的自适应联邦学习
本文主要研究在边缘计算环境中使用分布式梯度下降学习模型参数的问题，提出控制算法以最小化给定资源预算下的损失函数，并通过真实数据集的大量实验评估算法性能。
PDF6 years ago