高效分布式优化的估计网络设计框架
本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法,该方法可以用于复合优化,并且通过本地通信和计算,可以显著提高总体效率。
Sep, 2019
在多跳无线网络中,通过分布式可扩展的采样和传输策略以及图神经网络结构,优化采样和远程估计研究的主要问题包括缓存并从其他代理处获得最新样本、无线冲突通道和各个网络节点之间的决策制定。
Apr, 2024
本文研究了分布式估计和学习问题。利用线性聚合方案和调整的随机化方案,通过交换信息,聚合数据并在保护个体隐私的前提下估计未知特征值。通过对一些例子的验证,证明该算法的高效性和性能保障。
Jun, 2023
我们提出了一个分布式优化的离散时间模型,适用于具有动态有向图的连续时间分布式学习,并消除了对链接进行随机权重设计的需求,通过共识算法、矩阵扰动理论和 Lyapunov 理论,我们证明了梯度跟踪步长和离散时间步长的收敛性和动态稳定性,该工作在链接删除或数据丢失的情况下改善了现有随机权重无向网络的性能,而无需重新运行耗时和计算复杂的算法。该提出的优化框架在分布式分类和学习中具有应用价值。
Nov, 2023
本文研究了分布式网络中去中心化优化的问题,尤其是基于双重平均子梯度的分布式算法及其收敛速度与网络大小和拓扑结构的关系,同时探讨了算法收敛和网络结构限制之间的关系,并证明了我们算法所需的迭代次数与网络谱隙成反比例关系。
May, 2010
本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法(AD-GDA),以解决设备之间数据分布不均导致合作训练模型性能下降的问题,并采用压缩共识方案提高通信效率,并给出了平滑凸和非凸损失函数的收敛性保证。
May, 2022
本研究探讨了解决分布式优化问题的多种方法,包括 EXTRA、Exact-Diffusion/D^2 和梯度跟踪算法等,研究表明这些方法在网络拓扑敏感性上相对于 DSGD 较弱。该研究针对此问题提出了一种统一的分布式算法 SUDA,并建立了 SUDA 的收敛性,实验结果证明该算法对网络拓扑较为鲁棒。
Oct, 2021
本文介绍了针对网络中的图形数据处理的分散式学习算法,通过 ADMM 迭代最小化来得到所需的并行程度,并通过案例研究阐明了分散式学习框架对于当代无线通信和网络任务的影响。
Mar, 2015
本论文提出了一种名为 EDEN 的鲁棒性分布式平均估计技术,能够自然地处理各种异构的网络通信条件和数据包损失,得到了令人满意的理论保证,并证明了其在实践中优于现有技术。
Aug, 2021
该论文旨在研究分布式动态规划来解决网络化多智能体马尔可夫决策问题,通过控制理论视角提出了在连续时间领域的分布式动态规划,并证明了其收敛性,该分析可被视为分布式时态差异学习算法的初步常微分方程分析,其收敛性可通过 Borkar-Meyn 定理和单时间尺度方法证明。
Jul, 2023