Sep, 2013

使用分布式双均值在网络中指数级快速进行参数估计

PDF
TL;DR本文提出了一种基于优化的分布参数估计和观察性社交学习方法，演示了如何使用分布式，在线的 Nesterov 双平均法解决纯粹依靠本地信息的估计，并证明了代理最终可以使用随机瓦解方案学习真实参数。
distributed parameter estimationobservational social learningbayesian learningnesterov's dual averaging methodrandomized gossip scheme
发现论文，激发创造
  • 分布式优化的双重平均：收敛分析和网络扩展

    本文研究了分布式网络中去中心化优化的问题，尤其是基于双重平均子梯度的分布式算法及其收敛速度与网络大小和拓扑结构的关系，同时探讨了算法收敛和网络结构限制之间的关系，并证明了我们算法所需的迭代次数与网络谱隙成反比例关系。

    May, 2010

  • 自适应优化的分布式分数贝叶斯学习

    通过分布式自适应优化算法和混合贝叶斯学习以及分布式梯度下降方法，本文研究了在分布式网络中解决参数不确定性和并寻找最优解的问题，并证明了所有代理的信念和决策变量以及最优解的估算都会渐进地收敛到真实参数的结果以及真实参数下的最优解，并在数值实验中验证了理论分析的准确性。

    Apr, 2024

  • 高效分布式在线预测和随机优化：近似分布式平均方法

    研究分布式方法用于在线预测和随机优化，并提出了基于 gossip 的优化方法以实现最优的后悔界限。

    Mar, 2014

  • 差分隐私分布式估计与学习

    本文研究了分布式估计和学习问题。利用线性聚合方案和调整的随机化方案，通过交换信息，聚合数据并在保护个体隐私的前提下估计未知特征值。通过对一些例子的验证，证明该算法的高效性和性能保障。

    Jun, 2023

  • 耦合分布式随机逼近的失配优化率分析

    我们提出了一种耦合的分布式随机逼近算法来解决具有不完美信息特征的参数化分布式优化问题，对该算法的收敛性进行了定量分析，并证明了决策变量的均方误差受网络连接性和迭代次数的影响，此外，对达到主导收敛速率所需的临时迭代次数进行了分析，并通过数值实验验证了理论结果。

    Apr, 2024

  • 社交网络中动态参数的在线学习

    研究在线学习在动态环境中的应用，通过考虑社交网络等输入变量来降低最小化损失函数，并建立针对真实状态的两个更新机制，并对估计误差和后悔进行建模。

    Oct, 2013

  • 层次学习实现快速和鲁棒的状态估计与跟踪

    本文提出了一种简单的分层系统结构，利用参数服务器对信息交换进行协调，引入创新性的分层推送和局部梯度下降来加速状态估计，特别是在状态跟踪中，我们通过引入额外的变量，使相关的局部变量根据状态动态演化。

    Jun, 2023

  • 动态模型平均的高效分散式深度学习

    我们提出了一种高效的协议，用于分布式数据源的分散式深度神经网络训练，该协议允许同等处理模型训练的不同阶段，并快速适应概念偏移，这导致与周期性通信的最先进的方法相比，通信减少了一个数量级。此外，我们得出一个通信限制，该限制随序列化学习问题难度的增加而缩放得很好，通信的减少几乎没有代价，因为预测性能保持几乎不变。实验证实了模型性能和通信之间的权衡的显着改进，这可能有助于许多分散式学习应用，例如自动驾驶或移动电话上的语音识别和图像分类。

    Jul, 2018

  • 传感器网络中的分布式参数估计：非线性观测模型和不完美通讯

    本文研究了传感器网络中带有非线性观测模型和噪声干扰的分布式静态参数（向量）估计问题。文章引入了可分离可估的观测模型，研究了三种一致性、高效性和渐近无偏性保证的共识 + 创新类似的分布式估计算法，并给出了相应的收敛率保证和分析。

    Aug, 2008

  • 具梯度跟踪和方差缩减的网络分布式优化通信效率提高

    本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

    Sep, 2019