Feb, 2024

异步扩散学习中的代理子抽样和本地更新

PDF
TL;DR我们研究了一个异步操作的代理网络，旨在发现适合个体本地数据集的理想全局模型。我们的假设是每个代理根据自身算法独立选择何时参与，并在任何给定时刻选择与其合作的特定子集。在该设置下，我们证明了异步扩散策略在均方误差意义下是稳定的，并针对联邦学习设置提供性能保证。我们通过数值模拟进行了实证研究。
network of agentsasynchronousglobal modellocal datasetsfederated learning
发现论文，激发创造
  • 分散式多任务学习的精确子空间传输

    该论文提出了一种针对分布式学习的新方法，该分布式学习方法使用多任务学习中的精确扩散算法，可在具有不同目标或数据的代理之间建立关系，而无需强制执行共识机制。经过数值验证表明，该算法表现比基于近似投影的传统算法更好。

    Apr, 2023

  • 异步网络中的多任务扩散适应

    本文提供了一种解决异步网络上多任务问题的模型，它采用多任务扩散 LMS 算法以协作的方式同时推断多个参数向量，并描述了详细的均方误差分析，该算法在充足步长的条件下保证稳定和性能，并将其应用于光谱感知的特定应用中。

    Dec, 2014

  • 网络上个性化模型的分散协作学习

    本论文研究了一组学习代理在协作对等网络中，每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法，以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型，同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中，代理共同学习和传播其模型，基于其本地数据集和邻居的行为进行迭代更新，为了优化这一具有挑战性的目标，我们的分散算法是基于 ADMM。

    Oct, 2016

  • 异步和延迟的去中心化一致性优化

    本研究提出了一种异步、分散的共识优化算法，可在没有全局时序同步的情况下，利用本地计算和信息传递，在有限延迟和随机代理假设下收敛于精确解。

    Dec, 2016

  • 多行为策略下的分布式策略评估

    采用扩散策略，将全分布式协作强化学习算法应用于分布式网络，实现仅与直接相邻的智能体通信以改进他们对环境的预测能力，具有线性计算时间和内存占用的高效分布式策略，可应用于离线学习和连续学习，以减少预测误差的偏差和方差，实现全局最优解的学习。

    Dec, 2013

  • 自适应异步更新的容错分散式学习

    研究提出了一种全分散的 DSGD-AAU 算法，通过自适应确定每个工作者与多少邻居工作者进行通信，实现了线性加速收敛，实验结果验证了理论结果。

    Jun, 2023

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

    Mar, 2022

  • 分布式贝叶斯学习中的异步本地计算

    机器学习中分布式部署的推理算法，利用异步通信提高计算速度并降低通信开销，通过马尔可夫链蒙特卡洛采样实现局部计算，理论上量化收敛速度，通过模拟和真实数据集的实验验证算法的有效性。

    Nov, 2023

  • 语言建模的异步局部 SGD 训练

    本篇论文通过实证研究异步 Local-SGD 对训练语言模型的影响，发现异步 Local-SGD 相较于同步对应方法虽然更频繁地更新模型参数，但需要更多迭代才能达到收敛。主要挑战是在工作者梯度失效时全局参数的动量加速。提出了一种新方法，利用延迟 Nesterov 动量更新并根据计算速度调整工作者的本地训练步骤。在 C4 数据集上评估，该方法在每次更新步骤的困惑度方面与同步 Local-SGD 性能相当，并在墙钟时间方面显著超越其。

    Jan, 2024

  • 带有延迟的多智能体在线优化：异步性、适应性和乐观主义

    本研究提出并分析了一种自适应二元平均方案，解决多智能体在延迟和异步性存在情况下的联合在线学习问题，并提供了一个适用于完全去中心化和异步环境中的自适应学习策略及优化方案。

    Dec, 2020