Oct, 2016

网络上个性化模型的分散协作学习

PDF
TL;DR本论文研究了一组学习代理在协作对等网络中，每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法，以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型，同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中，代理共同学习和传播其模型，基于其本地数据集和邻居的行为进行迭代更新，为了优化这一具有挑战性的目标，我们的分散算法是基于 ADMM。
learning agentspeer-to-peer networkgossip algorithmsdecentralized algorithmadmm
发现论文，激发创造
  • 个性化模型与协作图的完全去中心化联合学习

    一种考虑了分散式机器学习和数据保护的联邦学习方式，通过构建本地图和局部连接来训练个人的、个性化的非线性模型，实现了低通讯成本和对数据的隐私保护。

    Jan, 2019

  • 基于预测共识的协作学习

    本文提出了基于蒸馏的方法，并采用信任加权方案，使用伪标签的无标签辅助数据促进合作学习，以达成对辅助数据的标签共识。我们证明了该方案相对于本地训练能显著提高模型性能，同时也可以识别和缓解对于众多模型的负面影响。在个体数据训练以及模型架构存在异质性的情况下，该方法表现得尤为有效。

    May, 2023

  • 基于图形的点对点联邦学习

    本文提出了一种在节点网络中训练机器学习模型的完全去中心化框架，其中节点通过在模型参数空间上引入信念的贝叶斯式方法，通过聚合来自其一跳邻居的信息进行更新其信念以在整个网络上学习最适合观察的模型的分布式学习算法，同时获得确保每个节点的误差概率很小的充分条件和讨论了应用此算法训练深度神经网络（DNNs）所需的近似，实验证明与节点学习无合作的情况相比，所提出的学习规则算法提供了显着的精度改进。

    Jan, 2019

  • 个性化和私密的点对点机器学习

    本文提出了一种高效的分散式（点对点）和异步算法来解决个性化模型的学习，同时满足强隐私要求，并证明了它的收敛速率。我们展示了如何使算法往常差异保持私密以保护个人数据集的信息披露，并正式分析了效用和隐私之间的权衡。实验结果表明，在非私密约束下，我们的方法大大优于以前的工作，在隐私约束下，我们可以显著改进在独立学习中得到的模型。

    May, 2017

  • 分散和终身自适应的多智能体协作学习

    提出了 DeLAMA 算法，它是一种具有动态协作图的分散式多智能体协同学习算法，能够促进自主协作关系学习和适应动态任务，实现了 MSE 减少 98.80% 和分类准确率提高 188.87%，为未来建立智能、分散式和动态多智能体系统提供了基础技术。

    Mar, 2024

  • 可扩展的去中心化在线个性化均值估计算法

    该研究关注于代理人合作的均值估计问题，提出了两种协作均值估计算法，并建立了性能的理论描述和渐近最优估计条件。

    Feb, 2024

  • 使用动量加速共识的去中心化深度学习

    本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。

    Oct, 2020

  • 无线通信与网络的去中心化学习

    本文介绍了针对网络中的图形数据处理的分散式学习算法，通过 ADMM 迭代最小化来得到所需的并行程度，并通过案例研究阐明了分散式学习框架对于当代无线通信和网络任务的影响。

    Mar, 2015

  • 基于图注意力的个性化网络分布式学习

    本文提出了一种基于图注意力机制的分布式深度学习个性化训练算法（GATTA），通过将每个代理视为图中的一个节点并利用其与邻居节点的相关性，学习它们的有用信息以汇聚成本地个性化模型，从而提高分布式学习的效率、收敛速度并降低通信成本。

    May, 2023

  • 分布式贝叶斯学习中的异步本地计算

    机器学习中分布式部署的推理算法，利用异步通信提高计算速度并降低通信开销，通过马尔可夫链蒙特卡洛采样实现局部计算，理论上量化收敛速度，通过模拟和真实数据集的实验验证算法的有效性。

    Nov, 2023