- 使用 DecentralizePy 轻松实现去中心化学习
本文提出了一个名为 DecentralizePy 的分布式框架,用于在任意拓扑结构下仿真大规模的去中心化学习网络,展示了在不同拓扑结构及节点数量下的去中心化学习所需的技术,包括剪枝和安全聚合。
- iDML:激励式去中心化机器学习
本项目提出了一种基于区块链和智能合约的去中心化机器学习激励机制,为设备提供激励并检查反馈学习架构行为,从而实现去中心化和机会式学习。
- 通过内部数据知识蒸馏在去中心化学习中统一非独立同分布数据
本文提出一种叫作 IDKD 的分布式学习方法,通过使用公共数据集而不会破坏隐私约束以实现数据分布的同质化,该方法在多个图形拓扑结构上实验证明可以达到比传统知识蒸馏更好的效果。
- 合作多智能体任务中的奖励机器学习
本文提出了一种新的多智能体强化学习方法,该方法将合作任务分解与学习奖励机器相结合,以编码子任务的结构。该方法有助于处理部分可观察环境中奖励的非马尔可夫性质,并提高了完成合作任务所需的学习策略的可解释性。每个子任务关联的奖励机器以分散的方式学 - ICLR在马尔科夫博弈中我们能以线性速率找到纳什均衡吗?
研究了两个玩家的零和博弈下去中心化学习问题,提出了一种名为 Homotopy-PO 的元算法,通过交替使用本地快速算法和全局缓慢算法,使得机器人之间的政策收敛到了较稳健的纳什均衡状态,同时深入分析了算法的收敛性和性能。
- 通过陷阱区域实现多智能体学习的安全性保障
该研究提出了陷阱区域的概念来解决多智能体学习中的算法收敛性问题,在已知学习动态的系统中使用二分法算法验证,而在不知道学习动态的情况下则使用启发式抽样算法来划分安全集合,从而确保在学习过程中不会形成危险的联合策略组合。
- 具有平均回报目标的随机博弈中的分散式无模型强化学习
本文介绍了一个针对零和博弈中基于无限目标平均报酬的分散式学习的无模型算法,称为 Decentralized Optimistic Nash Q-Learning (DONQ-learning),该算法能够获得 $T^{3/4}$ 阶数的高概 - 去中心化非独立同分布未标记数据的学习是否受自监督益处?
本研究以自监督学习为切入点,研究了在无标签数据的去中心化学习中,一系列对比学习算法的有效性。在实验结果中,该方法对去中心化数据集的异质性具有鲁棒性,并学习到了目标分类、检测和分割任务的有用表示,同时可以显著降低通信和参与数据源的比例。我们的 - 多智能体强化学习的异步演员 - 评论家算法
该论文提出一种多代理演员 - 评论家方法,允许代理在异步环境中直接优化策略,以解决多代理系统中同步决策的问题,提高学习效率和性能。
- 样本非独立同分布数据上的联邦 XGBoost
本研究旨在调查非独立同分布数据对联邦 XGBoost 的影响,并在多个数据集和数据 Skew 分区上进行了广泛的实验测试,结果表明该模型在不同的分区比例下性能表现良好且与在集中式环境下训练的模型相当或接近。
- 一般和式马尔可夫博弈的遗憾最小化和均衡收敛
简而言之,本文提出了一种针对广义和博弈的、分散、计算高效的算法,其保证所有代理都使用时可以提供次线性遗憾保证,并且不需要代理之间的通信。该算法的主要观察结果是,通过马尔可夫游戏的在线学习基本上可以归结为一种加权遗憾最小化。
- FedER:通过经验回放和隐私保护数据合成的联邦学习
本文提出一种基于体验回放和生成对抗网络思想的联合和分散学习策略,名为 FedER,它可以在保持隐私的同时整合本地节点的特征,提供能够横跨多个数据集的模型,以实现对结核和黑色素瘤分类的准确诊断
- 高效通讯的分布式鲁棒性分布式学习
本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法(AD-GDA),以解决设备之间数据分布不均导致合作训练模型性能下降的问题,并采用压缩共识方案提高通信效率,并给出了平滑凸和非凸损失函数的收敛性保证。
- 面向数据异构性的分散式学习混合
该研究探讨了分散式学习框架的收敛性与混合度之间的关系,并提出了一种定量衡量梯度混合度的指标以及优化方法,通过实验证明该方法能够在计算机视觉和 NLP 等任务中提高测试表现。
- 可扩展的分布式学习:服务端局部梯度平均和学习率加速
本文提出了一种可扩展的拆分学习框架 SGLR,采用广播机制模仿 FL 且支持并行操作,并能在保证数据隐私的前提下,获得比 SplitFed 更高的准确率和较少的敏感信息泄露。
- ACLFedNLP: 自然语言处理联邦学习方法的基准测试
本研究提出 FedNLP 框架,用于比较研究隐私保护、分散式学习方法在自然语言处理任务中的表现,并分析不同分区策略下联邦学习方法与自然语言处理的关联,为未来的研究提供借鉴。
- ICML非独立同分布数据下的分散式学习交叉梯度汇聚
本文提出了一种新型的去中心化学习算法 - Cross-Gradient Aggregation,通过聚合交叉梯度信息来更新模型并在 MNIST 和 CIFAR-10 数据集上进行了测试,结果表明该算法具有良好的效率和学习性能。
- FedH2L:具有模型和统计异质性的联邦学习
该论文提出了 FedH2L 方法,通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。
- ICLR分散式神經屏障證明的安全多智能體控制學習
该研究提出了一种基于学习控制障碍函数作为安全证书实现的多智能体安全控制方法,该方法可以在分散式网络中进行联合学习,并且可以适应任意数量的智能体。在实验中,该方法显著优于其他主要的多智能体控制方法,并具有出色的泛化能力。
- ICML支持几乎恒定时间扩展的大规模并行异步 Tsetlin 机器架构
本文提出了一种新的 Tsetlin 机降低了分类的取票瓶颈,并支持分散的学习,进而支持处理大型数据集和更多选择以提高学习准确性的并行和异步架构。