- 半集中式网络上的通信高效联邦优化
在大规模联邦和分散式学习中,沟通效率是最具挑战性的瓶颈之一。为了解决这个折衷问题,我们在半分散式通信协议下研究了通信效率,设计了一种适应于半分散式网络的通信高效算法 PISCO,并证明了 PISCO 在非凸问题上具有收敛速度和线性加速效果, - 隐私敏感视觉任务的扩散模型联邦学习
通过实验和研究,我们发现联邦扩散模型在隐私敏感领域提供视觉服务方面具有巨大潜力。
- 基于广播的子图采样的无线网络分布式学习
该研究探讨了分布式学习在无线网络中的通信方面,使用基于共识的分布式随机梯度下降法(D-SGD)。为了实现算法的快速收敛性,我们提出了一种名为 BASS 的高效通信框架,其中利用广播传输和概率子图抽样,在每次迭代中激活多个无干扰节点的子集将模 - 跨特征对比损失:异构数据上的分散式深度学习
本研究提出了一种基于异构数据的去中心化学习新方法,通过利用对比损失上的无数据知识蒸馏来提高性能,并通过大量实验证明了该方法在不同计算机视觉数据集、模型架构和网络拓扑中相比其他现有技术在异构数据的去中心化学习中实现了卓越的性能(测试准确率提升 - 流行病学习:通过随机通信提升分散式学习
Epidemic Learning is a decentralized learning algorithm that leverages changing communication topologies to achieve fast - 关于去中心化学习中隐私保护与拜占庭鲁棒性之间的权衡
联合考虑分布式学习中的隐私保护和拜占庭健壮性,研究了一种隐私保护和拜占庭健壮的分布式随机梯度下降框架,采用高斯噪声进行隐私保护,并采用鲁棒聚合规则来对抗拜占庭攻击,分析了其学习误差和隐私保证,发现分布式学习中隐私保护和拜占庭健壮性之间存在基 - EdgeConvEns:面向边缘智能的卷积集成学习
此研究提出了一种被称为 EdgeConvEns 的卷积集成学习方法,它在边缘设备上训练异构弱模型,并学习将它们集成起来,从而提高整体的预测性能。通过在边缘设备上独立实现和训练 Field-Programmable Gate Array(FP - 快速和通信高效的本地更新分散学习
本文设计了一种名为 DIGEST 的快速和通信高效的异步分散式学习机制,通过借鉴 Gossip 和随机游走的思想和关注随机梯度下降(SGD),在本地 SGD 算法基础上构建了一种异步分散式算法,并设计了单流和多流的 DIGEST,研究了其收 - 去中心化学习中的 Sybil 抗性
本研究旨在提高去中心化学习的 Sybil 义务破坏韧性。我们提出了 SybilWall 算法,该算法基于 Sybils 之间的相似度和新颖的概率传闻机制,确立了一个新的可扩展的,具有 Sybil 韧性的分散式学习基准。全面的实证评估表明,S - 轻量级入侵检测的去中心化在线联邦 G 网络学习
本研究提出了一种新颖的分散和联合学习入侵检测体系结构(DOF-ID),该体系结构利用机器学习技术,不需要公开其他系统的数据集即可学习,通过 DOF-ID 的平均评估结果表明,DOF-ID 可以同时显著提高所有协作节点的入侵检测性能。
- 面向分布式深度学习的概念感知聚类算法(考虑时间漂移)
该研究提出了一种能够自动发现和适应网络中不断变化的概念,无需先前知识或数量估计,从而应对分散式深度学习中非独立同分布数据和动态数据的新问题。在标准数据集上的评估表明,该算法优于以前的分散式学习方法。
- FedDec:基于点对点协助的联邦学习
这篇论文提出了一种名为 FedDec 的算法,通过在 FL 的本地梯度更新之间交错点对点通信和参数平均化的方式,利用跨代理通信来改善 FL 的性能,证明了该算法在数据异构性、设备部分参与和光滑且强凸成本的假设下收敛,并表明代理间通信图谱的谱 - 去中心化学习系统中以较少为更多
本文介绍了 JWINS,一种通信高效且完全分散的学习系统,通过稀疏化仅共享少量参数,使用小波变换和随机通信切断降低信息损失并减少传输字节数,可在非 I ID 数据集上训练出接近于全共享的 DL 准确率,且可节省多达 64% 的字节数,在低通 - 平均场博弈中分散代理的网络通信
本研究将网络通信引入到平均场博弈框架中,通过分散学习来改善纯独立学习的情况,并通过理论和实验表明,网络方法可以加速收敛且具有鲁棒性和灵活性。
- 超越指数图:通过有限时间收敛的通信高效拓扑结构进行分散式学习
本研究提出了一种名为 Base-k Graph 的新型拓扑结构,该结构在实现快速共识率的同时,最大度数较小,从而提高了分布式学习的收敛速度和通信效率。实验表明,采用 Base-k Graph 可以比现有拓扑结构更好地提高分布式学习的精度和通 - 无线网络分布式学习:广播与随机接入的影响
本研究侧重于分散学习的通信方面,探讨了广播传输和概率随机访问策略对分布式随机梯度下降 (D-SGD) 收敛性能的影响,结果表明,优化访问概率能够极大地加速系统的收敛速度。
- 面向时空移动应用的联邦学习模型调查
本文综述了现有文献中所提出的基于联邦学习的预测人类移动性、交通预测、社区探测、基于位置的推荐系统和其他时空任务的模型,阐述了这些模型所使用的指标和数据集,并与中心化模型进行比较。最后,讨论了在分散式学习中应用时空模型所面临的挑战,并提出了未 - 全局更新跟踪:一种用于异构数据的去中心化学习算法
本文提出了一种名为 GUT 的新型跟踪方法,旨在降低异构数据在分散式学习中的影响,通过对各种 CV 数据集,模型架构和网络拓扑的详尽实验,证明了该方法相对于其他技术在异构数据分散式学习中实现了最先进的表现,并提升了 1-6% 的测试准确度。
- 基于逐步任务情境化的多智能体持续协调
本文提出了一种名为 MACPro 的方法,通过采用分解的策略来实现多智能体不断协调的能力,支持多类任务进行更好地管理和学习,并且在多项多智能体基准测试中表现出近乎最优的性能。
- 通过敏感性曲线最大化攻击强健的分布式学习方案
本文研究分布式学习范式的安全性问题,并提出了一种基于敏感性曲线最大化的新攻击,该攻击能够通过注入小但有效的扰动来破坏现有的鲁棒聚合方案。