- 探索联邦学习的实用性:从通信的角度进行调查
调查分析了通信高效的联合学习方法,定义了通信效率的度量方法并提供了系统全面的分类和评述,讨论了提高联合学习系统通信效率的未来研究方向。
- 具有压缩和动量跟踪的近最优分散优化
MoTEF 是一种将通信压缩与动量跟踪和误差反馈相结合的新方法,它在任意数据异质性下取得了显著优于现有方法的实际优越性。
- ICLRLOQA:带有对手 Q 学习意识的学习
本文介绍了一种名为 LOQA 的分布式强化学习算法,用于在部分竞争环境中优化代理个体效用并促进对手之间的合作,在统一代理应用中取得了良好的性能。
- 去中心化学习的隐私保护聚合算法及其拜占庭容错性
SecureDL 是一种新颖的分布式机器学习协议,通过安全多方计算保护客户端模型更新的隐私,提高对拜占庭威胁的安全性和隐私保护。该协议使用余弦相似度的有效计算和更新的归一化来稳健地检测和排除对模型收敛有害的模型更新,并在多种拜占庭攻击中表现 - 基于强化学习的无监督联邦学习智能信息交换
使用强化学习的方法,在无监督的分布式机器学习环境中创建一个最优化的数据传输图,以提高收敛速度和对故障的鲁棒性。
- MALCOM-PSGD:用于通信高效的分散式机器学习的近似近端随机梯度下降
近期的研究表明,频繁的模型通信是分布式机器学习(ML)尤其是针对大规模和过参数化的神经网络(NNs)效率的主要瓶颈。本文介绍了一种新的分布式 ML 算法 MALCOM-PSGD,它在模型稀疏化中策略性地整合了梯度压缩技术。MALCOM-PS - 受限用户可用性下的联邦学习
Federated Learning (FL) 是一种分散式机器学习框架,可以实现协作模型训练并保护数据隐私。本论文提出了一种名为 Random Access Model (RAM) 的通用用户选择机制,通过延伸 FL 问题的风险感知目标函 - SplitFed 对数据包丢失的韧性:分割的位置在哪里,这是个问题
分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性,验证了不同分裂点对最终模型准确性的统计显著差异,为分布式机器学习的发展提供了重要洞察。
- 基于区块链的联邦学习和数据隐私调查
本文探讨了基于区块链技术进行联邦学习的安全数据共享平台的性能和安全性,系统地回顾了现有的研究。结论是目前该领域仍有许多值得探究的问题和研究方向。
- 带梯度剪裁和通信压缩的分散非凸优化的收敛和隐私性
本文利用 PORTER 方法对去中心化的机器学习使用通信压缩和梯度裁剪进行了研究,并提供了更好的收敛保证,同时也突出了收敛速度、压缩比率、网络连通性和隐私之间的权衡。
- 面向计算连续体的智能医疗分布式机器学习
本文探讨了去中心化的分布式账本上机器学习模型对分布式电子个人健康档案进行知识提取的方法,并提出了一个设计概念,能够匿名进行预测性分析,结果表明可降低机器学习时间至 60%,一致性延迟低于 8 秒,适用于各个医疗机构。
- 分散化且激励的联邦学习框架:系统文献综述
本文系统地回顾和筛选了 422 篇文献,研究了联邦学习框架,揭示了当前研究的局限性,并提出了未来研究的方向。
- 基于异构数据的分散深度学习的 RelaySum 算法
本研究提出了 RelaySum 机制来解决分散式学习中不同工作节点之间数据分布的差异所带来的挑战,该机制利用生成树将信息分配给所有工作节点,并证明了基于该机制的 RelaySGD 对于数据异构性是独立的,并可扩展到许多工作节点,从而在异构数 - MM异步联邦学习的设备调度和更新聚合策略
本文提出了一种异步 FL 框架,其采用定期聚合的方式消除了 FL 系统中的问题,并设计出多种装置调度和更新聚合策略以解决异构计算能力和训练数据分布的设备问题。通过模拟结果,我们得出结论,异步 FL 的调度和聚合设计可以不同于同步情况,并且适 - 自适应联邦 Dropout:提高联邦学习的通信效率和泛化能力
本文介绍了一种名为自适应联邦 Dropout(AFD)的新型技术,用于减少联邦学习中与通信成本相关的问题,此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间,同时还改善了模型泛化。
- 工业联邦学习 -- 要求和系统设计
该研究介绍了一种工业联邦学习系统,旨在支持连续评估和更新中具有足够数据相似性的学习任务,并确保业务合作伙伴在共同机器学习问题中进行最佳协作,防止负面知识转移以及确保涉及边缘设备资源的优化。
- MMQ-GADMM:量化组 ADMM 用于通信高效的分散机器学习
本文提出了一种通信高效的、去中心化的机器学习算法 —— 量化组 ADMM (Q-GADMM),通过量化减少通信链接,采用随机量化方法进行误差传播控制,以及利用深度神经网络架构与随机采样的量化随机 GADMM (Q-SGADMM),通过对多项 - 基于图形的点对点联邦学习
本文提出了一种在节点网络中训练机器学习模型的完全去中心化框架,其中节点通过在模型参数空间上引入信念的贝叶斯式方法,通过聚合来自其一跳邻居的信息进行更新其信念以在整个网络上学习最适合观察的模型的分布式学习算法,同时获得确保每个节点的误差概率很 - 个性化模型与协作图的完全去中心化联合学习
一种考虑了分散式机器学习和数据保护的联邦学习方式,通过构建本地图和局部连接来训练个人的、个性化的非线性模型,实现了低通讯成本和对数据的隐私保护。
- 应用联邦学习:提升谷歌键盘查询建议
本研究利用 Federated learning 模型,在实际商业环境中,分布式训练模型提高用户虚拟键盘搜索建议的质量,同时保护用户数据隐私。实验结果显示,整体用户体验得到了显著提升。