- 混合线性回归模型的聚类数据中的 EM 算法
在分布式数据中,通过结构化数据进行 EM 估计的集群结构可有效提高学习方案,最多需要 O (1) 次迭代以达到相同的统计准确性,只要 m 按照 e^{o (n)} 增长。
- 联邦学习中的公平性和隐私以及在医疗保健领域的影响
分布式学习中的公平性在医疗保健领域中的实现和支持带来了一些挑战和考虑因素,本文旨在概述公平联邦学习的典型生命周期,并提供一个更新的分类方法以反映当前实现中的公平性状态。
- 具有差分隐私的数据分析
本论文利用差分隐私算法对分布式和流数据进行分析,通过学习全局数据模型并保障差分隐私,提出了三种分布式学习贝叶斯网络模型的新方法,并针对流数据中的用户密度估计问题,提供了用户级别的隐私保护算法和改进策略。
- 高失真区域中单位范数向量的最优压缩
本文探讨了将一个单位范数向量压缩到最少的比特数中,同时仍允许一定程度的失真恢复,尤其关注 “高失真” 情况下的压缩方法,并比较了有偏和无偏压缩的最佳压缩速率。
- 分布式变分不等式的通信高效梯度下降方法:统一分析与本地更新
针对分布式变分不等式问题提出了一种统一的收敛分析方法和几种新的本地训练算法,采用了一般的随机估计假设,证明了算法的收敛性,同时解决了分布式最小化和最大化优化问题。
- 使用共识图预训练不同特征的模型联邦学习
本文提出了一种通过特征融合方法来提高预测性能,解决了在分布式物联网中利用不同模型进行本地学习而合并本地模型以实现一致性的问题。通过在现实场景中的应用,如电力网和交通网络,证明了此方法的有效性。
- 几乎没有通信的分布式 TD (0)
本文提出了一种新的分布式时间差异学习方法,该方法采用 “一次性平均” 策略,在分布式过程结束时平均结果,证明了并行优化对于时间差异方法收敛时间的提升。
- 基于图注意力的个性化网络分布式学习
本文提出了一种基于图注意力机制的分布式深度学习个性化训练算法(GATTA),通过将每个代理视为图中的一个节点并利用其与邻居节点的相关性,学习它们的有用信息以汇聚成本地个性化模型,从而提高分布式学习的效率、收敛速度并降低通信成本。
- 通过模块化掩码共享终身强化学习知识
本研究研究了分布式系统中具有终身学习能力的代理如何分享知识,在需要时通过有效的通信接口以互相交流知识,并通过实验表明在强化学习中实现分布式终身学习的有效方法是通过调节蒙版提取特定任务知识并以此交换,该系统对连接断开非常稳定,因此能够快速学习 - ICML联邦 Q 学习中异构的优点:线性加速及其它
该论文讨论了利用分布式数据进行在线学习时,采用联邦 Q 学习算法可以在不共享数据的情况下进行合作学习,提出了一种基于重要性加权的平均算法,加速了算法的收敛速度,降低了样本复杂度。
- 函数学习的分布式梯度下降
我们提出了一种 DGDFL 算法,它是一种分布式迭代训练方法,适用于在多台本地计算机上处理大规模的功能数据,实现了功能数据分析的阶段性丰富。
- 通过敏感性曲线最大化攻击强健的分布式学习方案
本文研究分布式学习范式的安全性问题,并提出了一种基于敏感性曲线最大化的新攻击,该攻击能够通过注入小但有效的扰动来破坏现有的鲁棒聚合方案。
- 分布式强化学习中的损失和奖励加权
介绍了两种分布式学习方案,Reward-Weighted 和 Loss-Weighted gradient merger,分别用于强化学习环境下的分布式智能体训练,通过缩放每个 actor 的梯度,以基于奖励或损失高低的权重替代多个智能体训 - SocialLight:面向网络范围交通信号控制的分布式协作学习
提出了一种名为 SocialLight 的基于多智能体强化学习和分布式学习的交通信号控制方法,通过估计个体对本地邻域的边际贡献来学习交通控制策略,解决了传统方法中合作性不足和无法扩展等问题,并经过在两个交通模拟器上的标准基准测试,结果表明 - 超越梯度的拜占庭容错学习:分布式进化搜索
本文介绍一个更广泛的机器学习中拜占庭容忍的定义 ——“模型一致性”,并将这个定义与经典分布式一致性算法结合使用,生成了一种基于 Evolutionary Search 算法的分布式、拜占庭容忍、无梯度学习算法 —— 广义的(1,λ)进化搜索 - 分散式多任务学习的精确子空间传输
该论文提出了一种针对分布式学习的新方法,该分布式学习方法使用多任务学习中的精确扩散算法,可在具有不同目标或数据的代理之间建立关系,而无需强制执行共识机制。经过数值验证表明,该算法表现比基于近似投影的传统算法更好。
- 通过减少查询次数改进随机凸优化的本地 SGD:SLowcal-SGD
本文研究分布式学习场景中,M 台机器与参数服务器进行交互,以最小化公共目标函数。我们专注于异构情况,其中不同的机器可能从不同的数据分布中获取样本,设计出第一个本地更新方法,可以证明优于两种最突出的分布式基线:Minibatch-SGD 和 - 风险感知的分布式多智能体强化学习
研究了在未知环境下的决策问题,使用分布式多智能体强化学习和条件风险价值的方法进行决策,并通过模拟评估验证了该方法。
- 分布式远程学习中基于投影的潜在凝聚
本文提出了一种 Data-Agnostic Consolidation (DAC) 双知识蒸馏方法,通过新的投影潜在蒸馏损失函数在潜在空间中蒸馏模型,从而在单个设备上实现了零成本的前向传递,进而在分布式持续学习情境中实现流模型的知识整合和转 - MM分布式学习与 6G 的通信与计算视角
本文概述了分布式学习和联邦学习模型如何帮助实现 6G 网络的关键绩效指标,重点介绍了联邦学习在无线应用中的应用。并结合多智能体强化学习解决动态频谱接入问题并给出了初步评价结果。文章还强调了应用 DL 方法于 6G 网络所面临的挑战。